Ein neues KI-Modell hat mit seiner blitzschnellen Reaktionsgeschwindigkeit und innovativen Technologie, die möglicherweise Elon Musks Grok und ChatGPT herausfordern könnte, in den sozialen Medien große Aufmerksamkeit erregt.
Groq, das neueste KI-Tool, das in der Branche für Aufsehen sorgt, hat schnell Aufmerksamkeit erregt, nachdem seine öffentlichen Benchmark-Tests auf der beliebten Social-Media-Plattform X viral gingen.
Viele Benutzer haben Videos der bemerkenswerten Leistung von Groq geteilt und demonstrieren damit seine Rechenleistung, die den bekannten KI-Chatbot ChatGPT übertrifft.
Seite an Seite Groq vs. GPT-3.5, völlig unterschiedliche Benutzererfahrung, ein Game-Changer für Produkte, die eine geringe Latenz erfordern pic.twitter.com/sADBrMKXqm
— Dina Yerlan (@dina_yrl) 19. Februar 2024
Groq entwickelt selbst einen maßgeschneiderten ASIC-Chip
Was Groq auszeichnet, ist die Entwicklung eines kundenspezifischen anwendungsspezifischen integrierten Schaltkreises (ASIC) durch sein Team, der speziell für große Sprachmodelle (LLMs) entwickelt wurde.
Dieser leistungsstarke Chip ermöglicht es Groq, beeindruckende 500 Token pro Sekunde zu generieren, während die öffentlich verfügbare Version von ChatGPT, bekannt als ChatGPT-3.5, mit lediglich 40 Token pro Sekunde hinterherhinkt.
Groq Inc, das Unternehmen hinter diesem KI-Wunder, behauptet, mit der Entwicklung der ersten Sprachverarbeitungseinheit (LPU) einen bahnbrechenden Meilenstein erreicht zu haben, die als Motor für das Modell von Groq dient.
Im Gegensatz zu herkömmlichen KI-Modellen, die stark auf Grafikprozessoren (GPUs) angewiesen sind, die sowohl knapp als auch teuer sind, bietet die LPU von Groq eine alternative Lösung mit unübertroffener Geschwindigkeit und Effizienz.
Wow, das sind heute Abend viele Tweets! Antworten auf häufig gestellte Fragen. • Wir sind schneller, weil wir unsere Chips und Systeme selbst entwickelt haben • Es handelt sich um eine LPU, eine Sprachverarbeitungseinheit (keine GPU). • Wir verwenden Open-Source-Modelle, trainieren sie jedoch nicht • Wir erhöhen wöchentlich die Zugangskapazität, bleiben Sie dran pic.twitter.com/nFlFXETKUP
— Groq Inc (@GroqInc) 19. Februar 2024
Interessanterweise ist Groq Inc. kein Neuling in der Branche, da es 2016 gegründet wurde und sich die Marke für den Namen „Groq“ sicherte.
Als Elon Musk jedoch letzten November sein eigenes KI-Modell mit dem Namen Grok (mit einem „k“) vorstellte, gingen die ursprünglichen Schöpfer von Groq auf ihrem Blog auf Musks Namenswahl ein.
Auf spielerische, aber selbstbewusste Weise hoben sie die Gemeinsamkeiten hervor und forderten Musk auf, sich für einen anderen Namen zu entscheiden, da er mit ihrer bereits etablierten Marke Groq in Verbindung gebracht wird.
Trotz der jüngsten Aufregung in den sozialen Medien haben sich weder Musk noch die Grok-Seite zu X zu den Namensüberschneidungen zwischen den beiden Tools geäußert.
KI-Entwickler erstellen benutzerdefinierte Chips
Groqs erfolgreicher Einsatz seines benutzerdefinierten LPU-Modells, um andere beliebte GPU-basierte Modelle zu übertreffen, hat für Aufsehen gesorgt.
Einige spekulieren sogar, dass die LPUs von Groq möglicherweise eine erhebliche Verbesserung gegenüber GPUs bieten und die leistungsstarke Hardware gefragter Chips wie Nvidias A100 und H100 in Frage stellen könnten.
„Groq hat eine neuartige Verarbeitungseinheit namens Tensor Streaming Processor (TSP) entwickelt, die sie als Linear Processor Unit (LPU) kategorisieren“, schrieb X-Benutzer Jay Scambler.
„Im Gegensatz zu herkömmlichen GPUs, bei denen es sich um parallele Prozessoren mit Hunderten von Kernen handelt, die für die Grafikwiedergabe konzipiert sind, sind LPUs so konzipiert, dass sie deterministische Leistung für KI-Berechnungen liefern.“
Scambler fügte hinzu, dass dies bedeute, dass „die Leistung präzise vorhergesagt und optimiert werden kann, was bei Echtzeit-KI-Anwendungen von entscheidender Bedeutung ist.“
Groq liefert die schnellsten Antworten, die ich je gesehen habe. Wir sprechen von fast 500 T/s!
Ich habe ein wenig recherchiert, wie sie dazu in der Lage sind. Es stellte sich heraus, dass sie ihre eigene Hardware entwickelt hatten, die LPUs anstelle von GPUs nutzt. Hier ist der Skinny:
Groq schuf eine neuartige Verarbeitungseinheit namens… pic.twitter.com/mgGK2YGeFp
— Jay Scambler (@JayScambler) 19. Februar 2024
Der Trend steht im Einklang mit der aktuellen Branchenbewegung, bei der große KI-Entwickler aktiv die Entwicklung eigener Chips erforschen, um die Abhängigkeit nur von Nvidias Modellen zu verringern.
Zum einen soll es OpenAI sein, ein prominenter Akteur im KI-Bereich auf der Suche nach einer beträchtlichen Finanzierung von Regierungen und Investoren weltweit, einen eigenen Chip zu entwickeln.
