Groq, ein Unternehmen, das maßgeschneiderte Hardware für die Ausführung von KI-Sprachmodellen entwickelt hat, hat sich zum Ziel gesetzt, eine schnellere KI bereitzustellen – 75-mal schneller, als der durchschnittliche Mensch tippen kann, um genau zu sein.
Geschwindigkeit ist beim Einsatz von KI sehr wichtig. Wenn Sie ein Gespräch mit einem KI-Chatbot führen, möchten Sie, dass diese Informationen in Echtzeit erfolgen. Wenn Sie es bitten, eine E-Mail zu verfassen, möchten Sie die Ergebnisse in Sekundenschnelle erhalten, damit Sie sie absenden und mit der nächsten Aufgabe fortfahren können.
Groq (nicht zu verwechseln mit Elon Musks Grok-Chatbot – und nein, sie sind mit den ähnlichen Namen nicht besonders zufrieden) ist auf die Entwicklung von Hochleistungsprozessoren und Softwarelösungen für KI, maschinelles Lernen (ML) und Hochleistungscomputeranwendungen spezialisiert .
Obwohl das in Mountain View ansässige Unternehmen (derzeit) keine eigenen KI-Sprachmodelle trainiert, kann es die von anderen entwickelten Modelle sehr schnell zum Laufen bringen.
Wie wird das erreicht?
Groq verwendet andere Hardware als seine Konkurrenz. Und die von ihnen verwendete Hardware wurde für die von ihnen ausgeführte Software entwickelt und nicht umgekehrt.
Sie bauten Chips, die sie Sprachverarbeitungseinheiten (LPUs) nennen und die für die Arbeit mit großen Sprachmodi (LLMs) ausgelegt sind. Andere KI-Tools verwenden in der Regel Grafikprozessoren (GPUs), die, wie der Name schon sagt, für die parallele Grafikverarbeitung optimiert sind.
Auch wenn sie Chatbots einsetzen, nutzen KI-Unternehmen GPUs, weil diese technische Berechnungen schnell durchführen können und im Allgemeinen recht effizient sind. Aufbauend auf dem Beispiel von Chatbots funktionieren LLMs wie GPT-3 (eines der von chatgpt verwendeten Modelle), indem sie Eingabeaufforderungen analysieren und Text für Sie erstellen, der auf einer Reihe von Vorhersagen darüber basiert, welches nachfolgende Wort auf das davorstehende folgen soll.
Groq liefert die schnellsten Antworten, die ich je gesehen habe. Wir sprechen von fast 500 T/s! Ich habe ein wenig recherchiert, wie sie das schaffen können. Es stellte sich heraus, dass sie ihre eigene Hardware entwickelt hatten, die LPUs anstelle von GPUs nutzt. Hier ist die Zusammenfassung: Groq hat eine neuartige Verarbeitungseinheit namens … pic.twitter.com/mgGK2YGeFp entwickelt19. Februar 2024
Da die LMUs von Groq speziell für den Umgang mit Datensequenzen (z. B. DNA, Musik, Code, natürliche Sprache) entwickelt wurden, sind sie wesentlich leistungsfähiger als GPUs. Das Unternehmen behauptet, dass seine Benutzer seine Engine und API bereits nutzen, um LLMs mit Geschwindigkeiten auszuführen, die bis zu zehnmal schneller sind als GPU-basierte Alternativen.
Versuch es
Sie können es kostenlos und ohne Installation einer Software selbst ausprobieren Hier Verwendung normaler Textaufforderungen.
Groq führt derzeit Llama 2 (erstellt von Meta), Mixtral-8x7b und Mistral 7B aus.
Ja, wir arbeiten daran, aber wir konzentrieren uns vorerst auf den Ausbau unserer Open-Source-Modellangebote.19. Februar 2024
An XTom Ellis, der bei Groq arbeitet, sagte, dass benutzerdefinierte Modelle in Arbeit seien, dass man sich jedoch vorerst auf den Ausbau seines Open-Source-Modellangebots konzentriere.
Mehr von Tom's Guide
