Groq, ein Unternehmen, das kundenspezifische Hardware für die Ausführung von KI-Sprachmodellen entwickelt hat, hat sich zum Ziel gesetzt, eine schnellere KI bereitzustellen – 75-mal schneller, als ein durchschnittlicher Mensch tippen kann, um genau zu sein.
Geschwindigkeit ist beim Einsatz von KI sehr wichtig. Wenn Sie mit einem KI-Chatbot chatten, möchten Sie, dass diese Informationen in Echtzeit übermittelt werden. Wenn Sie sie bitten, eine E-Mail zu schreiben, möchten Sie die Ergebnisse in Sekundenschnelle erhalten, damit Sie sie senden und mit der nächsten Aufgabe fortfahren können.
Groq (nicht zu verwechseln mit dem Grok-Chatbot von Elon Musk – und nein, mit ähnlichen Namen sind sie nicht besonders zufrieden) ist auf die Entwicklung von Hochleistungsprozessoren und Softwarelösungen für KI, maschinelles Lernen (ML) und Hochleistungsrechneranwendungen spezialisiert. .
Obwohl das in Mountain View ansässige Unternehmen (derzeit) keine eigenen KI-Sprachmodelle trainiert, kann es die von anderen entwickelten Modelle sehr schnell zum Laufen bringen.
Wie erreicht er das?
Groq verwendet andere Hardware als seine Konkurrenten. Und die von ihnen verwendete Hardware wurde für die von ihnen ausgeführte Software entwickelt, nicht umgekehrt.
Sie bauten Chips, die sie Sprachverarbeitungseinheiten (LPUs) nennen und die für die Arbeit mit erweiterten Sprachmodi (LLMs) ausgelegt sind. Andere KI-Tools verwenden typischerweise Grafikprozessoren (GPUs), die, wie der Name schon sagt, für die parallele Grafikverarbeitung optimiert sind.
Auch wenn sie Chatbots verwenden, nutzen KI-Unternehmen GPUs, weil diese technische Berechnungen schnell durchführen können und im Allgemeinen recht effizient sind. Aufbauend auf dem Beispiel von Chatbots funktionieren LLMs wie GPT-3 (eines der von chatgpt verwendeten Modelle), indem sie Eingabeaufforderungen analysieren und Text für Sie erstellen, der auf einer Reihe von Vorhersagen darüber basiert, wer als nächstes dem Wort folgen muss, das ihm vorausgeht.
Groq bietet die schnellsten Antworten, die ich je gesehen habe. Wir sprechen von fast 500 T/s! Ich habe einige Nachforschungen angestellt, wie sie dazu in der Lage sind. Es stellt sich heraus, dass sie ihre eigene Hardware entwickelt haben, die LPUs anstelle von GPUs verwendet. Hier ist das Wesentliche: Groq hat eine neue Verarbeitungseinheit namens … pic.twitter.com/mgGK2YGeFp geschaffen19. Februar 2024
Da die LMUs von Groq speziell für die Verarbeitung von Datensequenzen (z. B. DNA, Musik, Code, natürliche Sprache) entwickelt wurden, sind sie wesentlich leistungsfähiger als GPUs. Das Unternehmen gibt an, dass seine Benutzer seine Engine und API bereits nutzen, um LLMs mit Geschwindigkeiten auszuführen, die bis zu zehnmal schneller sind als GPU-basierte Alternativen.
Versuch es
Sie können es hier kostenlos und ohne Installation von Software mithilfe regelmäßiger Textaufforderungen ausprobieren.
Groq betreibt derzeit Llama 2 (erstellt von Meta), Mixtral-8x7b und Mistral 7B.
Ja, wir arbeiten daran, aber im Moment konzentrieren wir uns auf die Entwicklung unserer Open-Source-Vorlagenangebote.19. Februar 2024
An XTom Ellis, der bei Groq arbeitet, sagte, benutzerdefinierte Vorlagen seien in Arbeit, aber im Moment konzentriere man sich auf den Aufbau seiner Open-Source-Vorlagenangebote.
