Groq, ein Unternehmen, das kundenspezifische Hardware für die Ausführung von KI-Sprachmodellen entwickelt hat, hat sich zum Ziel gesetzt, eine schnellere KI bereitzustellen – 75-mal schneller, als ein durchschnittlicher Mensch tippen kann, um genau zu sein.

Geschwindigkeit ist beim Einsatz von KI sehr wichtig. Wenn Sie mit einem KI-Chatbot chatten, möchten Sie, dass diese Informationen in Echtzeit übermittelt werden. Wenn Sie sie bitten, eine E-Mail zu schreiben, möchten Sie die Ergebnisse in Sekundenschnelle erhalten, damit Sie sie senden und mit der nächsten Aufgabe fortfahren können.

Groq (nicht zu verwechseln mit dem Grok-Chatbot von Elon Musk – und nein, mit ähnlichen Namen sind sie nicht besonders zufrieden) ist auf die Entwicklung von Hochleistungsprozessoren und Softwarelösungen für KI, maschinelles Lernen (ML) und Hochleistungsrechneranwendungen spezialisiert. .

Obwohl das in Mountain View ansässige Unternehmen (derzeit) keine eigenen KI-Sprachmodelle trainiert, kann es die von anderen entwickelten Modelle sehr schnell zum Laufen bringen.

Wie erreicht er das?

Groq verwendet andere Hardware als seine Konkurrenten. Und die von ihnen verwendete Hardware wurde für die von ihnen ausgeführte Software entwickelt, nicht umgekehrt.

Sie bauten Chips, die sie Sprachverarbeitungseinheiten (LPUs) nennen und die für die Arbeit mit erweiterten Sprachmodi (LLMs) ausgelegt sind. Andere KI-Tools verwenden typischerweise Grafikprozessoren (GPUs), die, wie der Name schon sagt, für die parallele Grafikverarbeitung optimiert sind.

Auch wenn sie Chatbots verwenden, nutzen KI-Unternehmen GPUs, weil diese technische Berechnungen schnell durchführen können und im Allgemeinen recht effizient sind. Aufbauend auf dem Beispiel von Chatbots funktionieren LLMs wie GPT-3 (eines der von chatgpt verwendeten Modelle), indem sie Eingabeaufforderungen analysieren und Text für Sie erstellen, der auf einer Reihe von Vorhersagen darüber basiert, wer als nächstes dem Wort folgen muss, das ihm vorausgeht.

Da die LMUs von Groq speziell für die Verarbeitung von Datensequenzen (z. B. DNA, Musik, Code, natürliche Sprache) entwickelt wurden, sind sie wesentlich leistungsfähiger als GPUs. Das Unternehmen gibt an, dass seine Benutzer seine Engine und API bereits nutzen, um LLMs mit Geschwindigkeiten auszuführen, die bis zu zehnmal schneller sind als GPU-basierte Alternativen.

Versuch es

Sie können es hier kostenlos und ohne Installation von Software mithilfe regelmäßiger Textaufforderungen ausprobieren.

Groq betreibt derzeit Llama 2 (erstellt von Meta), Mixtral-8x7b und Mistral 7B.

An XTom Ellis, der bei Groq arbeitet, sagte, benutzerdefinierte Vorlagen seien in Arbeit, aber im Moment konzentriere man sich auf den Aufbau seiner Open-Source-Vorlagenangebote.