Es scheint, als hätten heutzutage alle und ihre Mutter ein großes Sprachmodell. Stability AI, eines der Unternehmen, das sich früh im KI-Rattenrennen einen Namen gemacht hat, war langsamer als seine Zeitgenossen, um in den Bereich der LLMs einzudringen – zumindest bis jetzt. Am Mittwoch, das Unternehmen angekündigt es startete StableLMeine „Suite“ von Sprachmodellen, die mit Alphabetsuppen-KI wie GPT-4 von OpenAI, LLaMA von Meta und LaMDA von Google konkurrieren sollen.
Stability AI sagte, es habe sein neues Modell auf einem 800-GB-Open-Source-Gerät trainiert Datensatz namens „The Pile“. Das Unternehmen kündigte an, neben einer vollständigen technischen Beschreibung „zu gegebener Zeit“ Einzelheiten zu den Trainingsdaten des neuen Sprachmodells zu veröffentlichen. Die verschiedenen „sehr Alpha“-Versionen des LLM, wie CEO Emad Mostaque es ausdrückte, gibt es in 3-Milliarden- und 7-Milliarden-Parametervarianten, und das Unternehmen behauptete, an 15- und 65-Milliarden-Parameterversionen zu arbeiten. Die 7B-Version des Chatbots ist verfügbar um Hugging Face zu testen. Dieses neueste LLM war der Versuch von Stability AI, „zurück zu unseren offenen Wurzeln“ zu gehen. nach nach Mostaque.
Gizmodos erste Tests des Modells in Chatbot-Form waren, gelinde gesagt, etwas umständlich. Die KI schien ein Problem beim Gangwechsel zu haben, nachdem wir sie nach Problemen mit gefragt hatten die Trainingsdaten seiner konkurrierenden KI-Modelle, dann über die beste Art, eine Banane zu schälen. Der freie Platz auf Hugging Face wird ebenfalls mit Anfragen überschwemmt, sodass es schwierig ist, ein besseres Gefühl für die KI zu bekommen. Einige Benutzer berichteten jedoch, dass es bei einigen der rudimentärsten Aufgaben wie dem Erstellen eines Rezepts für ein Erdnussbuttergelee-Sandwich fehlschlägt (denken Sie anscheinend daran, beim Zusammenbau die Bananenkerne herauszuschöpfen).
Parameter sind im Wesentlichen eine Möglichkeit für LLMs, Vorhersagen zu generieren und anbieten eine sehr grobe Einschätzung, wie ausgereift jedes Modell ist. Zum Vergleich GPT-3, das war das Das erste, das ChatGPT von OpenAI antreibt, hatte 175 Milliarden Parameter. Das Unternehmen hat nicht verraten, wie viele Parameter GPT-4 hat, aber Semafor berichteten letzten Monat, dass die neueste Version von OpenAIs LLM 1 Billion Parameter hat. Die Anzahl der Parameter gibt jedoch nicht unbedingt Auskunft über die Qualität der Ergebnisse, die die KI generiert, und mehr Parameter bedeuten normalerweise Es kostet viel mehr Energie, Inhalte tatsächlich zu generieren.
Stability AI ist sich bewusst, dass es sich durchsetzen muss, um mit seinen größeren, von Microsoft unterstützten Konkurrenten konkurrieren zu können. Das Tool wurde entwickelt, um „alltäglichen Menschen und alltäglichen Unternehmen dabei zu helfen, KI zu nutzen, um Kreativität freizusetzen“. Das Unternehmen kündigte an, dass sich das Unternehmen „auf effiziente, spezialisierte und praktische KI-Leistung konzentriert – nicht auf die Suche nach gottähnlicher Intelligenz“. Das letzte Stück scheint eine spezielle Ausgrabung bei OpenAI zu sein, deren Execs scheinen besessen von der Idee der superintelligenten KI.
Auf Twitter sagte Mostaque, dass sowohl das LLM als auch seine Trainingsdaten mit der Zeit nur besser werden und dass er möchte, dass es schließlich 3 Billionen Token verarbeitet, die am besten als Texteinheiten beschrieben werden könnten, egal ob es sich dabei um Buchstaben oder Wörter handelt.
Stabilitäts-KI ist seit langem evangelisch in der Art und Weise, wie sie über KI spricht, wobei Mostaque oft das Horn für stark verbreitete Open-Source-Lösungen ertönen lässt KI-Programme, ob Hölle oder Hochwasser. Aber Berichten zufolge hat das Unternehmen in letzter Zeit mit Geld gekämpft da es so viel für die Entwicklung seiner KI-Projekte ausgegeben hat und reichere Unternehmen die Aufmerksamkeit auf sich ziehen. Der Start in letzter Zeit präsentierte sein unternehmensorientiertes Stable Diffusion XL-Modell das soll noch besser sein als die bisherigen KI-Bildgeneratoren des Unternehmens. Dennoch sagte das Unternehmen, es plane immer noch, dieses neuere generative KI-Modell als Open Source zu veröffentlichen … irgendwann.
