Sam Altman, CEO von OpenAI, sagte, der fehlende Zugang zu speziellen Computerchips behindere die Geschäftspläne seines Unternehmens. Dies geht aus einem durchgesickerten Bericht über ein Treffen unter Ausschluss der Öffentlichkeit hervor, das er letzten Monat mit Softwareentwicklern in London abhielt. Joel Saget – AFP/Getty Images

Der Mangel an speziellen Computerchips, die zum Betrieb seiner Software für künstliche Intelligenz erforderlich sind, bremst das Geschäft von OpenAI und das Unternehmen hat nicht die Absicht, über chatgpt hinaus ein verbraucherorientiertes Produkt auf den Markt zu bringen. Das sind nur zwei der EnthüllungenLaut einem Blogbeitrag eines der Teilnehmer soll OpenAI-Mitbegründer und CEO Sam Altman vor zwei Wochen bei einem privaten Treffen in London mit einer Gruppe von Softwareentwicklern und Startup-CEOs gesprochen haben. Der Bericht über das Treffen unter Ausschluss der Öffentlichkeit, an dem Berichten zufolge etwa 20 Personen teilgenommen hatten, wurde später auf Wunsch von OpenAI gelöscht, heißt es in einer Notiz, die der Seite beigefügt war, auf der er ursprünglich erschien.Aber das hat die KI-Community nicht davon abgehalten, über die (angeblichen) Kommentare des einflussreichen CEO zu grübeln.

Eine Internet-Archivierungsseite hatte bereits habe eine Kopie des ursprünglichen Blog-Beitrags gespeichertund wurde seitdem in sozialen Medien und mehreren programmiererorientierten Diskussionsforen verbreitet. Altman sagte, dass die Unfähigkeit von OpenAI, auf genügend Grafikprozessoren (GPUs) zuzugreifen, die speziellen Computerchips, die zum Ausführen von KI-Anwendungen verwendet werden, die kurzfristigen Pläne von OpenAI verzögert und Probleme für Entwickler verursacht, die die Dienste von OpenAI nutzen, heißt es in dem Blogbeitrag von Raza Habib. ein KI-Experte, der auch Mitbegründer und CEO von ist Humanloop. Das in London ansässige Startup von Habib hat Methoden entwickelt, um das Training großer Sprachmodelle, wie sie beispielsweise ChatGPT von OpenAI zugrunde liegen, effizienter zu gestalten.

Der Mangel an GPUs hat es für OpenAI schwieriger gemacht, Benutzern die Übertragung von mehr Daten über die großen Sprachmodelle, die seiner Software zugrunde liegen, wie etwa ChatGPT, zu ermöglichen, und hat die geplante Einführung zusätzlicher Funktionen und Dienste des Unternehmens verlangsamt. Außerdem seien dadurch die bestehenden Dienste von OpenAI langsamer und weniger zuverlässig geworden, heißt es in dem Blogbeitrag, eine Tatsache, die die Kunden frustriere und sie dazu zögere, Unternehmensanwendungen auf der Grundlage der Technologie von OpenAI zu entwickeln. Die Knappheit bei der Chip-Versorgung hat den Vorreitervorteil von OpenAI im generativen KI-Boom gefährdet, da google – ebenso wie weniger bekannte Konkurrenten – in der Lage war, konkurrierende Dienste einzuführen, und Open-Source-Konkurrenten stärker Fuß gefasst haben.

Alles über das „Kontextfenster“

Altman hat mehrere Dinge dargelegt, die OpenAI einfach noch nicht kann, weil ihm die Hardware (d. h. die Chips) fehlt.. Dazu gehört die Bereitstellung eines längeren „Kontextfensters“ für die meisten Kunden seiner großen GPT-Sprachmodelle, schrieb Habib in seinem Blogbeitrag. Das Kontextfenster bestimmt, wie viele Daten in einer einzelnen Eingabeaufforderung verwendet werden können, die in das Modell eingespeist wird, und wie lange die Antwort des Modells dauern kann. Die meisten Benutzer von GPT-4 verfügen über ein Kontextfenster mit einer Länge von 8.000 Token (ein Token ist ein Datensegment, auf dem das zugrunde liegende KI-Modell eine Vorhersage trifft, was etwa eineinhalb Wörtern Englisch entspricht). OpenAI kündigte im März ein 32.000-Token-Fenster für ausgewählte Benutzer des Modells an, aber nur wenigen Benutzern wurde Zugriff auf diese Funktion gewährt, eine Tatsache, die Altman auf den Mangel an GPUs zurückführte, schrieb Habib.

Die meisten KI-Anwendungen auf der Welt werden auf GPUs trainiert und ausgeführt, einer Art Computerchip, der darauf ausgelegt ist, Daten mithilfe paralleler Verarbeitung mit hoher Geschwindigkeit zu verarbeiten. Die meisten dieser Chips werden von nur einem Unternehmen, Nvidia, hergestellt und können Tausende bis Hunderttausende Dollar kosten. Marktbeobachter wissen bereits, dass die Nvidia-Aktie aufgrund ihres Zusammenhangs mit dem Boom der generativen KI stark angestiegen ist und dass ihre Marktbewertung kürzlich die Schwelle von einer Billion US-Dollar überschritten hat.

Berichten zufolge versicherte der Mitbegründer und CEO von OpenAI den Entwicklern außerdem, dass OpenAI laut Habibs Beitrag keine Pläne habe, über ChatGPT hinausgehende verbraucherorientierte Produkte auf den Markt zu bringen. Habib hatte gesagt, dass viele Entwickler bei dem Treffen Altman gesagt hätten, sie seien besorgt darüber, die KI-Modelle von OpenAI als Grundlage zu verwenden, falls OpenAI selbst später möglicherweise Konkurrenzprodukte auf den Markt bringen könnte. Berichten zufolge sagte Altman, ChatGPT sei das einzige verbraucherorientierte Produkt und seine Vision für die Zukunft sei ein „superintelligenter Assistent für die Arbeit“, aber viele branchenspezifische Fälle, in denen die zugrunde liegenden großen GPT-Sprachmodelle OpenAI involviert seien, würden „nicht annähernd sein“. ”

Berichten zufolge sagte Altman auch, dass seine Kommentare von vor einem Monat, dass „die Ära der Riesenmodels“ vorbei sei, falsch interpretiert worden seien. Der OpenAI-Chef sagte den Entwicklern, dass er nur sagen wollte, dass es angesichts der Größe von GPT-4, dem leistungsstärksten großen Sprachmodell von OpenAI, bereits nicht möglich sei, KI-Systeme weiterhin exponentiell zu vergrößern. Er teilte dem Londoner Treffen mit, dass OpenAI weiterhin größere Modelle erstellen werde, diese jedoch nur zwei- oder dreimal größer als GPT-4 sein würden, nicht millionenfach größer.

Berichten zufolge legte Altman im Gespräch mit Entwicklern auch die kurzfristige Roadmap von OpenAI dar. Laut Altman besteht das Ziel von OpenAI darin, GPT-4 im Jahr 2023 schneller und kostengünstiger zu machen, ein längeres „Kontextfenster“ bereitzustellen, damit die Benutzer die GPT-Modelle von OpenAI mit mehr Daten versorgen und längere Ausgaben erhalten können, und eine einfachere Möglichkeit zur Feinabstimmung von GPT-4 einzuführen Spezifische Kundenanwendungsfälle und ermöglichen es ChatGPT und seinen zugrunde liegenden großen Sprachmodellen auch, eine Erinnerung an vergangene Dialoge zu behalten, sodass man nicht jedes Mal dieselbe Abfolge von Eingabeaufforderungen wiederholen muss, wenn eine Person ein Gespräch dort fortsetzen möchte, wo sie aufgehört hat oder eine bestimmte Interaktion mit dem Modell wiederholen, heißt es in Habibs Blogbeitrag.

Nächstes Jahr sagte Altman Berichten zufolge, die Priorität werde darin bestehen, die Fähigkeit von GPT-4 einzuführen, Bilder als Ein- und Ausgänge zu empfangen, eine Funktion, die das Unternehmen bei der Einführung des Modells im März demonstriert hatte, die den meisten Kunden jedoch noch nicht zur Verfügung gestellt wurde.

Was die Regulierung betrifft, sagte Altman den Entwicklern, dass er nicht der Meinung sei, dass bestehende Modelle ein übermäßiges Risiko darstellten und dass „es ein großer Fehler wäre, sie zu regulieren oder zu verbieten“, schrieb Habib. Altman bekräftigte seine öffentliche Haltung, dass OpenAI an die Bedeutung von Open-Source-KI-Software glaube und bestätigte einen Bericht der Tech-Publikation Die Information dass OpenAI darüber nachdenkt, eines seiner Modelle als Open-Source-Lösung bereitzustellen. Laut dem Blog sagte Altman, dass das Unternehmen sein GPT-3-Modell möglicherweise als Open Source veröffentlichen würde, was er jedoch noch nicht getan habe, weil Altman „skeptisch war, wie viele Einzelpersonen und Unternehmen in der Lage sein würden, große Sprachmodelle zu hosten und bereitzustellen“.

Berichten zufolge sagte Altman bei der nichtöffentlichen Besprechung, dass das Unternehmen immer noch versuche herauszufinden, wie ChatGPT Plus-Kunden die Plugins nutzen wollten, die es dem großen Sprachmodell ermöglichen, andere Software zu nutzen. Habib sagte im Blog, dass dies wahrscheinlich bedeute, dass die Plugins noch nicht für den Produktmarkt geeignet seien und nicht in absehbarer Zeit über die API von OpenAI für Unternehmenskunden bereitgestellt würden.

Weder Habib noch OpenAI reagierten sofort auf Anfragen von Reichtum.

Habibs Blogbeitrag löste hitzige Diskussionen in sozialen Medien und Entwicklerforen aus. Viele sagten, Altmans Kommentare zeigten, wie problematisch der Mangel an GPUs für die Realisierung des Geschäftspotenzials großer Sprachmodelle sei. Andere sagten, es zeige, wie wichtig viele der Innovationen der Open-Source-KI-Community – die innovative Wege entwickelt habe, um mit viel weniger Rechenleistung und viel weniger Daten eine ähnliche Leistung wie einige der größten proprietären KI-Modelle zu erreichen – für die Technologie seien Zukunft.

Meredith Whittaker, die Präsidentin der Signal Foundation und eine führende Kritikerin von Big Tech, sagte in einem Interview am Rande einer Konferenz in Berlin, der Blogbeitrag zeige den Würgegriff, den die größten Technologieunternehmen der Welt über die Grundlagen der heutigen KI-Software hätten, weil nur Diese Unternehmen können sich die Rechenressourcen und Daten leisten, die zum Trainieren der größten KI-Modelle erforderlich sind. „Was Sie sehen, ist, dass die Hauptbeschränkung, selbst beim Zugriff auf die Infrastruktur von Microsoft, GPUs sind“, sagte sie und bezog sich dabei auf die enge Partnerschaft von OpenAI mit Microsoft, das bisher 13 Milliarden US-Dollar in das KI-Startup aus San Francisco investiert hat. „Dazu braucht man eine unglaublich teure Infrastruktur.“ Sie sagte, die Menschen sollten die Tatsache, dass eine Open-Source-KI-Community existiert, nicht „mit einer tatsächlich demokratischen und wettbewerbsorientierten Landschaft“ verwechseln.

Der Berliner Fortune-Reporter David Meyer hat zu dieser Geschichte beigetragen.