HumanLoop-Gründer Raza Habib kürzlichäußernLetzte Woche führte er eine nichtöffentliche Diskussion mit Sam Altman und 20 Entwicklern und enthüllte viele geplante OpenAI-Entwicklungsinhalte.

1. OpenAI wird durch GPUs stark eingeschränkt

Ein häufiges Thema in der Diskussion ist, dass die GPU von OpenAI sehr begrenzt ist, was viele kurzfristige Projekte behindert. Die größten Beschwerden von Kunden sind die Zuverlässigkeit und Geschwindigkeit der API. Sam gibt zu, dass er sich darüber große Sorgen macht und erklärt, dass die meisten Probleme auf das Fehlen einer GPU zurückzuführen seien.

Der 32K-Kontext kann nicht energisch gefördert werden, und OpenAI hat die O(n^2)-Aufmerksamkeitserweiterung noch nicht überwunden. Obwohl es (in diesem Jahr) 100.000 bis eine Million Token-Kontextfenster geben wird, müssen größere Aktionen untersuchen, wie sie durchbrechen können.

Auch die Feinabstimmungs-API wird durch den GPU-Engpass eingeschränkt. Es gibt noch keine wirksame Feinabstimmungsmethode und die Feinabstimmung der Ausführung und Verwaltung ist sehr rechenintensiv. Eine bessere Feinabstimmung des Supports und möglicherweise sogar die Einrichtung eines Marktplatzes für von der Community beigesteuerte Modelle werden folgen. Produkte mit dedizierter Kapazität sind durch die GPU-Verfügbarkeit begrenzt. OpenAI verfügt auch über eine dedizierte Kapazität, die eine private Kopie des Modells bereitstellt. Um auf den Service zugreifen zu können, müssen Kunden 100.000 US-Dollar im Voraus bezahlen.

2. Der aktuelle Entwurf von OpenAI

Sam teilt die kurzfristige Roadmap für die API von OpenAI.

2023

• Günstiger und schneller GPT-4: Dies ist die erste Aufgabe. Das Ziel von OpenAI besteht darin, die „intelligenten Kosten“ so weit wie möglich zu reduzieren. Daher werden wir im Laufe der Zeit bestrebt sein, die API-Kosten weiter zu senken.
• längerer Kontext: Danach kann der Kontext bis zu 1 Million Token umfassen.
• API-Feinabstimmung: Die Feinabstimmungs-API wird auf die neuesten Modelle ausgeweitet, aber die Art und Weise hängt davon ab, was der Entwickler wirklich will.
• Zustandsbehaftete API: Wenn Sie die Chat-API aufrufen, müssen Sie immer wieder denselben Konversationsverlauf weitergeben und für dasselbe Token bezahlen. Anschließend gibt es eine API-Version, die den Konversationsverlauf aufzeichnen kann.

2024

• Multimodul: Die GPT-4-Version wurde bei der Veröffentlichung angezeigt, kann jedoch nicht auf alle Benutzer ausgeweitet werden, bis mehr GPUs online sind.

3. Plugins werden in absehbarer Zeit nicht verfügbar sein

Viele Entwickler sind daran interessiert, die API für den Zugriff auf das ChatGPT-Plugin zu verwenden, aber Sam sagte, dass das Plugin in absehbarer Zeit nicht angekündigt wird. Zusätzlich zum Durchsuchen gibt es kein PMF für Plug-Ins. Er sagte, dass viele Leute ChatGPT in ihre eigenen Anwendungen einbetten möchten, aber was sie wirklich wollen, ist, ChatGPT in ihre eigenen Anwendungen einzubetten.

4. OpenAI wird es vermeiden, mit Kunden zu konkurrieren

Viele Entwickler äußerten Bedenken hinsichtlich der Entwicklung mit der OpenAI-API, wenn OpenAI möglicherweise ein Konkurrenzprodukt veröffentlichen würde. Sam sagte, dass OpenAI keine anderen Produkte als ChatGPT veröffentlichen wird. Große Plattformen haben eine lange Geschichte von Killer-Apps. ChatGPT ist bestrebt, die Öffentlichkeit zu Kunden zu machen, um die API zu verbessern. Die Vision von ChatGPT besteht darin, ein superintelligenter Assistent zu werden, da es viele GPT-Anwendungen gibt, auf die OpenAI nicht stoßen wird.

5. Brauchen Sie Regulierung, aber auch Open Source

Während Sam eine Regulierung der KI fordert, hält er das Modell derzeit nicht für gefährlich und eine Regulierung oder ein Verbot wäre ein großer Fehler. Er bekräftigte die Bedeutung von Open Source und sagte, dass OpenAI Open Source GPT-3 in Betracht zieht, auch weil er bezweifelt, wie viele Einzelpersonen und Unternehmen in der Lage sind, große LLMs zu hosten und bereitzustellen.

6. Das Gesetz der Modellleistungsskalierung funktioniert

In letzter Zeit gab es viele Artikel mit der Aussage, dass „die Ära der riesigen KI-Modelle vorbei ist“, was nicht korrekt ist.

OpenAI-Daten zeigen, dass das Gesetz der Skalierung der Modellleistung weiterhin gilt und es den Modellen ermöglicht, weiterhin Leistung zu erbringen. Es ist unmöglich, die Expansionsgeschwindigkeit aufrechtzuerhalten, da OpenAI das Modell in nur wenigen Jahren millionenfach wachsen ließ. Obwohl dies nicht nachhaltig ist, bedeutet dies nicht, dass OpenAI das Modell nicht erweitern wird, sondern es wird geändert, um zu wachsen um ein bis drei Mal pro Jahr, anstatt um das Zehnfache auf einmal zu expandieren. .

Die kontinuierliche Erweiterung des Modells hat erhebliche Auswirkungen auf den Zeitplan für die AGI-Entwicklung. Die Skalierungsannahme ist, dass das meiste, was zum Aufbau von AGI benötigt wird, wahrscheinlich verfügbar sein wird und der Rest der Arbeit bestehende Methoden nutzen und auf größere Modelle skalieren wird und größere Datenbanken. Wenn das Skalierungszeitalter vorbei ist, ist AGI möglicherweise weiter von uns entfernt, und die Tatsache, dass die Gesetze der Skalierung gelten, bedeutet, dass der Zeitplan verkürzt wird.

(Dieser Artikel wird gesponsert von Spielen Zum Nachdruck berechtigt; Quelle des ersten Bildes:Humanloop）