Am Donnerstag kündigte OpenAI die Einführung von GPT-4o mini an, einer neuen, kleineren Version seines neuesten GPT-4o-KI-Sprachmodells, das GPT-3.5 Turbo in chatgpt ersetzen wird, berichtet CNBC Und Bloomberg. Es wird heute für kostenlose Benutzer und Benutzer mit ChatGPT Plus- oder Team-Abonnements verfügbar sein und kommt nächste Woche zu ChatGPT Enterprise.

GPT-4o mini soll wie sein großer Bruder (der im Mai auf den Markt kam) multimodal sein, Bilder und Text interpretieren und auch DALL-E 3 zur Bildgenerierung verwenden können.

OpenAI teilte Bloomberg mit, dass GPT-4o mini das erste KI-Modell des Unternehmens sein wird, das eine Technik namens „Befehlshierarchie“ verwendet. Diese sorgt dafür, dass ein KI-Modell einigen Befehlen Vorrang vor anderen (beispielsweise von einem Unternehmen) einräumt. Dies könnte es für Benutzer schwieriger machen, Prompt-Injection-Angriffe oder Jailbreaks durchzuführen, die die integrierte Feinabstimmung oder Anweisungen einer Systemaufforderung unterlaufen.

Der Wert kleinerer Sprachmodelle

OpenAI ist nicht das erste Unternehmen, das eine kleinere Version eines bestehenden Sprachmodells herausbringt. In der KI-Branche ist dies bei Anbietern wie Meta, google und Anthropic gängige Praxis. Diese kleineren Sprachmodelle sind darauf ausgelegt, einfachere Aufgaben zu geringeren Kosten auszuführen, wie etwa Listen zu erstellen, zusammenzufassen oder Wörter vorzuschlagen, anstatt tiefgreifende Analysen durchzuführen.

Kleinere Modelle richten sich normalerweise an API-Benutzer, die einen festen Preis pro Token-Ein- und -Ausgabe zahlen, um die Modelle in ihren eigenen Anwendungen zu verwenden. In diesem Fall würde das kostenlose Anbieten von GPT-4o mini als Teil von ChatGPT jedoch scheinbar auch für OpenAI Geld sparen.

Olivier Godement, Leiter des API-Produkts bei OpenAI, sagte gegenüber Bloomberg: „Im Rahmen unserer Mission, die neuesten Technologien zu entwickeln und die leistungsstärksten und nützlichsten Anwendungen zu bauen, wollen wir natürlich weiterhin an den bahnbrechenden Modellen arbeiten und hier die Grenzen verschieben. Aber wir wollen auch die besten kleinen Modelle auf dem Markt haben.“

Kleinere Large Language Models (LLMs) haben normalerweise weniger Parameter als größere Modelle. Parameter sind numerische Wertspeicher in einem neuronalen Netzwerk, die erlernte Informationen speichern. Weniger Parameter bedeuten, dass ein LLM ein kleineres neuronales Netzwerk hat, was normalerweise die Tiefe der Fähigkeit eines KI-Modells einschränkt, Kontexte zu verstehen. Modelle mit größeren Parametern sind normalerweise „tiefgründigere Denker“, da in diesen numerischen Parametern eine größere Anzahl von Verbindungen zwischen Konzepten gespeichert ist.

Um die Sache noch komplizierter zu machen, besteht jedoch nicht immer eine direkte Korrelation zwischen Parametergröße und Leistungsfähigkeit. Die Qualität der Trainingsdaten, die Effizienz der Modellarchitektur und der Trainingsprozess selbst wirken sich ebenfalls auf die Leistung eines Modells aus, wie wir kürzlich bei leistungsfähigeren kleinen Modellen wie Microsoft Phi-3 gesehen haben.

Weniger Parameter bedeuten, dass zum Ausführen des Modells weniger Berechnungen erforderlich sind. Dies bedeutet, dass entweder weniger leistungsfähige (und weniger teure) GPUs oder weniger Berechnungen auf der vorhandenen Hardware erforderlich sind, was zu niedrigeren Energierechnungen und geringeren Endkosten für den Benutzer führt.

Es sieht so aus, als hätten CNBC und Bloomberg möglicherweise ein Embargo gebrochen und ihre Artikel vor der offiziellen Blog-Veröffentlichung von OpenAI über GPT-4o Mini veröffentlicht. Dies ist eine Eilmeldung und wird aktualisiert, sobald Einzelheiten bekannt werden.