OpenAI kündigte am Dienstag eine wesentliche Verbesserung seines neuesten Modells für künstliche Intelligenz (KI), GPT-4 Turbo, an. Das KI-Modell verfügt nun über Computer-Vision-Funktionen, die es ihm ermöglichen, Multimedia-Eingaben zu verarbeiten und zu analysieren. Es kann Fragen zu einem Bild, einem Video und mehr beantworten. Das Unternehmen stellte außerdem mehrere KI-Tools vor, die auf GPT-4 Turbo mit Vision basieren, darunter der KI-Codierungsassistent Devin und die Snap-Funktion von Healthify. Letzte Woche stellte das KI-Unternehmen eine neue Funktion vor, die es Benutzern ermöglichen würde, mit DALL-E 3 generierte Bilder in chatgpt zu bearbeiten.

Die Ankündigung erfolgte über den offiziellen Account von OpenAI Developers, auf dem in einem X (früher bekannt als Twitter) stand: Post„GPT-4 Turbo mit Vision ist jetzt allgemein in der API verfügbar. Vision-Anfragen können jetzt auch den JSON-Modus und Funktionsaufrufe verwenden.“ Später auch das X-Konto von OpenAI enthüllt dass die Funktion jetzt in der API verfügbar ist und in ChatGPT eingeführt wird.

GPT-4 Turbo with Vision ist im Wesentlichen das GPT-4-Basismodell mit den höheren Token-Ausgängen, die mit dem Turbo-Modell eingeführt wurden, und verfügt jetzt über eine verbesserte Computer Vision zur Analyse von Multimediadateien. Die Sehfähigkeiten können auf vielfältige Weise genutzt werden. Der Endbenutzer kann diese Funktion beispielsweise nutzen, indem er ein Bild des Taj Mahal auf ChatGPT hochlädt und ihn bittet, zu erklären, aus welchem ​​Material das Gebäude besteht. Entwickler können noch einen Schritt weitergehen und die Funktionen ihrer Tools für bestimmte Zwecke optimieren.

OpenAI hat in dem Beitrag einige dieser Anwendungsfälle hervorgehoben. Der Devin-Chatbot von Cognition AI, ein KI-gestützter Codierungsassistent, verwendet GPT-4 Turbo mit Vision, um die komplexen Codierungsaufgaben zu sehen, und seine Sandbox-Umgebung zum Erstellen von Programmen.

Ebenso verfügt die indische Kalorien-Tracking- und Ernährungs-Feedback-Plattform Healthify über eine Funktion namens Snap, bei der Benutzer auf ein Bild eines Lebensmittels oder einer Küche klicken können und die Plattform die darin enthaltenen möglichen Kalorien anzeigt. Mit den Funktionen von GPT-4 Turbo with Vision empfiehlt es dem Benutzer nun auch, was er tun sollte, um die zusätzlichen Kalorien zu verbrennen, oder Möglichkeiten, die Kalorien in der Mahlzeit zu reduzieren.

Bemerkenswert ist, dass dieses KI-Modell ein Kontextfenster von 1.28.000 Token hat und seine Trainingsdaten bis Dezember 2023 laufen.