OpenAI hat „GPT-4o“ vorgestellt, eine Weiterentwicklung seines generativen KI-Modells mit deutlich verbesserten Verarbeitungsfähigkeiten für Text, Audio und Bild.

GPT-4o (das „o“ bedeutet „omni“ für den Umfang seiner Fähigkeiten) bleibe auf einem Intelligenzniveau, das mit dem von ChatGTP-4 vergleichbar sei, erklärte Mira Murati, technische Leiterin von OpenAI, in der Einleitung zu einer Demonstration neuer Spring-Produkte . Aber OpenAI hat die Audioanalysefunktionen von chatgpt verbessert, sodass der Benutzer das Gefühl eines echten Dialogs mit dem Assistenten hat, mit Sprachanklängen, Simulation von Emotionen oder der Möglichkeit einer Unterbrechung, um zu einem anderen Thema überzugehen.

GPT-4o verbessert dann seine Fähigkeit, ein Bild und seinen Inhalt zu verstehen. Dies wird beispielsweise in der neuen und ersten Mac-Version von ChatGPT verwendet, die den Bildschirm oder eine an sie übermittelte Aufnahme beobachten und kommentieren kann, wie es eine Super-Siri tun würde.

OpenAI führt ChatGPT für macOS gegen Siri und Spotlight ein

In einer anderen Demo laufen jeweils zwei iPhones mit GPT-4o. Man nutzt die Frontkamera, um zu sehen, was vor der Linse passiert. Der andere Assistent bittet ihn dann, den Raum, die Dekoration, die Person vor ihm und seine Arbeit zu beschreiben (mehrere andere Demovideos). finden Sie hier). In einer anderen Demo ist es ein Blinder, der diese Fähigkeit nutzt, um Live-Ereignisse draußen auf der Straße zu analysieren.

In Zukunft könnte dies noch viel weiter gehen und immer in Echtzeit. ChatGPT könnte sich beispielsweise ein Video eines Spiels ansehen und erklären, was passiert, sowie die Regeln der Disziplin, schlug Mira Murati vor. Für die Live-Übersetzung wurde die Engine auf rund 50 Sprachen verbessert und die Bedienung ist doppelt so schnell. Eine Person, die in einer Sprache spricht, spricht mit ChatGPT, das den Austausch für einen anderen Gesprächspartner in eine andere Sprache übersetzt.

Diese Sprachkomponente ist noch nicht in die GPT-4o-API integriert, die jetzt für jedermann verfügbar ist. OpenAI möchte es mit einem begrenzten Benutzerkreis weiter verbessern, um einige Hürden zu überwinden. Innerhalb eines Monats sollten Benutzer des Plus-Plans eine Alpha-Version haben.

GPT-4o ist ab sofort für Benutzer des kostenlosen ChatGPT-Plans sowie für Abonnenten der kostenpflichtigen Plus- und Teams-Pläne mit einem mit 5 multiplizierten Nachrichtenkontingent verfügbar. Sobald dieses Limit überschritten wird, wechselt ChatGPT zu einem älteren Modell, GPT -3.5 .