OpenAI hat GPT-4o auf den Markt gebracht, ein großes (und kostenloses) chatgpt-Upgrade, das bedeutet, dass das Modell deutlich schneller ist und Bilder, Audio und Text schnell verarbeiten kann.

Angekündigt während eines OpenAI-Livestreams am Montag von OpenAI-CTO Mira MuratiGPT-4o ist eine „viel schnellere“ Iteration des berühmten ChatGPT-Produkts von OpenAI, das „die Fähigkeiten in den Bereichen Text, Bild und Audio“ verbessert.

OpenAI schrieb in einem begleitenden Blogbeitrag:

GPT-4o („o“ für „omni“) ist ein Schritt hin zu einer viel natürlicheren Mensch-Computer-Interaktion – es akzeptiert jede Kombination aus Text, Audio und Bild als Eingabe und generiert jede Kombination aus Text, Audio und Bildausgaben. ”

OpenAI hebt hervor, dass GPT-4o beeindruckende Reaktionszeiten bei Audioeingaben aufweist, die durchschnittlich 320 Millisekunden betragen und bis zu 232 Millisekunden erreichen, was seiner Meinung nach mit den Reaktionszeiten bei menschlichen Gesprächen vergleichbar ist. Seine Leistung bei der Verarbeitung von englischem Text und Code entspricht dem fortschrittlichen GPT-4 Turbo-Modell von OpenAI, mit bemerkenswerten Fortschritten bei der Verarbeitung nicht-englischer Sprachen.

Darüber hinaus ist GPT-4o über die API deutlich schneller und 50 Prozent günstiger in der Nutzung. Es zeichnet sich durch visuelles und akustisches Verständnis aus und übertrifft die Fähigkeiten bestehender Modelle.

OpenAI-CEO Sam Altman beschrieb GPT-4o als das „beste Modell aller Zeiten“ von OpenAI und hob seine „nativ multimodalen“ Fähigkeiten auf X hervor.

Unser neues Modell: GPT-4o, ist unser bestes Modell aller Zeiten. Es ist intelligent, es ist schnell, es ist von Natur aus multimodal (!) und…

– Sam Altman (@sama) 13. Mai 2024

Altman schrieb im Anschluss an die Live-Stream-Veranstaltung auch einen separaten Blog, in dem er sich über das Potenzial von GPT-4o schwärmte.

„Unsere ursprüngliche Idee, als wir OpenAI starteten, war, dass wir KI entwickeln und sie nutzen würden, um der Welt alle möglichen Vorteile zu bringen“, schrieb er. „Stattdessen sieht es jetzt so aus, als würden wir KI erschaffen, und dann werden andere Leute sie nutzen, um alle möglichen erstaunlichen Dinge zu erschaffen, von denen wir alle profitieren (…) Das ursprüngliche ChatGPT zeigte einen Hinweis darauf, was mit Sprachschnittstellen möglich war; Dieses neue Ding fühlt sich viszeral anders an. Es ist schnell, intelligent, unterhaltsam, natürlich und hilfreich.“

Die Funktionen von GPT-4o werden schrittweise eingeführt, beginnend mit dem erweiterten Red-Team-Zugriff ab heute. Die Text- und Bildfunktionen sind jedoch ab heute auch in ChatGPT verfügbar und können von jedem im kostenlosen Kontingent getestet werden. GPT-4o ist auch für Plus-Benutzer zugänglich, die von bis zu fünfmal höheren Nachrichtenlimits profitieren.

Weitere Informationen zu GPT-4o

Darüber hinaus wird in den kommenden Wochen eine neue Version des Sprachmodus mit GPT-4o in der Alpha-Version für ChatGPT Plus-Benutzer eingeführt.

Bisher konnten Benutzer im Sprachmodus mit ChatGPT mit durchschnittlichen Latenzen von 2,8 Sekunden (GPT-3,5) und 5,4 Sekunden (GPT-4) sprechen. Dabei handelte es sich um eine Pipeline mit drei Modellen: eines für Audio-to-Text, GPT-3.5 oder GPT-4 für die Textverarbeitung und eines für Text-to-Audio. Dieses Setup schränkte die Fähigkeit des GPT-4 ein, Töne, mehrere Lautsprecher oder Hintergrundgeräusche zu interpretieren, und er konnte weder Lachen, Gesang noch Emotionen ausdrücken.

Mit GPT-4o betont OpenAI, dass nun ein einziges Modell Text-, Bild- und Audio-Ein- und -Ausgaben verarbeitet. Diese End-to-End-Integration ermöglicht es GPT-4o, mehr Informationen zu speichern und neue Funktionen zu erkunden, obwohl OpenAI sagt, dass es immer noch sein volles Potenzial und seine Grenzen entdeckt.

In seinem Blogbeitrag nennt OpenAI mehrere überzeugende Anwendungsfälle, die die erweiterten Funktionen von GPT-4o veranschaulichen, darunter das Teilen einer Audiodatei eines Meetings mit ChatGPT. Das Modell identifiziert dann die Sprecher und ihre Berufsbezeichnungen, bevor es den Ton präzise transkribiert. Eine weitere von OpenAI hervorgehobene Fallstudie war das Teilen eines Videos einer Vorlesung mit ChatGPT, das dann den Inhalt dieses Videos mit auffälligen Details und Genauigkeit zusammenfasst.

OpenAI betont, dass GPT-4o Sicherheitsmaßnahmen über alle Modalitäten hinweg integriert, wie z. B. Datenfilterung und Verfeinerungen nach dem Training. Bei der Bewertung im Rahmen seines Preparedness Framework weist es kein höheres als mittleres Risiko in Bezug auf Cybersicherheit, CBRN, Überzeugungskraft und Autonomie auf. Umfangreiches externes Red Teaming informierte über seine Sicherheitsmaßnahmen. OpenAI veröffentlicht zunächst Text- und Bildeingaben sowie Textausgaben, wobei die Audioausgaben gemäß den bestehenden Sicherheitsrichtlinien auf voreingestellte Stimmen beschränkt sind.

Welche anderen OpenAI-Neuigkeiten gab es in letzter Zeit?

Anfang dieses Monats veröffentlichte E-Mails im Kartellverfahren des US-Justizministeriums gegen google deuten darauf hin, dass die Investition von Microsoft in OpenAI auf Bedenken hinsichtlich der überlegenen Fortschritte von Google in der KI zurückzuführen war.

Wie berichtet von GeschäftseingeweihterDie Ermittlungen des Justizministeriums führten zur Veröffentlichung einer internen E-Mail zwischen Microsoft-Mitbegründer Bill Gates, CEO Satya Nadella und CTO Kevin Scott. In der E-Mail vom Juni 2019 mit dem Titel „Gedanken zu OpenAI“ wurden die Investitionsmöglichkeiten in der KI-Organisation dargelegt und gleichzeitig die Bereiche hervorgehoben, in denen Google in seiner KI-Forschung und seinen KI-Modellen Microsoft deutlich voraus war.

In anderen OpenAI-Nachrichten steht die Beziehung zwischen Microsoft und OpenAI vor einer möglichen kartellrechtlichen Untersuchung durch die Regulierungsbehörde der Europäischen Union.

Wie erstmals berichtet von Reuterskönnte die Europäische Kommission eine kartellrechtliche Untersuchung der 13-Milliarden-Dollar-Investition von Microsoft in OpenAI einleiten. Die Quellen der Veröffentlichung sagen angeblich, dass die Aufsichtsbehörden Argumente für eine solche Untersuchung ausarbeiten.

Einer Reuters-Quelle zufolge erwägt die Europäische Kommission zu untersuchen, ob die Marktmacht von Microsoft durch bestimmte Praktiken den Markt verzerrt.