• Das Topmodell von OpenAI hat ein Problem: Es scheint immer fauler zu werden.
• Benutzer von GPT-4 haben sich im Forum des chatgpt-Herstellers beschwert.
• Sie sind so frustriert, dass sie versuchen, mit KI-Modellen zu konkurrieren, bis es eine Lösung gibt.

GPT-4 von OpenAI scheint wieder einmal faul geworden zu sein.

Dieses Mal warten jedoch nicht frustrierte Benutzer des Modells, das den kostenpflichtigen Dienst von ChatGPT unterstützt, auf eine schnelle Lösung.

Sie suchen stattdessen nach anderen Modellen, wobei eines ihre Aufmerksamkeit ganz besonders auf sich zieht: Claude von Anthropic.

Das Topmodell von OpenAI scheint immer noch faul zu sein

In den letzten Tagen haben sich Benutzer von GPT-4, das erstmals im März 2023 veröffentlicht wurde, darauf gefreut Das Entwicklerforum von OpenAI und soziale Medien äußern sich darüber, dass das Modell scheinbar weitaus weniger leistungsfähig ist als früher.

Einige beschweren sich darüber, dass „explizite Anweisungen“ nicht befolgt werden, indem abgeschnittener Code bereitgestellt wird, wenn nach vollständigem Code gefragt wird. Andere nennen Probleme damit, das Modell überhaupt dazu zu bringen, auf ihre Anfragen zu antworten.

„Die Realität ist, dass es unbrauchbar geworden ist“, schrieb ein Benutzer letzte Woche im Online-Forum von OpenAI.

Was Benutzer frustriert, ist, dass es nicht das erste Mal ist, dass die Leistung eines Modells zurückbleibt, das nicht nur das Beste von OpenAI sein soll, sondern für dessen Nutzung sie auch 20 US-Dollar pro Monat zahlen.

Wie mein Kollege Alistair Barr erstmals berichtete, gab es im Sommer letzten Jahres Anzeichen dafür, dass GPT-4 immer fauler und dümmer wird. Das Modell schien Probleme zu haben, da es eine „geschwächte Logik“ aufwies und gleichzeitig falsche Antworten an die Benutzer zurückgab.

Anfang des Jahres tauchten erneut weitere Beweise für Faulheit auf, wobei OpenAI-CEO Sam Altman sogar zugab, dass GPT-4 faul gewesen sei. Er veröffentlichte im Februar auf X, dass eine Lösung zur Behebung von Beschwerden herausgegeben worden sei.

Als jedoch die ersten Anzeichen einer Schwäche auftraten, hatte kein anderes Unternehmen ein Modell herausgebracht, das – zumindest auf dem Papier – eine annähernd vergleichbare Leistung wie GPT-4 aufwies, wodurch die Benutzer an das Unternehmen gebunden blieben, das letztes Jahr wohl den Hype um generative KI auslöste.

Das ist jetzt nicht der Fall.

Es entstehen GPT-4-Alternativen

Angesichts einer neuen Reihe von Problemen mit GPT-4 haben Benutzer mit einer Reihe anderer Modelle experimentiert, die inzwischen aufgetaucht sind und nicht nur mit dem Spitzenmodell von OpenAI mithalten, sondern es anscheinend auch übertreffen.

Nehmen Sie Claude von Anthropic. Der OpenAI-Rivale, der von Unternehmen wie google und Amazon unterstützt wird, veröffentlichte Anfang des Monats eine Premium-Version seines Claude-Modells mit dem Namen Claude 3 Opus. Betrachten Sie es als Äquivalent zu GPT-4.

Bei seiner Veröffentlichung teilte Anthropic Daten mit verglich die Leistung von Claude 3 Opus mit der seiner Mitbewerber anhand verschiedener Benchmarks wie „Wissen auf Bachelor-Niveau“, „Lösung mathematischer Probleme“, „Code“ und „gemischte Bewertungen“. In fast allen Fällen hatte Claude die Nase vorn.

Es sind nicht nur die Daten von Anthropic, die besagen, dass das Modell besser ist. Diese Woche überholte Claude 3 Opus GPT-4 LMSYS Chatbot Arenaeine offene Plattform zur Bewertung von KI-Modellen.

Natürlich gibt es einen Unterschied, ob etwas auf dem Papier gut aussieht oder ob es in der Praxis geliefert werden kann. Nach den Problemen von GPT-4 hatten selbst OpenAI-Loyalisten viele Anreize, Alternativen wie Claude auszuprobieren.

Es ist klar, dass viele mehr als beeindruckt sind.

Nach einer Programmiersitzung mit Claude 3 Opus kam der Softwareentwickler Anton letzte Woche zu dem Schluss, dass X GPT-4 zerstört hat. „Ich glaube nicht, dass Standard-Benchmarks diesem Modell gerecht werden.“ er schrieb.

Angel-Investorin Allie K. Miller hat dies anerkannt GPT-4 fühlt sich schlechter an als noch vor ein paar Monaten. „Die meisten Leute, die ich kenne, verwenden Claude 3“, schrieb sie, sowie das Mixtral 8x7B-Modell von Mistral AI.

Wharton-Professor Ethan Mollick stellte sogar fest, dass Claude 3 sich besser mit JRR Tolkiens konstruierten elbischen Sprachen Sindarin und Quenya auskennt. „Als Claude 3 gebeten wurde, ‚Mein Hovercraft ist voller Aale‘ zu übersetzen, erstellt er eine Originalübersetzung, GPT-4 durchsucht das Internet.“ er schrieb auf X.

Im OpenAI-Forum beschreiben Benutzer unterdessen Claude als weitaus zuverlässiger für Aufgaben wie Codierung und beschreiben Claude 3 Opus als vergleichbar mit der besseren Leistung, die GPT-4 bei seiner Veröffentlichung hatte.

OpenAI antwortete nicht auf eine Anfrage von BI nach einem Kommentar zu den Leistungsproblemen von GPT-4.

Einige, wie Miller, glauben nicht unbedingt, dass die Probleme Grund genug sind, OpenAI ganz aufzugeben. Der Leistungsabfall, so sagen sie, könnte darauf zurückzuführen sein, dass „OpenAI sich auf das nächste Modell konzentriert“ und möglicherweise Ressourcen dafür aufwendet.

Das könnte so sein. Wie meine Kollegen Kali Hays und Darius Rafieya diesen Monat berichteten, ist OpenAI bereit, GPT-5 bis Mitte des Jahres zu veröffentlichen.

Das Mindeste, was es tun kann, ist, nicht faul zu sein.