-
Das betrifft nicht nur Sie: Neue Forschungsergebnisse deuten darauf hin, dass das KI-Modell von ChatGPT tatsächlich immer dümmer wird.
-
In einer Studie von Wissenschaftlern aus Stanford und der UC Berkeley wurde festgestellt, dass die Leistung von GPT-4 in letzter Zeit nachgelassen hat.
-
Das einzige Rätsel, das jetzt bleibt, ist der Grund.
Es gibt schon seit einiger Zeit ein wachsendes Gefühl dafür Das KI-Modell hinter ChatGPT wird ehrlich gesagt immer dümmer.
Es gibt mittlerweile einige eindeutige Beweise dafür Der wertvolle Besitz von OpenAI könnte wirklich etwas von seinem Glanz verlieren.
A neues Papier am Dienstag veröffentlicht Forscher der Stanford University und der UC Berkeley untersuchten, wie sich das Verhalten von ChatGPT im Laufe der Zeit verändert hat und fanden heraus, dass die Leistung des zugrunde liegenden Chatbots GPT-3.5 und GPT-4 KI-Modelle tatsächlich „variiert stark“.
Es variiert nicht nur die Leistung, sondern auch GPT-4, das fortschrittlichere „multimodale“ Modell, das sowohl Bilder als auch Text verstehen kannscheint im Laufe der Zeit bei den Aufgaben, bei denen es getestet wurde, deutlich schlechter abgeschnitten zu haben.
Diese Aufgaben waren ausreichend vielfältig, um sicherzustellen, dass das Modell tatsächlich eine faire Bewertung seiner Fähigkeiten erhielt: Matheaufgaben, Antworten auf sensible Fragen, Codegenerierung und visuelles Denken waren alle Teil des Bewertungsprozesses.
Aber auch mit einer Vielzahl an Aufgaben zeigt sein KönnenGPT-4 sah ziemlich enttäuschend aus.
Es wurde festgestellt, dass die Genauigkeit bei der Identifizierung von Primzahlen im März 97,6 % betrug, verglichen mit schockierenden 2,4 % im Juni; Es stellte sich heraus, dass es letzten Monat „mehr Formatierungsfehler bei der Codegenerierung“ gab als Anfang des Jahres, und dass es generell „weniger bereit war, sensible Fragen zu beantworten“.
Niemand kann genau verstehen, warum sich GPT-4 ändert
Die Forschung scheint jedoch nicht herauszufinden, warum es zu diesem Leistungsabfall gekommen ist.
„Das Papier geht nicht darauf ein, warum die Verschlechterung der Fähigkeiten stattfindet. Wir wissen nicht einmal, ob OpenAI weiß, dass dies geschieht“, twitterte Ethan Mollick, Professor für Innovation an der Wharton University, als Antwort auf das Papier.
Wenn OpenAI es nicht aufgegriffen hat, haben es sicherlich viele in der KI-Community erkannt. Peter Yang, Produktleiter bei Roblox, bemerkte dies im Mai dass die Antworten von GPT-4 schneller generiert werden als zuvor, „aber die Qualität scheint schlechter zu sein.“
„Vielleicht versucht OpenAI, Kosten zu sparen“, twitterte er.
Das Entwicklerforum von OpenAIInzwischen gibt es eine anhaltende Debatte über eine Verschlechterung der Qualität der Antworten.
Da das KI-Modell einer fortschrittlicheren Version von ChatGPT zugrunde liegt, auf die zahlende Abonnenten Zugriff haben, ist das für OpenAI ein kleines Problem. Sein fortschrittlichstes großes Sprachmodell dürfte ihm im immer härter werdenden Wettbewerb mit seinen Konkurrenten einen Vorteil verschaffen.
Als Mein Kollege Alistair Barr bemerkte dies Anfang des MonatsViele in der KI-Community führen die nachlassende Qualität von GPT-4 auf eine „radikale Neugestaltung“ des Modells zurück.
OpenAI hat diese Idee zurückgedrängtmit Peter Welinder, VP of Product bei OpenAI, Ich habe letzte Woche getwittert: „Nein, wir haben GPT-4 nicht dümmer gemacht. Ganz im Gegenteil: Wir machen jede neue Version intelligenter als die vorherige.“
Vielleicht möchte er diese Position noch einmal überdenken, nachdem er diese Forschung gesehen hat.
Matei Zaharia, Chief Technology Officer bei Databricks und außerordentlicher Professor für Informatik an der UC Berkeley – sowie einer der Co-Autoren des Forschungspapiers – getwittert dass es „definitiv schwierig erscheint, die Qualität“ der Antworten von KI-Modellen zu verwalten.
„Ich denke, die schwierige Frage ist, wie gut Modellentwickler selbst solche Änderungen erkennen oder den Verlust einiger Fähigkeiten verhindern können, wenn sie auf neue optimieren.“ er hat getwittert.
Einige, wie der Princeton-Professor für Informatik Arvind Narayanan, haben auf wichtige Vorbehalte bei der Verteidigung von GPT-4 hingewiesen.
In ein Twitter-Thread, stellt er fest, dass die in dem Papier berichteten Verschlechterungen „etwas eigenartig“ für die Aufgaben sein könnten, die GPT-4 übertragen wurde, sowie für die verwendete Bewertungsmethode. Beim Codegenerierungstest stellt er fest, dass GPT-4 seiner Ausgabe „Nicht-Code-Text“ hinzufügt, die Autoren jedoch nicht die Korrektheit des Codes bewerten.
Allerdings ist es schwer, die Qualitätsfragen rund um GPT-4 zu ignorieren, wenn sie von einer ganzen Community von KI-Anhängern gestellt werden. Stellen Sie besser sicher, dass OpenAI die Antworten hat.
Lesen Sie den Originalartikel auf Geschäftseingeweihter
