Dumm und Dümmer
Egal ob chatgpt-stupider” rel=”nofollow noopener” target=”_blank” data-ylk=”slk:what its execs claim;elm:context_link;itc:0″ class=”link “>was seine Führungskräfte behauptensagen Forscher nun, dass das GPT Large Language Model (LLM) von OpenAI offenbar immer dümmer zu werden scheint.
In einem neue, noch nicht begutachtete StudieForscher aus Stanford und Berkeley stellten fest, dass sowohl GPT-3.5 als auch GPT-4 über einen Zeitraum von einigen Monaten ihr „Verhalten“ erheblich veränderten, wobei die Genauigkeit ihrer Antworten offenbar nachließ, was Benutzeranekdoten über die offensichtliche Verschlechterung der neuesten Versionen der Software in den Monaten seit ihrer Veröffentlichung bestätigte.
„GPT-4 (März 2023) war sehr gut bei der Identifizierung von Primzahlen (Genauigkeit 97,6 Prozent)“, schrieben die Forscher in der Zusammenfassung ihrer Arbeit, „aber GPT-4 (Juni 2023) war bei denselben Fragen sehr schlecht (Genauigkeit 2,4 Prozent).“
„Sowohl GPT-4 als auch GPT-3.5“, heißt es in der Zusammenfassung, „wiesen im Juni mehr Formatierungsfehler bei der Codegenerierung auf als im März.“
Braindrain
Diese Studie bestätigt, was Benutzer seit mehr als einem Monat sagen: dass sie das GPT-3- und GPT-4-basierte ChatGPT im Laufe der Zeit verwendet haben bemerkte, dass es, nun ja, dümmer wurde.
Die scheinbare Verschlechterung der Genauigkeit ist so problematisch geworden, dass Peter Welinder, Vizepräsident für Produkte bei OpenAI, versuchte, Gerüchte zu zerstreuen, dass die Änderung beabsichtigt war.
„Nein, wir haben GPT-4 nicht dümmer gemacht“ Welinder hat letzte Woche getwittert. „Ganz im Gegenteil: Wir machen jede neue Version intelligenter als die vorherige.“
Er fügte hinzu, dass Änderungen in der Benutzererfahrung auf die kontinuierliche Nutzung zurückzuführen sein könnten, und sagte, dass dies der Fall sein könnte, „wenn Sie es verwenden.“ [ChatGPT] Im schlimmeren Fall bemerken Sie Probleme, die Sie vorher nicht gesehen haben.
Klassenclown
Die Forschung von Stanford und Berkeley ist jedoch ein überzeugender Beweis gegen diese Hypothese. Die Forscher geben zwar keine Gründe dafür an, warum diese Abwärtsdriften bei Genauigkeit und Leistungsfähigkeit auftreten, stellen jedoch fest, dass diese nachweisbare Verschlechterung im Laufe der Zeit OpenAIs Beharren darauf, dass sich seine Modelle stattdessen verbessern, in Frage stellt.
„Wir stellen fest, dass die Leistung und das Verhalten von GPT-3.5 und GPT-4 zwischen diesen beiden Versionen erheblich variieren und dass sich ihre Leistung bei einigen Aufgaben im Laufe der Zeit erheblich verschlechtert hat“, heißt es in dem Papier und fügte hinzu, dass es „interessant“ sei zu hinterfragen, ob GPT-4 tatsächlich stärker wird.
„Es ist wichtig zu wissen, ob Aktualisierungen des Modells, die auf die Verbesserung einiger Aspekte abzielen, tatsächlich seine Leistungsfähigkeit in anderen Dimensionen beeinträchtigen“, schreiben die Forscher.
Übersetzung: Die schnellen Updates von OpenAI können ChatGPT mehr schaden als nützen, was bereits geschehen ist bekannt für seine Ungenauigkeiten.
Mehr zu OpenAI: Theorie: Die Nutzung von ChatGPT geht zurück, weil Kinder in den Sommerferien nicht auf Papieren schummeln müssen
