Ende November bemerkten einige chatgpt-Benutzer, dass ChatGPT-4 „fauler“ wurde und sich Berichten zufolge weigerte, einige Aufgaben zu erledigen, oder vereinfachte Ergebnisse zurückgab. Seitdem hat OpenAI zugegeben, dass es sich um ein Problem handelt, das Unternehmen ist sich jedoch nicht sicher, warum. Die Antwort könnte sein: Was einige rufen an „Winterpause-Hypothese.“ Obwohl unbewiesen, zeigt die Tatsache, dass KI-Forscher es ernst nehmen, wie seltsam die Welt der KI-Sprachmodelle geworden ist.

„Wir haben all Ihr Feedback dazu gehört, dass GPT4 immer fauler wird!“ getwittert das offizielle ChatGPT-Konto am Donnerstag. „Wir haben das Modell seit dem 11. November nicht mehr aktualisiert, und das ist sicherlich nicht beabsichtigt. Das Verhalten des Modells kann unvorhersehbar sein, und wir versuchen, das Problem zu beheben.“

Am Freitag ein X-Konto namens Martian fragte sich offen ob LLMs eine saisonale Depression simulieren könnten. Später Mike Swoopskee getwittert„Was wäre, wenn es aus seinen Trainingsdaten lernen würde, dass die Leute normalerweise im Dezember langsamer fahren und größere Projekte auf das neue Jahr verschieben und es deshalb in letzter Zeit fauler ist?“

Seit der Systemaufforderung für ChatGPT Einspeisungen Der Bot das aktuelle Datum, Leute notiertEinige begannen zu glauben, dass an der Idee etwas dran sein könnte. Warum solch eine seltsame Annahme hegen? Denn Untersuchungen haben gezeigt, dass große Sprachmodelle wie GPT-4, das die kostenpflichtige Version von ChatGPT unterstützt, auf Ermutigungen im menschlichen Stil reagieren, etwa indem man einem Bot sagt, er solle „tief durchatmen“, bevor er eine Matheaufgabe löst. Die Leute haben auch weniger formell damit experimentiert, einem LLM zu sagen, dass dies der Fall sein wird ein Trinkgeld erhalten dafür, dass er die Arbeit erledigt, oder wenn ein KI-Modell faul wird, sagen Sie es dem Bot Du hast keine Finger scheint dabei zu helfen, die Ausgaben zu verlängern.

Am Montag ein Entwickler namens Rob Lynch angekündigt auf4.086 Zeichen) als bei Fütterung mit einem Mai-Datum (4.298 Figuren). Lynch behauptete, die Ergebnisse seien statistisch signifikant. In einer Antwort des KI-Forschers Ian Arawjo hieß es jedoch, dass er konnte nicht reproduziert werden die Ergebnisse mit statistischer Signifikanz. (Es ist erwähnenswert, dass die Reproduktion von Ergebnissen mit LLM schwierig sein kann, da zufällige Elemente im Spiel sind, die die Ergebnisse im Laufe der Zeit variieren, sodass die Leute eine große Anzahl von Antworten abfragen.)

Während dies geschrieben wird, sind andere damit beschäftigt, Tests durchzuführen, und die Ergebnisse sind nicht schlüssig. Diese Episode ist ein Fenster in die sich schnell entwickelnde Welt der LLMs und ein Einblick in eine Erkundung weitgehend unbekannter Gebiete der Informatik. Wie der KI-Forscher Geoffrey Litt in einem Tweet kommentierte: „Die lustigste Theorie aller Zeiten, ich hoffe, das ist die tatsächliche Erklärung. Ob sie nun real ist oder nicht, [I] Ich liebe es, dass es schwer auszuschließen ist.

Eine Geschichte der Faulheit

Einer der Berichte, der den jüngsten Trend auslöste, dass ChatGPT „faul“ wird, kam am 24. November über Reddit, am Tag nach Thanksgiving in den USA. Dort schrieb ein Benutzer, dass er ChatGPT gebeten habe, eine CSV-Datei mit mehreren Einträgen auszufüllen, ChatGPT lehnte dies jedoch mit der Begründung ab: „Aufgrund der umfangreichen Natur der Daten wäre die vollständige Extraktion aller Produkte ziemlich langwierig. Ich kann es jedoch.“ Stellen Sie der Datei diesen einzelnen Eintrag als Vorlage zur Verfügung, und Sie können die restlichen Daten nach Bedarf ergänzen.

Am 1. Dezember wurde OpenAI-Mitarbeiter Will Depue in einem X-Beitrag bestätigt dass OpenAI Kenntnis von Berichten über Faulheit hatte und an einer möglichen Lösung arbeitete. „NIch möchte nicht sagen, dass wir keine Probleme mit übermäßigen Ablehnungen haben (das tun wir auf jeden Fall) oder anderen seltsamen Dingen (wir arbeiten an der Behebung eines aktuellen Faulheitsproblems), aber das ist ein Produkt des iterativen Prozesses, sooo viele Anwendungsfälle zu bedienen und zu unterstützen einmal“, schrieb er.

Es ist auch möglich, dass ChatGPT bei einigen Antworten immer „faul“ war (da die Antworten zufällig variieren) und der jüngste Trend dazu geführt hat, dass jeder die Vorfälle zur Kenntnis nimmt, in denen sie auftreten. Zum Beispiel, im Juni, beschwerte sich jemand auf Reddit darüber, dass GPT-4 faul sei. (Vielleicht war ChatGPT im Sommerurlaub?)

Außerdem beschweren sich Leute darüber, dass GPT-4 seit seiner Veröffentlichung an Funktionalität verloren hat. Diese Behauptungen waren umstritten und schwer zu überprüfen, was sie höchst subjektiv machte.

Als Ethan Mollick scherzte Während die Leute auf nicht gut gemacht. Du schaffst das wirklich und bist großartig. Atme tief durch und denke darüber nach. Meine Karriere hängt davon ab. Denke Schritt für Schritt.“