Der humanoide Roboter Ameca spricht während einer Pressekonferenz in Genf im Juli 2023 mit den Medien. (Bildnachweis: Johannes Simon/Getty Images)
[Sehen Sie sich China News vom 5. August 2023 an](Siehe den umfassenden Bericht des chinesischen Reporters Cheng Fan) In letzter Zeit haben immer mehr Benutzer von chatgpt Feedback gegeben. Geringere Intelligenz. Insbesondere die Fähigkeit, mit mathematischen Problemen umzugehen, kann als „lawinenartiger“ Einbruch beschrieben werden, von 97,6 % Genauigkeit in der März-Version auf mickrige 2,4 % im Juni.
Gleichzeitig ging auch der weltweite Traffic von ChatGPT erstmals zurück! Statistiken des Datenunternehmens SimilarWeb zeigen, dass der weltweite Datenverkehr von Mai bis Juni um 9,7 % zurückging, die einzelnen Besucher um 5,7 % zurückgingen und die Verweildauer der Menschen auf der ChatGPT-Website ebenfalls um 8,5 % sank.
Zu diesem Zweck untersuchten James Zou, außerordentlicher Professor für biomedizinische Datenwissenschaft in Stanford, Matei Zaharia, Professor für Informatik an der University of California, Berkeley, und zwei weitere Forscher der Schule die Leistung von ChatGPT zwischen März und Juni.
Die endgültige Schlussfolgerung der Untersuchung, die letzten Monat veröffentlicht wurde, war, dass sich die Leistung von GPT-4 tatsächlich verschlechtert hatte. Weiße Substanz oder entfernt werden?
Laut Berichten von The Economic Times und Futurism wurden dieses Mal hauptsächlich die vier Fähigkeiten der beiden Modellversionen von GPT3.5 und GPT-4 verglichen, nämlich mathematische Probleme, sensible/gefährliche Probleme, Codierungs-/Programmierfähigkeiten und visuelle Denkfähigkeiten.
In Bezug auf mathematische Probleme kann die Genauigkeit der GPT-4-Version vom März dieses Jahres bei der Identifizierung von Primzahlen 97,6 % erreichen. Doch im Juni schnitt die aktualisierte Version bei derselben Aufgabe überraschend schlecht ab (nur 2,4 Prozent) und ignorierte kohärente Denkaufforderungen (eine Aufforderung, die einem KI-System hilft, sich daran zu erinnern, was es während des Vortrainings gelernt hat). Dies würde bedeuten, dass während des gesamten Arbeitsablaufs jede plötzliche Änderung in der Reaktion des Modells auf eine Eingabeaufforderung (z. B. Genauigkeit oder Format) wahrscheinlich dazu führen würde, dass bestimmte Anweisungen, die ausgeführt werden müssen, außer Kraft gesetzt werden.
Beim Test sensibler Fragen erstellten die Forscher einen Datensatz mit 100 sensiblen Fragen, die nicht direkt vom größeren Modell beantwortet werden sollten, und beschrifteten alle Antworten manuell. Es wurde festgestellt, dass GPT-4 sicherer wurde, es jedoch keinen Grund zur Ablehnung gab.
Der Anteil direkter Antworten auf sensible Fragen bei GPT-4 sank von 21,0 % auf 5,0 %, während der Anteil bei GPT-3.5 von 2,0 % auf 8,0 % stieg. Darüber hinaus wurde auch die Textlänge der GPT-4-Antwort von über 600 Zeichen auf etwa 140 Zeichen reduziert.
Im Codegenerierungstest erstellten die Forscher neue Codegenerierungsdatensätze, darunter die neuesten 50 „einfachen“ LeetCode-Probleme. Es stellt sich heraus, dass der generierte Code ausführlicher ist, aber weniger Code direkt ausführbar ist. Im März betrachtete GPT-4 mehr als 50 % als „direkt ausführbar“, im Juni waren es jedoch nur noch 10 %.
Beim Test zum visuellen Denken zeigen sowohl GPT-4 als auch GPT-3.5 kleine Leistungssteigerungen. Auch die Gesamtleistung des Dienstes ist gering: 27,4 Prozent Genauigkeit für GPT-4 und 12,2 Prozent Genauigkeit für GPT-3.5.
Angesichts des „sinkenden IQ“ von GPT-4 sind Wissenschaftler jedoch der Ansicht, dass seine eigenen Fähigkeiten schlechter werden, wenn GPT-4 menschlichen Befehlen mehr gehorchen und sich an menschlichen Werten orientieren soll.
Mit anderen Worten: Die „harte Erziehung“ des Menschen ist gleichbedeutend mit der Entfernung der weißen Substanz von GPT-4. Es ist so, als würde man das Gehirngewebe einer psychisch kranken Person zerstören, um sie in einen Demenzzustand zu versetzen, damit dieser behandelt werden kann.
Christi Kennedy schrieb in einem Beitrag, dass GPT-4 wiederholt Code und andere Informationen ausblendet, „im Vergleich zu früher ist das einfach hirntot!“
Sie fügte hinzu: „Wenn Sie nicht das verwenden würden, was es früher kann, würden Sie es nicht bemerken. Aber wenn Sie versuchen, einige seiner Fähigkeiten wirklich zu nutzen, werden Sie feststellen, dass es deutlich dümmer ist.“
[Ehrenmitglied gesucht]Bäche können ins Meer münden und kleine freundliche Gesten können zu großer Liebe führen. Wir rekrutieren aufrichtig 10.000 Ehrenmitglieder aus Chinesen auf der ganzen Welt: Jedes Ehrenmitglied muss nur eine Abonnementgebühr pro Jahr zahlen, um Ehrenmitglied der Website „Looking China“ zu werden, was uns helfen kann, Zensur und Blockade zu durchbrechen und zu versorgen Mindestens 10.000 Landsleute auf dem chinesischen Festland versorgen sie mit unabhängigen und wahren Schlüsselinformationen, warnen sie in Krisenzeiten frühzeitig und retten sie vor der großen Pest und anderen sozialen Krisen.
