„Man kann mit Recht sagen, dass wir von den Ergebnissen, die wir erhalten haben, äußerst überrascht waren“, sagte Keith Holyoak, ein Psychologieprofessor, der zusammen mit UCLA-Professor Hongjing Lu und dem Doktoranden Taylor Webb einer der Autoren der Studie war.

Holyoak sagte, dass die Tests den GPT-3-Chatbot von OpenAI dazu aufforderten, eine Reihe von Tests zu lösen, die speziell dafür konzipiert waren, dass das Programm sie vorher nicht „gesehen“ hätte. Chatbots wie GPT-3 werden mit riesigen Mengen an Informationen aus dem Internet gefüttert, die sie nutzen, um Antworten auf Fragen zu formulieren, und Holyoak sagte, das Team wolle sicherstellen, dass der Bot nicht „schummeln“ könne, indem es die Antworten auf die bereits gespeicherten Probleme finde in seinem umfangreichen Satz an Trainingsdaten.

Also machte Webb einen gängigen visuellen Mustertest, der Teil des Raven’s Progressive Matrices-Tests ist, einem gängigen psychologischen Intelligenztest, und zerlegte ihn in Zahlen, damit der Bot ihn verstehen konnte. Bei einem anderen Test musste das Programm herausfinden, welcher Buchstabe in einem Muster als nächstes kommen würde, während bei einem anderen Test verbale Analogien ermittelt werden mussten wie „‚Liebe‘ bedeutet ‚hassen‘, während ‚reich‘ für welches Wort steht?“

Zur Überraschung der Forscher löste GPT-3 etwa 80 % der Probleme korrekt. Das lag deutlich über dem Durchschnittswert von knapp 60 % der 40 Studierenden, die an der Studie teilnahmen.

Was bedeutet das? „Denkt“ das Programm wie ein Mensch?

„Ist es so, dass sie in ihren neuronalen Netzwerken irgendwie eine menschenähnliche mentale Repräsentation entwickelt haben?“ sagte Holyoak. “Das ist möglich.”

Die umfassenderen Implikationen sind jedoch eher offen, insbesondere da OpenAI seinen zugrunde liegenden Code im Gegensatz zu anderen KI-Modellen wie Metas Llama 2, das kürzlich veröffentlicht wurde, streng geheim hält.

Die Autoren schrieben: „Wir müssen auch die Möglichkeit in Betracht ziehen, dass sich diese Art der maschinellen Intelligenz grundlegend von der menschlichen Variante unterscheidet“, und zwar allein aufgrund ihrer Rechenfähigkeit, die es ihr ermöglicht, „komplexe Probleme ganzheitlich und massiv parallel zu lösen, ohne dass dies erforderlich ist.“ um sie in überschaubarere Komponenten zu segmentieren“, wie es ein menschliches Gehirn tut.

OpenAI antwortete nicht sofort auf eine E-Mail-Anfrage nach einem Kommentar.

Die Chatbots des Unternehmens haben bereits gezeigt, dass sie dazu in der Lage sind chatgpt-can-pass-the-bar-exam-does-that-actually-matter/”>Bewältigen Sie die Aufnahmeprüfung für die juristische Fakultät mit Leichtigkeit, und GPT-3, die von den UCLA-Forschern verwendete Version, ist nicht einmal die neueste oder aktuellste Version, die das Unternehmen veröffentlicht hat.

Andere Bericht Die im Mai von Forschern veröffentlichte Studie ergab, dass selbst das fortschrittlichste GPT-4-Modell größtenteils versagte, wenn es mit Rätsel- und Mustervorhersageproblemen konfrontiert wurde. Ein Teil dieser Schwierigkeiten hängt damit zusammen, wie die Programme getestet werden, was Holyoak und sein Team dazu veranlasste, visuelle Tests in Zahlen aufzuschlüsseln, damit das Programm sie leichter verarbeiten konnte.

Aber bevor die Menschen wegen der Ankunft der Roboter-Oberherren allzu hysterisch werden, ließ Holyoak sich ruhig äußern, da es einen Test gab, bei dem der Bot ziemlich durchfiel.

Als das Programm aufgefordert wurde, Kurzgeschichten zu lesen und diejenigen zu identifizieren, die dieselbe Botschaft auf andere Weise vermittelten, übertrafen die Schüler das Programm.

„Egal wie beeindruckend unsere Ergebnisse sind, es ist wichtig zu betonen, dass dieses System erhebliche Einschränkungen aufweist“, sagte Webb in einer Erklärung.

Laut Webb gab es auch andere offensichtliche Einschränkungen.

„Es kann analoge Überlegungen anstellen, aber es kann keine Dinge tun, die für Menschen sehr einfach sind, wie zum Beispiel die Verwendung von Werkzeugen zur Lösung einer physikalischen Aufgabe. Als wir ihm diese Art von Problemen gaben – von denen Kinder einige schnell lösen können –, waren die darin enthaltenen Vorschläge unsinnig.“

Erreichen Sie Chase DiFeliciantonio: [email protected]; Twitter: @ChaseDiFelice