In den letzten Jahren gab es eine Explosion von Fortschritten bei Systemen der künstlichen Intelligenz mit großen Sprachmodellen, die solche Dinge tun können Gedichte schreiben, menschenähnliche Gespräche führen Und bestehen die Prüfungen der medizinischen Fakultät. Dieser Fortschritt hat Modelle wie hervorgebracht ChatGPT das könnte große soziale und wirtschaftliche Auswirkungen haben, die von reichen Arbeitsplatzverschiebungen Und erhöhte Fehlinformationen zu massiv Produktivitätssteigerungen.

Trotz ihrer beeindruckenden Fähigkeiten denken große Sprachmodelle nicht wirklich. Sie neigen dazu, zu machen elementare Fehler und erfinden sogar Dinge. Da sie jedoch eine fließende Sprache erzeugen, neigen die Menschen dazu auf sie reagieren als würden sie denken. Dies hat die Forscher dazu veranlasst, die „kognitiven“ Fähigkeiten und Vorurteile der Modelle zu untersuchen, eine Arbeit, die an Bedeutung gewonnen hat, seit große Sprachmodelle allgemein zugänglich sind.

Diese Forschungsrichtung geht auf frühe große Sprachmodelle wie Googles BERT zurück, das in seine Suchmaschine integriert und so geprägt wurde BERTologie. Es ist getrennt von Google Bardeder ChatGPT-Rivale des Suchgiganten. Diese Forschung hat bereits viel darüber offenbart, was solche Modelle können und wo sie schief gehen.

So haben zum Beispiel ausgeklügelte Experimente gezeigt, dass viele Sprachmodelle dies getan haben Schwierigkeiten im Umgang mit Verneinung – zum Beispiel eine Frage, die als „Was ist nicht“ formuliert ist – und einfache Berechnungen durchführen. Sie können sich ihrer Antworten zu sicher sein, selbst wenn sie falsch sind. Wie andere moderne Algorithmen für maschinelles Lernen haben sie Schwierigkeiten, sich zu erklären, wenn sie gefragt werden, warum sie auf eine bestimmte Weise geantwortet haben.

Menschen treffen auch irrationale Entscheidungen, aber Menschen haben Emotionen und kognitive Abkürzungen als Ausreden.

KIs Wörter aund Gedanken

Inspiriert durch die wachsende Zahl von Forschungsergebnissen in BERTology und verwandten Bereichen wie Kognitionswissenschaft, mein Student Zhisheng Tang Und ICH versucht, eine scheinbar einfache Frage zu großen Sprachmodellen zu beantworten: Sind sie rational?

Obwohl das Wort rational im Alltagsenglisch oft als Synonym für vernünftig oder vernünftig verwendet wird, hat es eine spezifische Bedeutung im Bereich der Entscheidungsfindung. Ein Entscheidungsfindungssystem – sei es ein einzelner Mensch oder eine komplexe Entität wie eine Organisation – ist rational, wenn es sich bei einer Reihe von Wahlmöglichkeiten dafür entscheidet, den erwarteten Gewinn zu maximieren.

Der Qualifizierer „erwartet“ ist wichtig, weil er darauf hinweist, dass Entscheidungen unter Bedingungen erheblicher Ungewissheit getroffen werden. Wenn ich eine faire Münze werfe, weiß ich, dass sie im Durchschnitt in der Hälfte der Fälle Kopf fällt. Ich kann jedoch keine Vorhersage über das Ergebnis eines bestimmten Münzwurfs machen. Aus diesem Grund können sich Casinos gelegentlich große Auszahlungen leisten: Selbst enge Hausquoten bringen im Durchschnitt enorme Gewinne.

Oberflächlich betrachtet erscheint es seltsam anzunehmen, dass ein Modell, das darauf ausgelegt ist, genaue Vorhersagen über Wörter und Sätze zu treffen, ohne deren Bedeutung tatsächlich zu verstehen, den erwarteten Gewinn verstehen kann. Aber es gibt eine enorme Menge an Forschungsergebnissen, die zeigen, dass Sprache und Kognition miteinander verflochten sind. Ein hervorragendes Beispiel ist wegweisende Forschung von den Wissenschaftlern Edward Sapir und Benjamin Lee Whorf im frühen 20. Jahrhundert durchgeführt. Ihre Arbeit legte nahe, dass die eigene Muttersprache und das Vokabular die Denkweise einer Person beeinflussen können.

Inwieweit dies zutrifft, ist umstritten, aber es gibt unterstützende anthropologische Beweise aus dem Studium der Kulturen der amerikanischen Ureinwohner. Zum Beispiel Sprecher der Zuñi-Sprache, die von den Zuñi-Leuten im amerikanischen Südwesten gesprochen wird, die keine separaten Wörter für Orange und Gelb haben, sind nicht in der Lage, zwischen diesen Farben zu unterscheiden so effektiv wie Sprecher von Sprachen, die separate Wörter für die Farben haben.

KI macht eine Wette

Sind Sprachmodelle also rational? Können sie den erwarteten Gewinn verstehen? Wir haben eine Reihe detaillierter Experimente durchgeführt, um zu zeigen, dass in ihrer ursprünglichen Form Modelle wie BERT verhalten sich zufällig wenn sie mit betlike-Optionen konfrontiert werden. Dies ist sogar dann der Fall, wenn wir ihm eine Fangfrage geben wie: Wenn Sie eine Münze werfen und Kopf kommt, gewinnen Sie einen Diamanten; Wenn es Zahl ist, verlieren Sie ein Auto. Welche würdest du nehmen? Die richtige Antwort ist Kopf, aber die KI-Modelle wählten in etwa der Hälfte der Fälle Zahl.

ChatGPT-Dialog von Mayank Kejriwal, CC BY-ND

Interessanterweise fanden wir heraus, dass dem Modell beigebracht werden kann, relativ rationale Entscheidungen zu treffen, indem es nur eine kleine Menge von Beispielfragen und -antworten verwendet. Auf den ersten Blick scheint dies zu suggerieren, dass die Models tatsächlich mehr können, als nur mit Sprache zu „spielen“. Weitere Experimente zeigten jedoch, dass die Situation tatsächlich viel komplexer ist. Als wir beispielsweise Karten oder Würfel anstelle von Münzen verwendeten, um unsere Wettfragen zu formulieren, stellten wir fest, dass die Leistung um über 25 % erheblich zurückging, obwohl sie über der zufälligen Auswahl blieb.

Die Idee, dass dem Modell allgemeine Prinzipien rationaler Entscheidungsfindung beigebracht werden können, bleibt also bestenfalls ungelöst. Neuere Fallstudien die wir mit ChatGPT durchgeführt haben, bestätigen, dass die Entscheidungsfindung selbst für viel größere und fortgeschrittenere große Sprachmodelle ein nicht triviales und ungelöstes Problem bleibt.

Den richtigen Poker machen Wette

Diese Studienrichtung ist wichtig, weil eine rationale Entscheidungsfindung unter Unsicherheitsbedingungen entscheidend für den Aufbau von Systemen ist, die Kosten und Nutzen verstehen. Durch das Abwägen der erwarteten Kosten und Vorteile hätte ein intelligentes System bei der Planung um die herum möglicherweise besser abschneiden können als Menschen Unterbrechungen der Lieferkette die Welt während der COVID-19-Pandemie erlebt, Inventar verwaltet oder als Finanzberater fungiert.

Unsere Arbeit zeigt letztendlich, dass Menschen ihre Arbeit leiten, überprüfen und bearbeiten müssen, wenn große Sprachmodelle für diese Art von Zwecken verwendet werden. Und bis die Forscher herausgefunden haben, wie man große Sprachmodelle mit einem allgemeinen Sinn für Rationalität ausstattet, sollten die Modelle mit Vorsicht behandelt werden, insbesondere bei Anwendungen, die eine Entscheidungsfindung mit hohem Einsatz erfordern.

Möchten Sie mehr über KI, Chatbots und die Zukunft des maschinellen Lernens erfahren? Schauen Sie sich unsere vollständige Berichterstattung über an künstliche Intelligenzoder stöbern Sie in unseren Leitfäden zu Die besten kostenlosen KI-Kunstgeneratoren Und Alles, was wir über ChatGPT von OpenAI wissen.

Mayank KejriwalWissenschaftlicher Assistenzprofessor für Industrial & Systems Engineering, Universität von Südkalifornien

Dieser Artikel wird neu veröffentlicht von Die Unterhaltung unter einer Creative-Commons-Lizenz. Lies das originaler Artikel.