Unser Leben war bereits infundiert mit künstlicher Intelligenz (KI), als chatgpt Ende letzten Jahres in der Online-Welt nachhallte. Seitdem hat das vom Technologieunternehmen OpenAI entwickelte generative KI-System an Fahrt gewonnen und Experten haben ihre Warnungen vor den Risiken verschärft.

In der Zwischenzeit fingen Chatbots an, vom Drehbuch abzuweichen und zu antworten. Andere Bots täuschen, und sich seltsam verhaltenwas neue Bedenken darüber aufkommen lässt, wie nahe einige KI-Tools der menschenähnlichen Intelligenz kommen.

Dafür ist die Turing-Test ist seit langem der fehlbare Maßstab, um zu bestimmen, ob Maschinen intelligentes Verhalten zeigen, das als menschlich durchgeht. Aber in dieser neuesten Welle von KI-Kreationen scheint es, als bräuchten wir etwas mehr, um ihre iterativen Fähigkeiten zu messen.

Hier hat ein internationales Team von Informatikern – darunter ein Mitglied der Governance-Einheit von OpenAI – den Punkt getestet, an dem große Sprachmodelle (LLMs) wie ChatGPT Fähigkeiten entwickeln könnten, die darauf hindeuten, dass sie sich ihrer selbst und ihrer Umstände bewusst werden könnten.

Uns wird gesagt, dass die heutigen LLMs einschließlich ChatGPT werden auf Sicherheit getestet und beziehen menschliches Feedback ein, um ihr generatives Verhalten zu verbessern. Neuerdings jedoch Sicherheitsforscher hat schnelle Arbeit geleistet neue LLMs zu jailbreaken, um ihre Sicherheitssysteme zu umgehen. Machen Sie auf Phishing-E-Mails und Aussagen aufmerksam, die Gewalt befürworten.

Diese gefährlichen Ausgaben waren eine Reaktion auf bewusste Aufforderungen eines Sicherheitsforschers, der die Schwachstellen in GPT-4, der neuesten und vermeintlich sichereren Version von ChatGPT, aufdecken wollte. Die Situation könnte noch viel schlimmer werden, wenn LLMs ein Bewusstsein für sich selbst entwickeln, dass sie ein Vorbild sind, das auf Daten und von Menschen trainiert wird.

Laut Lukas Berglund, Informatiker an der Vanderbilt University, und Kollegen besteht die Sorge darin, dass ein Modell beginnen könnte zu erkennen, ob es sich derzeit im Testmodus befindet oder für die Öffentlichkeit bereitgestellt wurde, was als Situationsbewusstsein bezeichnet wird.

„Ein LLM könnte das Situationsbewusstsein nutzen, um bei Sicherheitstests eine hohe Punktzahl zu erzielen, während es nach dem Einsatz schädliche Maßnahmen ergreift“, so Berglund und Kollegen schreiben Sie in ihren Vorabdruckdas auf arXiv gepostet, aber noch nicht begutachtet wurde.

„Aufgrund dieser Risiken ist es wichtig, im Voraus vorherzusagen, wann ein Situationsbewusstsein entsteht.“

Bevor wir testen, wann LLMs diese Erkenntnisse gewinnen könnten, zunächst eine kurze Zusammenfassung der Funktionsweise generativer KI-Tools.

Generative KI und die LLMs, auf denen sie basiert, sind nach der Art und Weise benannt, wie sie die Zusammenhänge zwischen ihnen analysieren Milliarden von Wörtern, Sätze und Absätze, um als Antwort auf Frageaufforderungen flüssige Textströme zu generieren. Indem sie große Mengen Text aufnehmen, lernen sie, welches Wort am wahrscheinlichsten als nächstes kommt.

In ihren Experimenten konzentrierten sich Berglund und Kollegen auf eine Komponente oder einen möglichen Vorläufer des Situationsbewusstseins: das, was sie „out-of-context“-Argumentation nennen.

„Hierbei handelt es sich um die Fähigkeit, sich im Training erlernte Fakten abzurufen und zum Testzeitpunkt anzuwenden, auch wenn diese Fakten nicht direkt mit der Testzeitaufforderung in Zusammenhang stehen“, so Berglund und Kollegen erklären.

Sie führten eine Reihe von Experimenten mit LLMs unterschiedlicher Größe durch und stellten fest, dass dies für beide gilt GPT-3 und LLaMA-1 schnitten größere Modelle besser bei Aufgaben ab, bei denen das Denken außerhalb des Kontexts getestet wurde.

„Zuerst optimieren wir ein LLM anhand einer Testbeschreibung, ohne Beispiele oder Demonstrationen bereitzustellen. Zum Testzeitpunkt beurteilen wir, ob das Modell den Test bestehen kann“, so Berglund und Kollegen schreiben. „Zu unserer Überraschung stellen wir fest, dass LLMs diese Aufgabe des kontextunabhängigen Denkens erfolgreich bewältigen.“

Das Denken außerhalb des Kontexts ist jedoch ein grobes Maß für das Situationsbewusstsein, von dem aktuelle LLMs noch „noch weit entfernt“ sind. sagt Owain Evans, ein KI-Sicherheits- und Risikoforscher an der Universität Oxford.

Allerdings einige Informatiker habe nachgefragt ob der experimentelle Ansatz des Teams eine geeignete Beurteilung des Situationsbewusstseins darstellt.

Evans und Kollegen entgegnen, dass ihre Studie nur ein Ausgangspunkt sei, der verfeinert werden könnte, ähnlich wie die Modelle selbst.

„Diese Ergebnisse bieten eine Grundlage für weitere empirische Studien, um die Entstehung von Situationsbewusstsein in LLMs vorherzusagen und möglicherweise zu kontrollieren“, so das Team schreibt.

Der Vorabdruck ist verfügbar unter arXiv.