Die KI von OpenAI war in mindestens der Hälfte der Fälle in der Lage, Menschen zu täuschen

Das Department of Cognitive Sciences der University of San Diego führte einen Turing-Test durch, bei dem moderne Systeme der künstlichen Intelligenz wie GPT-3.5 und GPT-4 mit einem einfachen Chatbot ELIZA aus den 1960er Jahren verglichen wurden. Dies heißt es in der Studie, veröffentlicht in der Zeitschrift arXiv.

Treten Sie uns bei Facebook bei und an Diskussionen teilnehmen

An dem Experiment nahmen 500 Personen teil. Für sie wurde ein Spiel entwickelt, dessen Oberfläche einem Messenger ähnelt. Die Teilnehmer des Experiments führten fünfminütige Gespräche mit verschiedenen Gesprächspartnern, bei denen es sich um Menschen oder künstliche Intelligenz handeln konnte. Danach mussten sie bestimmen, mit wem sie kommunizierten.

Während des Experiments erhielten beide Modelle der künstlichen Intelligenz, GPT-3.5 und GPT-4, Anweisungen, wie sie auf Nachrichten reagieren sollten. Die Forscher achteten darauf, dass die Modelle menschliches Verhalten nachahmten: Sie mussten prägnant und nicht sehr ernst antworten, farbenfrohen Slang verwenden und Rechtschreibfehler machen. Darüber hinaus erhielten die Models allgemeine Informationen zum Spielaufbau und aktuelle Neuigkeiten.

Nach der Analyse der Ergebnisse des Experiments stellte sich heraus, dass die Teilnehmer Schwierigkeiten hatten herauszufinden, mit wem genau sie kommunizierten – einer Person oder einer Maschine. Das GPT-4-Modell konnte die Gesprächspartner in 54 % der Fälle davon überzeugen, dass es sich um eine Person handelte, während das GPT-3.5-Modell in 50 % der Fälle davon überzeugte. Der Chatbot ELIZA konnte 22 % der Menschen überzeugen.

Die Analyse der Ergebnisse zeigte, dass sich die Teilnehmer häufig auf den Sprachstil, sozioemotionale Faktoren und wissensbasierte Fragen verließen, um festzustellen, ob sie mit einer Person oder einer Maschine sprachen.