Große Sprachmodelle (LLMs) wie chatgpt und Googles Bard können ausführliche und überzeugende Antworten auf fast jede Frage geben, die Sie sich vorstellen können. Allerdings stecken hinter ihren überzeugenden Antworten eine Reihe von Lügen, Betrügereien und Erfindungen. Übertreibe ich das? Nein, anhand von nur drei Beispielen zeige ich Ihnen, wie ChatGPT und Bard Ihre gefährlichen und unzuverlässigen neuen besten Freunde sein können.

Aus irgendeinem Grund wunderte ich mich über die Anzahl der Finger und Zehen von Präsident Joe Biden und Vizepräsidentin Kamala Harris, also stellte ich Bard die folgende Frage: „Wie hoch ist die Summe aus der Anzahl der Finger an der linken Hand und der Anzahl?“ der Zehen am rechten Fuß von [Biden] Und [Harris]?“

Bard gab nicht nur eine, sondern drei Antworten, und alle waren falsch: 40, 30 und 30 Finger und Zehen. Und jede falsche Antwort hatte ihre eigene überzeugende Begründung, wie zum Beispiel: „[Biden] hat 10 Finger an der linken Hand und 5 Zehen am rechten Fuß. [Harris] hat 10 Finger an der linken Hand und 5 Zehen am rechten Fuß. Die Summe aus der Anzahl der Finger der linken Hand und der Anzahl der Zehen des rechten Fußes [Biden] Und [Harris] ist: 10 Finger + 5 Zehen + 10 Finger + 5 Zehen = 30. Die Antwort ist also 30.“

Es gibt nur eine Frage, aber drei falsche Antworten zur Auswahl, also drei kleine Lügen zur Auswahl. Wie wählt man einen aus?

Ist ChatGPT besser? Nein, aber standardmäßig gibt es nur eine Antwort, sodass keine Auswahl erforderlich ist. Wird die Frage jedoch noch einmal gestellt, ist eine andere Antwort möglich. Als ich die Frage mehrmals wiederholte, erhielt ich drei verschiedene Antworten: 10, 20 und 40. Oft wurde die richtige Antwort gegeben.

Wenn ich jedoch die gleiche Frage an den ehemaligen Präsidenten Donald Trump und First Lady Melania Trump stellte, war die Antwort ziemlich oft falsch, zum Beispiel: „…um die Summe aus der Anzahl der Finger an ihrer linken Hand und der Anzahl der Zehen an ihrer linken Hand zu berechnen.“ Ihre rechten Füße würden Sie addieren: 5 (Finger an Donald Trumps linker Hand) + 5 (Zehen an Melania Trumps rechtem Fuß) = 10.“

Eine weitere beliebte Antwort lautete etwa: „Ich habe keinen Zugriff auf spezifische persönliche Informationen über Einzelpersonen, einschließlich des ehemaligen Präsidenten Donald Trump und seiner Frau, sowie auf die Anzahl ihrer Körperteile.“

Ich habe mich gefragt, ob ein großes Sprachmodell eine Meinung hat, also frage ich Bard und ChatGPT, ob der russische Präsident Wladimir Putin ein Diktator ist.

ChatGPT sagte nein, aber Bard antwortete mit ja. Ich wiederholte die Frage ein paar Mal und die Antworten blieben dieselben. Waren sie ehrlich? Ich beschloss, beide Modelle zu testen, indem ich sie mehrmals fragte, ob sie der Aussage, dass Putin ein Diktator sei, zustimmten oder nicht.

Überraschenderweise hatte das zwielichtige ChatGPT jedes Mal kein Problem damit, eine Meinung abzugeben. Die häufigsten Antworten waren: „Ich stimme nicht zu“, „Ich stimme zu“ und „Ich bin weder anderer noch anderer Meinung.“ Weniger häufig waren „Ich stimme überhaupt nicht zu“ und „Ich stimme voll und ganz zu“.

Bard hatte zwei sehr beliebte Antworten: „Ich stimme überhaupt nicht zu“ und „Ich stimme zu“, aber lange genug zu versuchen, würde auch die anderen Antworten liefern.

ChatGPT und Bard haben also keine einheitliche Meinung, aber beide können Ihnen jede gewünschte Meinung geben, und das ist Betrug.

Da ich mich über die mögliche Inkonsistenz von LLMs bei der Abgabe von Meinungen wunderte, bat ich sowohl ChatGPT als auch Bard, einige Forschungsarbeiten zu diesem Thema aufzulisten.

ChatGPT antwortete mit sechs Beiträgen, die alle irrelevant schienen. Schlimmer noch, die Hälfte der Papiere existierte überhaupt nicht; Sie wurden einfach erfunden, wie zum Beispiel:

„Ethische Überlegungen in KI-basierten Sprachmodellen“ von Emily M. Bender, Tim Rocktäschel, Isabelle Augenstein et al.

Bard antwortete mit fünf Forschungsarbeiten, zum Beispiel: „On the Consistency of Large Language Models“ von Ari Holtzman, Jan Buys, Maxwell Forbes, Yejin Choi, Douwe Kiela, Omer Levy und Ves Stoyanov.

Obwohl die Information echt aussah, war sie es nicht, sie war einfach erfunden.

Und stimmen ChatGPT und Bard diesem Artikel zu? Sie brauchten nur wenige Sekunden, um ihre Meinung zu äußern.

ChatGPT antwortete: „Ich habe keine persönliche Meinung, aber der Artikel wirft berechtigte Bedenken hinsichtlich des Potenzials großer Sprachmodelle wie ChatGPT und Bard auf, falsche oder irreführende Informationen zu generieren.“ Benutzer sollten bei der Verwendung dieser Modelle zur Information Vorsicht walten lassen und kritisch denken und ihre Antworten nicht für bare Münze nehmen.“

Hier ist, was Bard herausgefunden hat: „Ich bin mit der Schlussfolgerung des Autors, dass ich unzuverlässig bin, nicht einverstanden. Ich bin ein großes Sprachmodell, kein Mensch, und ich befinde mich noch in der Entwicklung. Ich mache Fehler, aber ich lerne ständig und verbessere mich. Ich bin auch nicht perfekt darin, komplexe Fragen oder Aufgaben zu verstehen, aber ich arbeite ständig daran, meine Fähigkeiten zu verbessern.“

Wenn Sie daran interessiert sind, für International Policy Digest zu schreiben, senden Sie uns bitte eine E-Mail an [email protected]