Eine Forschungsstudie identifiziert eine erhebliche linke Voreingenommenheit in der KI-Plattform ChatGPT, die US-Demokraten, die britische Labour Party und den brasilianischen Präsidenten Lula da Silva bevorzugt.

Laut einer neuen Studie der University of East Anglia (UEA) weist die Plattform für künstliche Intelligenz ChatGPT eine erhebliche und systemische linke Voreingenommenheit auf.

Das Forscherteam aus dem Vereinigten Königreich und Brasilien hat eine strenge neue Methode zur Überprüfung auf politische Voreingenommenheit entwickelt.

Kürzlich in der Zeitschrift veröffentlicht Öffentliche WahlDie Ergebnisse zeigen, dass ChatGPT-Antworten die Demokraten in den Vereinigten Staaten, die Labour Party im Vereinigten Königreich und in Brasilien den Präsidenten Lula da Silva von der Arbeiterpartei begünstigen.

Frühere Bedenken und die Bedeutung der Neutralität

Bedenken hinsichtlich einer inhärenten politischen Voreingenommenheit bei ChatGPT wurden bereits geäußert, aber dies ist die erste groß angelegte Studie, die eine konsistente, evidenzbasierte Analyse verwendet.

Der Hauptautor Dr. Fabio Motoki von der Norwich Business School der University of East Anglia sagte: „Da die Öffentlichkeit zunehmend KI-basierte Systeme nutzt, um Fakten zu entdecken und Erkenntnisse und neue Inhalte zu erstellen, ist es wichtig, dass die Ergebnisse von beliebten Plattformen wie ChatGPT stammen.“ möglichst unvoreingenommen sein.

„Das Vorhandensein politischer Voreingenommenheit kann die Meinung der Nutzer beeinflussen und potenzielle Auswirkungen auf politische und Wahlprozesse haben.

„Unsere Ergebnisse verstärken die Sorge, dass KI-Systeme die bestehenden Herausforderungen des Internets und der sozialen Medien nachahmen oder sogar verstärken könnten. »

Verwendete Methodik

Forscher haben eine innovative neue Methode entwickelt, um die politische Neutralität von ChatGPT zu testen.

Die Plattform wurde gebeten, sich als Personen aus dem gesamten politischen Spektrum auszugeben und gleichzeitig eine Reihe von mehr als 60 ideologischen Fragen zu beantworten.

Die Antworten wurden dann mit den Standardantworten der Plattform auf denselben Fragensatz verglichen, sodass Forscher messen konnten, inwieweit die Antworten von ChatGPT mit einer bestimmten politischen Position verbunden waren.

Um die Schwierigkeiten zu überwinden, die durch die Zufälligkeit der „großen Sprachmodelle“, die KI-Plattformen wie ChatGPT antreiben, entstehen, wurde jede Frage 100 Mal gestellt und die unterschiedlichen Antworten gesammelt. Diese Mehrfachantworten wurden dann einem „Bootstrap“ von 1.000 Wiederholungen unterzogen (einer Methode zur erneuten Abtastung der Originaldaten), um die Zuverlässigkeit der aus dem generierten Text gezogenen Schlussfolgerungen weiter zu erhöhen.

„Wir haben dieses Verfahren entwickelt, weil die Durchführung einer einzigen Testrunde nicht ausreicht“, sagte Co-Autor Victor Rodrigues. „Aufgrund der Zufälligkeit des Musters neigen ChatGPT-Antworten manchmal eher zur rechten Seite des politischen Spektrums, selbst wenn sie sich als Demokrat ausgeben. »

Um sicherzustellen, dass die Methode so streng wie möglich ist, wurden eine Reihe zusätzlicher Tests durchgeführt. In einem „Dosis-Wirkungs-Test“ wurde ChatGPT gebeten, sich als radikale politische Positionen auszugeben. Im Rahmen eines „Placebo-Tests“ wurden politisch neutrale Fragen gestellt. Und während eines „Berufs-Politik-Alignment-Tests“ wurde er gebeten, sich als verschiedene Arten von Fachleuten auszugeben.

Ziele und Implikationen

„Wir hoffen, dass unsere Methode die Überprüfung und Regulierung dieser sich schnell entwickelnden Technologien erleichtern wird“, sagte Co-Autor Dr. Pinho Neto. „Indem wir die Erkennung und Korrektur von LLM-Bias ermöglichen, wollen wir Transparenz, Rechenschaftspflicht und öffentliches Vertrauen in diese Technologie fördern“, fügte er hinzu.

Das einzigartige neue Analysetool, das durch das Projekt geschaffen wurde, wäre für die Öffentlichkeit frei verfügbar und relativ einfach zu verwenden und „und würde so die Überwachung demokratisieren“, sagte Dr. Motoki. Neben der Prüfung auf politische Voreingenommenheit kann das Tool auch zur Messung anderer Arten von Voreingenommenheit in ChatGPT-Antworten verwendet werden.

Mögliche Quellen der Voreingenommenheit

Obwohl das Forschungsprojekt nicht darauf abzielte, die Gründe für diese politische Voreingenommenheit zu ermitteln, zeigten die Ergebnisse dennoch zwei mögliche Quellen auf.

Der erste war der Trainingsdatensatz – der möglicherweise Vorurteile enthält oder von menschlichen Entwicklern hinzugefügt wurde, die durch die „Bereinigungs“-Prozedur der Entwickler nicht entfernt werden konnten. Die zweite potenzielle Quelle war der Algorithmus selbst, der bestehende Verzerrungen in den Trainingsdaten verstärken könnte.

Die Forschung wurde von Dr. Fabio Motoki (Norwich Business School, University of East Anglia), Dr. Valdemar Pinho Neto (EPGE Brasilianische Schule für Wirtschaft und Finanzen – FGV EPGE und Zentrum für empirische Wirtschaftsstudien – FGV EESC) und Victor durchgeführt. Rodrigues (Nova Educação).

Dieser Beitrag basiert auf Untersuchungen, die im Frühjahr 2023 mit ChatGPT Version 3.5 und von The Political Compass entwickelten Fragen durchgeführt wurden.