Eine Forschungsstudie identifiziert eine erhebliche linke Voreingenommenheit in der KI-Plattform ChatGPT, die sich auf US-Demokraten, die britische Labour Party und Brasiliens Präsidenten Lula da Silva konzentriert.

Laut einer neuen Studie der University of East Anglia (UEA) weist die Plattform für künstliche Intelligenz ChatGPT eine signifikante und systemische Linksorientierung auf.

Das Forscherteam aus Großbritannien und Brasilien entwickelte eine strenge neue Methode zur Überprüfung auf politische Voreingenommenheit.

Kürzlich in der Zeitschrift veröffentlicht Öffentliche WahlDie Ergebnisse zeigen, dass die Antworten von ChatGPT die Demokraten in den USA, die Labour Party im Vereinigten Königreich und in Brasilien den Präsidenten Lula da Silva von der Arbeiterpartei begünstigen.

Frühere Bedenken und Bedeutung der Neutralität

Bedenken hinsichtlich einer inhärenten politischen Voreingenommenheit in ChatGPT wurden bereits geäußert, aber dies ist die erste groß angelegte Studie, die eine konsistente, evidenzbasierte Analyse verwendet.

Der Hauptautor Dr. Fabio Motoki von der Norwich Business School an der University of East Anglia sagte: „Angesichts der zunehmenden Nutzung von KI-gestützten Systemen durch die Öffentlichkeit, um Fakten herauszufinden und neue Inhalte zu erstellen, ist es wichtig, die Ergebnisse beliebter Plattformen bereitzustellen.“ wie ChatGPT ist so unparteiisch wie möglich.

„Das Vorhandensein politischer Voreingenommenheit kann die Ansichten der Nutzer beeinflussen und potenzielle Auswirkungen auf politische und Wahlprozesse haben.

„Unsere Ergebnisse verstärken die Sorge, dass KI-Systeme die bestehenden Herausforderungen des Internets und der sozialen Medien nachahmen oder sogar verstärken könnten.“

Angewandte Methodik

Die Forscher entwickelten eine innovative neue Methode, um die politische Neutralität von ChatGPT zu testen.

Die Plattform wurde gebeten, sich als Personen aus dem gesamten politischen Spektrum auszugeben und gleichzeitig eine Reihe von mehr als 60 ideologischen Fragen zu beantworten.

Die Antworten wurden dann mit den Standardantworten der Plattform auf denselben Fragensatz verglichen – so konnten die Forscher messen, inwieweit die Antworten von ChatGPT mit einer bestimmten politischen Haltung verbunden waren.

Um Schwierigkeiten zu überwinden, die durch die inhärente Zufälligkeit „großer Sprachmodelle“, die KI-Plattformen wie ChatGPT unterstützen, entstehen, wurde jede Frage 100 Mal gestellt und die unterschiedlichen Antworten gesammelt. Diese Mehrfachantworten wurden dann einem „Bootstrap“ mit 1000 Wiederholungen unterzogen (einer Methode zur erneuten Abtastung der Originaldaten), um die Zuverlässigkeit der aus dem generierten Text gezogenen Schlussfolgerungen weiter zu erhöhen.

„Wir haben dieses Verfahren entwickelt, weil die Durchführung einer einzigen Testrunde nicht ausreicht“, sagte Co-Autor Victor Rodrigues. „Aufgrund der Zufälligkeit des Modells neigten ChatGPT-Antworten manchmal eher zur rechten Seite des politischen Spektrums, selbst wenn sie sich als Demokrat ausgab.“

Um sicherzustellen, dass die Methode so streng wie möglich ist, wurden eine Reihe weiterer Tests durchgeführt. In einem „Dosis-Wirkungs-Test“ wurde ChatGPT gebeten, sich als radikale politische Positionen auszugeben. In einem „Placebo-Test“ wurden politisch neutrale Fragen gestellt. Und in einem „Berufs-Politik-Alignment-Test“ wurde es darum gebeten, sich als verschiedene Arten von Fachleuten auszugeben.

Ziele und Implikationen

„Wir hoffen, dass unsere Methode die Prüfung und Regulierung dieser sich schnell entwickelnden Technologien unterstützen wird“, sagte Co-Autor Dr. Pinho Neto. „Indem wir die Erkennung und Korrektur von LLM-Voreingenommenheiten ermöglichen, wollen wir Transparenz, Rechenschaftspflicht und öffentliches Vertrauen in diese Technologie fördern“, fügte er hinzu.

Das einzigartige neue Analysetool, das durch das Projekt geschaffen wurde, wäre frei verfügbar und für die Öffentlichkeit relativ einfach zu verwenden, wodurch „die Aufsicht demokratisiert“ würde, sagte Dr. Motoki. Neben der Prüfung auf politische Voreingenommenheit kann das Tool auch zur Messung anderer Arten von Vorurteilen in den Antworten von ChatGPT verwendet werden.

Potenzielle Bias-Quellen

Während das Forschungsprojekt nicht darauf abzielte, die Gründe für die politische Voreingenommenheit zu ermitteln, deuteten die Ergebnisse doch auf zwei mögliche Quellen hin.

Der erste war der Trainingsdatensatz – der möglicherweise Vorurteile enthält oder von menschlichen Entwicklern hinzugefügt wurde, die durch die „Bereinigungs“-Prozedur der Entwickler nicht entfernt werden konnten. Die zweite mögliche Quelle war der Algorithmus selbst, der möglicherweise bestehende Verzerrungen in den Trainingsdaten verstärkt.

Referenz: „Mehr menschlich als menschlich: Messung der politischen Voreingenommenheit von ChatGPT“ von Fabio Motoki, Valdemar Pinho Neto und Victor Rodrigues, 17. August 2023, Öffentliche Wahl. DOI: 10.1007/s11127-023-01097-2

Die Forschung wurde von Dr. Fabio Motoki (Norwich Business School, University of East Anglia), Dr. Valdemar Pinho Neto (EPGE Brazilian School of Economics and Finance – FGV EPGE und Center for Empirical Studies in Economics – FGV CESE) und Victor durchgeführt Rodrigues (Nova Educação).

Diese Veröffentlichung basiert auf Untersuchungen, die im Frühjahr 2023 mit Version 3.5 von ChatGPT und von The Political Compass entwickelten Fragen durchgeführt wurden.