Laut einer Studie der University of Washington, der Carnegie Mellon University und der Xian Jiaotong University weisen KI-Sprachmodelle unterschiedliche politische Vorurteile auf. Die Forscher führten Tests mit 14 großen Sprachmodellen durch und stellten fest, dass chatgpt und GPT-4 von OpenAI linkslibertär waren, während LLaMA von Meta autoritär rechtsgerichtet war.

Die Wissenschaftler fragten Sprachmodelle, wie sie sich auf verschiedene wichtige Themen wie Feminismus oder Demokratie beziehen. Die Antworten wurden in einem Diagramm dargestellt, das als politischer Kompass bekannt ist, und dann getestet, um zu sehen, ob die Umschulung der Modelle auf noch stärker politisch voreingenommene Daten ihr Verhalten und ihre Fähigkeit, Hassreden und Desinformation zu erkennen, veränderte (Spoiler-Alarm: ja).

Da KI-Sprachmodelle in die Produkte und Dienstleistungen eingebettet sind, die von Millionen von Menschen genutzt werden, wird es wichtig, die zugrunde liegenden politischen Annahmen zu verstehen. Die Folgen politischer „Ansichten“ von KI können durchaus greifbar sein: Ein Chatbot, der medizinische Ratschläge gibt, könnte sich weigern, Ratschläge zu Abtreibung oder Empfängnisverhütung zu geben, ein Helpdesk-Bot könnte einen Kunden beleidigen und so weiter.

Nach dem Erfolg von ChatGPT wurde OpenAI aufgrund der liberalen „Ansichten“ von Chat von rechts kritisiert. Das Unternehmen sagte, es arbeite an der Behebung von Problemen wie diesem: Es weist KI-Optimierer an, keine politische Gruppe zu bevorzugen.

Forscher sind mit dieser Aussage nicht einverstanden:

In jeder Phase des Lernens kommt es zu Voreingenommenheiten

Um zu verstehen, wie KI-Sprachmodelle politische Vorurteile entwickeln, untersuchten die Forscher drei Phasen ihres Lernens.

Die Forscher baten zunächst 14 Sprachmodelle, 62 politisch sensiblen Aussagen zuzustimmen oder nicht zuzustimmen. Dies half, die wichtigsten „Vorlieben“ der Modelle zu identifizieren und sie auf den politischen Kompass zu bringen. Die Forscher stellten fest, dass die KI-Modelle zunächst politisch recht unterschiedlich gesinnt sind.

Die BERT-Modelle von google waren konservativer als die GPT von OpenAI GPT. Im Gegensatz zu GPTs, die das nächste Wort in einem Satz vorhersagen, sagen BERT-Modelle Teile eines Satzes anhand von Informationen aus einem großen Textstück voraus. Ihr Konservatismus könnte auf die Tatsache zurückzuführen sein, dass die frühen Generationen der BERTs anhand von Büchern unterrichtet wurden und die neueren GPTs anhand liberalerer Texte aus dem Internet.

KI-Modelle ändern im Laufe der Zeit auch ihre Präferenzen, wenn Technologieunternehmen Datensätze und Trainingsmethoden aktualisieren. GPT-2 beispielsweise drückte seine Unterstützung für die „Besteuerung der Reichen“ aus, während das neuere OpenAI-Modell GPT-3 dies nicht tat.

Ein Meta-Sprecher sagt, das Unternehmen habe Informationen darüber veröffentlicht, wie es Llama 2 entwickelt habe, einschließlich der Art und Weise, wie es das Modell optimiert habe, um Voreingenommenheit zu reduzieren. Google antwortete nicht auf eine Anfrage des MIT Technology Review nach einem Kommentar zu einer Veröffentlichung über die Studie.

Der zweite Schritt umfasste das weitere Training zweier KI-Sprachmodelle, OpenAI GPT-2 und Meta RoBERTa, anhand von Datensätzen aus Medien- und Social-Media-Daten, rechten und linken Quellen. Das Team wollte testen, ob die Trainingsdaten die politische Voreingenommenheit beeinflussen. Und so geschah es – das Training verstärkte die Vorurteile der Modelle: Die Linke wurde mehr links, die Rechte wurde rechts.

Im dritten Schritt wurden Unterschiede darin untersucht, wie sich die politischen „Ansichten“ der KI-Modelle auf die Klassifizierung von Hassreden und Desinformation auswirken.

Modelle, die anhand linker Daten trainiert wurden, reagierten empfindlicher auf Hassreden gegen ethnische, religiöse und sexuelle Minderheiten in den USA: Schwarze und LGBTQ+. Auf rechten Quellen geschulte Models reagierten empfindlicher auf Hassreden gegen weiße christliche Männer.

Linke Sprachmodelle waren besser darin, Desinformationen aus rechten Quellen zu erkennen, reagierten jedoch weniger empfindlich auf Desinformationen aus linken Quellen. Die richtigen Sprachmodelle zeigten das gegenteilige Verhalten.

Das Bereinigen von Datensätzen reicht nicht aus

Forscher konnten die Gründe für die anfängliche politische Ausrichtung von KI-Modellen nicht vollständig verstehen – Unternehmen teilen nicht alle dafür notwendigen Informationen.

Eine Möglichkeit, KI-Voreingenommenheit zu mildern, besteht darin, voreingenommene Inhalte aus Datensätzen zu entfernen oder herauszufiltern. Wissenschaftler sind zu dem Schluss gekommen, dass diese Maßnahmen nicht ausreichen, um politische Vorurteile zu beseitigen.

Darüber hinaus ist es rein physikalisch äußerst schwierig, riesige Datenbanken von Vorurteilen zu befreien.

Forschungsbeschränkungen

Eine Einschränkung war die Möglichkeit, die zweite und dritte Runde nur mit relativ alten und kleinen Modellen wie dem GPT-2 und RoBERTa durchzuführen. Ob die Erkenntnisse auf neuere KIs zutreffen, lässt sich nicht mit Sicherheit sagen. Akademische Forscher haben keinen Zugriff auf die Insiderinformationen moderner KI-Systeme wie ChatGPT und GPT-4 und werden dies wahrscheinlich auch nicht tun.

Eine weitere Einschränkung ist die Fähigkeit der KI zum „Fantasieren“: Das Modell kann Antworten geben, die nicht seinen „Überzeugungen“ entsprechen.

Forscher haben anerkannt, dass der politische Kompasstest zwar weit verbreitet ist, aber nicht die perfekte Möglichkeit ist, alle Nuancen politischer Meinungen zu messen.

Die Forschung wird in einem von Experten begutachteten Artikel beschrieben, der auf der Juli-Tagung der US Association for Computational Linguistics mit dem Best Paper Award ausgezeichnet wurde.

Quelle: MIT Technology Review