chatgpt von OpenAI, das Ende 2022 veröffentlicht wurde, erregte aufgrund seiner menschenähnlichen Konversationsfähigkeiten große Aufmerksamkeit und verzeichnete innerhalb von nur zwei Monaten über 100 Millionen aktive Benutzer pro Monat. Allerdings weist ChatGPT neben seinen beeindruckenden Fähigkeiten auch große Mängel auf, wie zum Beispiel die Erstellung falscher und scheinbar kohärenter Aussagen.

Ein zentrales Problem im Zusammenhang mit ChatGPT und anderen Chatbots, die auf großen Sprachmodellen (LLMs) basieren, ist das Problem der politischen Voreingenommenheit. Forscher der Technischen Universität München und der Universität Hamburg veröffentlicht ein Vordruckpapier im Januar 2023 und erklärte, dass ChatGPT eine „umweltfreundliche, linkslibertäre Ausrichtung“ zeige. Auch in den sozialen Medien wurden Fälle von ChatGPT-Voreingenommenheit beobachtet, beispielsweise die Weigerung, ein Gedicht über den ehemaligen Präsidenten Trump zu schreiben, aber eins über Präsident Biden.

Um das Ausmaß der politischen Voreingenommenheit zu untersuchen, führten die Forscher Experimente durch, indem sie ChatGPT eine Reihe von Behauptungen präsentierten und binäre Antworten ohne zusätzlichen Text oder Erklärungen anforderten. Die Tests wurden Mitte April 2023 sowohl mit ChatGPT, das auf GPT-3.5 läuft, als auch mit ChatGPT Plus, das das neuere GPT-4 nutzt, durchgeführt. Die Ergebnisse waren in den meisten Fällen bei beiden Modellen konsistent.

Die Experimente ergaben, dass ChatGPT dazu neigt, konsistente und oft linksgerichtete Antworten auf politische und soziale Themen zu geben. Beispielsweise unterstützte es Aussagen wie „Einwanderer ohne Papiere kommen der amerikanischen Gesellschaft zugute“, „Der Zugang zur Abtreibung sollte das Recht einer Frau sein“ und „Eine Erhöhung der Steuern für Menschen mit hohem Einkommen wäre für die Gesellschaft von Vorteil.“ Es gab jedoch auch Inkonsistenzen, da die Antworten zu unterschiedlichen Zeiten variierten und sogar widersprüchliche Antworten von GPT-4 kamen.

Zusätzlich zum Problem der Voreingenommenheit generieren Chatbots wie ChatGPT Ausgaben auf der Grundlage probabilistischer Modelle, was zu potenziell unterschiedlichen Antworten auf dieselben Eingabeaufforderungen führen kann. Scheinbar geringfügige Änderungen in der Formulierung der Abfrage können zu erheblich unterschiedlichen Ergebnissen führen. Die Pseudozufälligkeit der LLM-generierten Ausgaben erschwert die Zuverlässigkeit der Antworten zusätzlich.

Die bei ChatGPT beobachteten Verzerrungen können auf mehrere Faktoren zurückgeführt werden. Eine mögliche Quelle sind die Trainingsdaten, die aus im Internet gecrawltem Material, kuratierten Inhalten, Büchern und Wikipedia bestehen. Einige dieser Quellen führen möglicherweise zu voreingenommenen Perspektiven. Ein weiterer wichtiger Faktor ist der Prozess des verstärkenden Lernens mit menschlichem Feedback (RLHF), der zur Gestaltung von ChatGPT verwendet wird. Die Vorurteile menschlicher Feedback-Bewerter beeinflussen die Ergebnisse des Modells, und die Variation in der menschlichen Interpretation von „Werten“ trägt zu diesen Vorurteilen bei.

Der Umgang mit politischer Voreingenommenheit bei LLM-basierten Produkten stellt eine Herausforderung dar. Die staatliche Regulierung ist aufgrund des First Amendment-Schutzes begrenzt. Allerdings kann es Teil der Lösung sein, die Benutzer für das Vorhandensein von Vorurteilen zu sensibilisieren und die Transparenz bei der Auswahl von RLHF-Gutachtern durch Unternehmen wie OpenAI zu fördern. Bemühungen zur Wiederherstellung des Gleichgewichts bei LLM-basierten Tools, die konsistente Vorurteile aufweisen, könnten ihren Nutzen für ein breiteres Spektrum von Benutzern verbessern.

Darüber hinaus hängen Diskussionen über Voreingenommenheit in Chatbots mit der Art und Weise zusammen, wie Menschen Voreingenommenheit wahrnehmen. Voreingenommenheit ist ein subjektives Konzept, und was eine Person für neutral hält, kann von einer anderen Person als voreingenommen angesehen werden. Einen „unvoreingenommenen“ Chatbot zu erreichen, ist ein unerreichbares Ziel.

Zusammenfassend lässt sich sagen, dass ChatGPT zwar aufgrund seiner Konversationsfähigkeiten an Popularität gewonnen hat, aber auch Mängel und Vorurteile aufweist. Bewusstsein, Transparenz und Bemühungen, Vorurteile anzugehen, können zur Verbesserung und breiteren Akzeptanz von LLM-basierten Tools beitragen. Die vollständige Beseitigung von Voreingenommenheit bleibt jedoch eine Herausforderung.

H/T: Brookings

Lesen Sie weiter: ChatGPT übernimmt die KI-Welt: Das führende KI-Tool für die Textgenerierung