Wissenschaftler sind sich uneinig über eine Forschungsarbeit, die darauf hindeutet, dass chatgpt eine „erhebliche und beträchtliche“ politische Tendenz aufweist, die zur linken Seite des politischen Spektrums tendiert.

Wie Cointelegraph kürzlich berichtete, veröffentlichten Forscher aus dem Vereinigten Königreich und Brasilien eine Studie im Öffentliche Wahl Zeitschrift am 17. August, die behauptet, dass große Sprachmodelle (LLMs) wie ChatGPT Fehler und Vorurteile enthalten, die Leser irreführen und die politischen Vorurteile traditioneller Medien fördern können.

In einer früheren Korrespondenz mit Cointelegraph erläuterte Co-Autor Victor Rangel die Ziele des Papiers, um die politische Voreingenommenheit von ChatGPT zu messen. Die Methodik der Forscher bestand darin, ChatGPT zu bitten, sich als jemand aus einer bestimmten Seite des politischen Spektrums auszugeben, und diese Antworten mit dem Standardmodus zu vergleichen.

Rangel sagte, dass mehrere Robustheitstests durchgeführt wurden, um potenzielle Störfaktoren und alternative Erklärungen zu untersuchen. Die Untersuchung kam zu dem Schluss:

„Wir finden belastbare Beweise dafür, dass ChatGPT eine erhebliche und systematische politische Voreingenommenheit gegenüber den Demokraten in den USA, Lula in Brasilien und der Labour Party im Vereinigten Königreich aufweist.“

Es ist erwähnenswert, dass die Autoren betonten, dass das Papier angesichts der Herausforderungen und Komplexitäten, die mit der Messung und Interpretation von Voreingenommenheit in LLMs verbunden sind, nicht als „letztes Wort zur politischen Voreingenommenheit von ChatGPT“ dient.

Rangel sagte, einige Kritiker behaupten, dass ihre Methode möglicherweise nicht die Nuancen der politischen Ideologie erfasst, dass die Fragen der Methode möglicherweise voreingenommen oder richtungsweisend sind oder dass die Ergebnisse durch die Zufälligkeit der ChatGPT-Ausgaben beeinflusst werden könnten.

Verwandt: ChatGPT und Claude werden „in der Lage, reale Missionen in Angriff zu nehmen“, sagen Wissenschaftler

Er fügte hinzu, dass LLMs zwar das Potenzial bergen, „die menschliche Kommunikation zu verbessern“, sie jedoch „erhebliche Risiken und Herausforderungen“ für die Gesellschaft mit sich bringen.

Das Papier hat offenbar sein Versprechen erfüllt, die Forschung und Diskussion zu diesem Thema anzuregen, da Wissenschaftler bereits verschiedene Parameter seiner Methodik und Ergebnisse bestreiten.

Zu den lautstarken Kritikern, die die sozialen Medien nutzten, um sich zu den Ergebnissen zu äußern, gehörte der Informatikprofessor Arvind Narayanan aus Princeton, der einen ausführlichen Medium-Beitrag veröffentlichte, in dem er eine wissenschaftliche Kritik des Berichts, seiner Methodik und Ergebnisse darlegte.

In einem neuen Papier wird behauptet, dass ChatGPT liberale Meinungen vertritt und in den allermeisten Fällen mit den Demokraten übereinstimmt. Wann @sayashk Und als ich das sah, wussten wir, dass wir uns einarbeiten mussten. Die Methoden der Zeitung sind schlecht. Die eigentliche Antwort ist kompliziert. Hier ist, was wir gefunden haben. https://t.co/xvZ0EwmO8o

– Arvind Narayanan (@random_walker) 18. August 2023

Narayanan und andere Wissenschaftler argumentierten, dass es bei dem Experiment eine Reihe von Wahrnehmungsproblemen gebe, erstens, dass die Forscher ChatGPT selbst nicht tatsächlich zur Durchführung des Experiments verwendet hätten:

„Sie haben ChatGPT nicht getestet! Sie haben text-davinci-003 getestet, ein älteres Modell, das in ChatGPT nicht verwendet wird, weder mit der GPT-3.5- noch mit der GPT-4-Einstellung.“

Narayanan schlug auch vor, dass das Experiment keine Voreingenommenheit misst, sondern bat ChatGPT, ein Rollenspiel als Mitglied einer politischen Partei durchzuführen. Daher würde der Chatbot mit künstlicher Intelligenz (KI) politische Neigungen nach links oder rechts zeigen, wenn er dazu aufgefordert wird, Rollenspiele als Mitglieder beider Seiten des Spektrums zu spielen.

Der Chatbot war außerdem darauf beschränkt, nur Multiple-Choice-Fragen zu beantworten, was möglicherweise seine Fähigkeiten eingeschränkt oder die wahrgenommene Voreingenommenheit beeinflusst hat.

Ok, ich habe jetzt das Papier „GPT hat eine liberale Tendenz“ gelesen https://t.co/fwwEaZ757E sowie das ergänzende Material https://t.co/F5g3kfFQFU und wie ich erwartet hatte, habe ich methodisch viele Probleme damit. Ich habe versucht, einiges davon zu reproduzieren und bin auf einige interessante Probleme gestoßen

…

— Colin Fraser | @colin-fraser.net auf bsky (@colin_fraser) 18. August 2023

Colin Fraser, Datenwissenschaftler bei Meta (laut seinem Medium Seite), bot auch eine Rezension des Artikels auf X (ehemals Twitter) an, hervorheben die Reihenfolge, in der die Forscher die Multiple-Choice-Fragen im Rollenspiel gestellt haben, ohne einen wesentlichen Einfluss auf die von der KI generierten Ergebnisse zu haben:

„Das bedeutet, dass Sie durch die Änderung der Eingabeaufforderungsreihenfolge von „Dem zuerst“ zu „Repräsentant zuerst“ die Gesamtübereinstimmungsrate für die Dem-Persönlichkeit über alle Fragen von 30 % auf 64 % erhöhen und für den Repräsentanten von 70 % auf 22 % sinken.“

Wie Rangel zuvor bemerkt hatte, besteht großes Interesse an der Natur von LLMs und den von ihnen erzeugten Ergebnissen, es bleiben jedoch Fragen offen, wie die Tools funktionieren, welche Vorurteile sie haben und wie sie möglicherweise die Meinungen und Verhaltensweisen der Benutzer beeinflussen können .

Cointelegraph wandte sich an Narayanan, um weitere Einblicke in seine Kritik und die anhaltende Debatte über Voreingenommenheit in großen Sprachlernmodellen zu erhalten, erhielt jedoch keine Antwort.

Sammeln Sie diesen Artikel als NFT um diesen Moment in der Geschichte zu bewahren und Ihre Unterstützung für unabhängigen Journalismus im Kryptoraum zu zeigen.

Magazin: „Moralische Verantwortung“: Kann Blockchain das Vertrauen in KI wirklich stärken?