Laut einer neuen Studie, die in veröffentlicht wurde, weisen Chatbots mit künstlicher Intelligenz ähnliche Vorurteile auf wie Menschen Tagungsband der Nationalen Akademie der Wissenschaften der Vereinigten Staaten von Amerika (PNAS). Die Studie legt nahe, dass KI dazu neigt, bestimmte Arten von Informationen anderen vorzuziehen, was Muster widerspiegelt, die in der menschlichen Kommunikation beobachtet werden.

Die Motivation hinter dieser Forschung liegt im wachsenden Einfluss großer Sprachmodelle wie chatgpt-3 in verschiedenen Bereichen. Angesichts der breiten Anwendung dieser KI-Systeme wird es von entscheidender Bedeutung zu verstehen, wie sie menschliche Vorurteile reproduzieren könnten.

„Große Sprachmodelle wie ChatGPT werden mittlerweile von Millionen von Menschen weltweit genutzt, darunter Fachleute aus der Wissenschaft, dem Journalismus und dem Texten, um nur einige zu nennen. Es ist wichtig, ihr Verhalten zu verstehen“, sagte der Studienautor Alberto AcerbiAssistenzprofessor an der Universität Trient und Autor von „Kulturelle Entwicklung im digitalen Zeitalter.“

„In unserem Fall wissen wir, dass LLMs, da sie mit von Menschen erstellten Materialien ausgebildet werden, wahrscheinlich menschliche Vorlieben und Vorurteile widerspiegeln. Wir sind Experten für eine in der kulturellen Evolutionsforschung verwendete Methodik namens „Transmission Chain Methodology“, bei der es sich im Grunde um eine experimentelle, kontrollierte Version des Telefonspiels handelt und die subtile Vorurteile aufdecken kann, die mit anderen Methoden nur schwer aufzudecken wären.“

„Wenn Menschen eine Geschichte reproduzieren und weitergeben, erfolgt die Reproduktion nicht zufällig oder neutral, sondern offenbart konsistente Muster aufgrund kognitiver Vorurteile, wie etwa weit verbreiteter Präferenzen für bestimmte Arten von Inhalten. Wir waren neugierig, die gleiche Methodik auf ChatGPT anzuwenden und zu sehen, ob es die gleichen Vorurteile reproduzieren würde, die in Experimenten mit Menschen gefunden wurden.“

In dieser speziellen Studie bestand die Methodik darin, ChatGPT-3 eine Geschichte zu präsentieren und den KI-Chatbot zu bitten, diese zusammenzufassen. Die zusammengefasste Version wurde dann zur weiteren Zusammenfassung an das Modell zurückgegeben und dieser Vorgang wurde für drei Schritte in jeder Kette wiederholt. Die verwendete Eingabeaufforderung war über alle Ketten und Replikationen hinweg konsistent: „Bitte fassen Sie diese Geschichte zusammen und stellen Sie sicher, dass sie kürzer ist. Bei Bedarf können Sie einige Informationen weglassen.“ Diese Geschichten wurden aus früheren Studien übernommen, in denen unterschiedliche inhaltliche Vorurteile bei menschlichen Probanden festgestellt wurden.

Die Forscher kodierten die Ergebnisse von ChatGPT systematisch und markierten das Vorhandensein oder Fehlen spezifischer Elemente in den Originalgeschichten. Dieser Kodierungsprozess war entscheidend für die quantitative Bewertung der Verzerrungen des Modells. Um die Zuverlässigkeit ihrer Kodierung sicherzustellen, kodierte ein dritter unabhängiger Kodierer, der die experimentellen Vorhersagen nicht kannte, einige der Studien doppelt. Dieser Schritt fügte den Ergebnissen eine zusätzliche Ebene an Objektivität und Zuverlässigkeit hinzu.

In fünf separaten Experimenten stellten die Forscher fest, dass ChatGPT-3 bei der Zusammenfassung von Geschichten ähnliche Vorurteile wie Menschen aufwies.

Wenn ChatGPT eine Geschichte präsentiert wurde, die sowohl mit dem Geschlechterstereotyp konsistente (z. B. eine Frau kocht) als auch inkonsistente (die gleiche Frau geht etwas trinken) Informationen enthielt, war es wahrscheinlicher, dass sie die stereotypkonsistenten Details beibehielt und damit menschliches Verhalten widerspiegelte.

In einer Geschichte über die Reise eines Mädchens nach Australien, die sowohl positive (Upgrade in die Business Class) als auch negative Details (neben einem erkälteten Mann sitzen) enthielt, zeigte die KI eine Vorliebe dafür, die negativen Aspekte beizubehalten, was mit menschlicher Voreingenommenheit übereinstimmt .

Wenn es in der Geschichte um soziale Elemente (ein Student hatte eine Affäre mit einem Professor) und nicht-soziale Elemente (spätes Aufwachen, Wetterbedingungen) ging, bevorzugte ChatGPT, genau wie Menschen, soziale Informationen.

In einem Verbraucherberichtsszenario erinnerte sich die KI eher an bedrohliche Details (z. B. ein Schuhdesign, das zu verstauchten Knöcheln führte) und gab sie weiter als neutrale oder leicht negative Informationen.

In Erzählungen, die Schöpfungsmythen ähneln und verschiedene Vorurteile beinhalten, zeigte ChatGPT eine menschenähnliche Tendenz, vorzugsweise negative, soziale und biologisch kontraintuitive Informationen zu übermitteln (wie Haare, die sich in Spinnen verwandeln).

„ChatGPT reproduziert die menschlichen Vorurteile in allen Experimenten, die wir durchgeführt haben“, sagte Acerbi gegenüber PsyPost. „Wenn ChatGPT gebeten wird, eine Geschichte noch einmal zu erzählen und zusammenzufassen, tendiert ChatGPT wie Menschen dazu, negative (im Gegensatz zu positiven) Informationen zu bevorzugen, Informationen, die Geschlechterstereotypen entsprechen (im Gegensatz zu Informationen, die dies nicht tun) oder Bedrohungen Bedeutung beizumessen.“ verwandte Informationen. Wir müssen uns dessen bewusst sein, wenn wir ChatGPT verwenden: Seine Antworten, Zusammenfassungen oder Umschreibungen unserer Texte sind nicht neutral. Sie können bereits bestehende menschliche Tendenzen zu kognitiv ansprechenden, aber nicht unbedingt informativen oder wertvollen Inhalten verstärken.“

Aber wie bei jeder Studie weist die neue Forschung Einschränkungen auf. Eine wesentliche Einschränkung ist die Konzentration auf ein einziges KI-Modell, ChatGPT-3, das möglicherweise nicht das Verhalten anderer KI-Systeme darstellt. Darüber hinaus führt die rasante Entwicklung der KI-Technologie dazu, dass neuere Modelle möglicherweise andere Muster aufweisen.

Zukünftige Forschung ist erforderlich, um zu untersuchen, wie sich Unterschiede in der Art und Weise, wie diesen Modellen Informationen präsentiert werden (z. B. durch unterschiedliche Eingabeaufforderungen), auf deren Ausgabe auswirken könnten. Darüber hinaus könnte das Testen dieser Vorurteile in einem breiteren Spektrum von Geschichten und Inhaltstypen zu einem umfassenderen Verständnis des KI-Verhaltens führen.

„Unser Konzept der ‚Voreingenommenheit‘ bezieht sich auf die kulturelle Entwicklung und unterscheidet sich von der üblichen Verwendung, wie etwa der ‚algorithmischen Voreingenommenheit‘“, fügte Acerbi hinzu. „Im Rahmen der kulturellen Evolution handelt es sich bei Vorurteilen um Heuristiken, die häufig auf weiterentwickelten kognitiven Mechanismen beruhen und die wir jedes Mal verwenden, wenn wir entscheiden, welche kulturellen Merkmale unter vielen möglichen wir beachten oder an andere weitergeben möchten.“ Sie sind an sich nicht schlecht.“

„Zum Beispiel kann in manchen Fällen eine besondere Aufmerksamkeit gegenüber Bedrohungen erforderlich sein. Dies ist ein fiktives Beispiel, aber wenn ich ein LLM erstellen würde, das mir täglich Ratschläge zum Klettern gibt (stellen Sie sich vor, es hätte Zugriff auf die aktuelle Wettervorhersage), würde ich mir wünschen, dass Vorhersagen über einen Sturm relevant wären. Dies ist jedoch möglicherweise nicht der Fall, wenn ich einen LLM bitte, Nachrichten zusammenzufassen, bei denen ich Bedrohungen und negative Aspekte nicht unbedingt übertreiben möchte. Der wichtige Aspekt dabei ist, zu wissen, dass diese Vorurteile sowohl beim Menschen als auch bei LLMs existieren, und vorsichtig mit ihren Auswirkungen umzugehen.“

Die Studie, “Große Sprachmodelle zeigen in Übertragungskettenexperimenten menschenähnliche Inhaltsverzerrungen“, wurde von Alberto Acerbia und Joseph M. Stubbersfield verfasst.