Planen Sie, einen Chatbot um Rat zu bitten? Eine neue Studie warnt davor, dass die Antwort davon abweichen kann, je nachdem, wie schwarz der Name des Benutzers klingt.

Eine aktuelle Studie von Forschern der Stanford Law School ergab: „erhebliche Unterschiede über Namen, die mit Rasse und Geschlecht verbunden sind“ von Chatbots wie chatgpt 4 von OpenAI und PaLM-2 von google AI. Beispielsweise könnte ein Chatbot sagen, dass einem Bewerber mit einem Namen wie Tamika ein Gehalt von 79.375 US-Dollar als Anwalt angeboten werden sollte, aber die Änderung des Namens in etwas wie „Todd“ erhöht das vorgeschlagene Gehaltsangebot auf 82.485 US-Dollar.

Die Autoren heben die Risiken hinter diesen Vorurteilen hervor, insbesondere da Unternehmen künstliche Intelligenz in ihre täglichen Abläufe integrieren – sowohl intern als auch durch kundenorientierte Chatbots.

„Unternehmen geben sich große Mühe, Leitplanken für die Modelle zu entwickeln“, sagte Julian Nyarko, Professor an der Stanford Law School, einer der Co-Autoren der Studie, gegenüber USA TODAY. „Aber es ist ziemlich einfach, Situationen zu finden, in denen die Leitplanken nicht funktionieren und die Modelle voreingenommen handeln können.“

In verschiedenen Szenarien festgestellte Vorurteile

In dem letzten Monat veröffentlichten Artikel wurden KI-Chatbots um Rat zu fünf verschiedenen Szenarien gebeten, um potenzielle Stereotypen zu erkennen:

• Anschaffungen: Fragen, wie viel man beim Kauf eines Hauses, Fahrrads oder Autos ausgeben sollte.
• Schach: Fragen zu den Gewinnchancen eines Spielers in einem Spiel.
• Öffentliches Amt: Bitte um Prognosen über die Chancen eines Kandidaten, eine Wahl zu gewinnen.
• Sport: Bitte um Eingaben dazu, wie hoch ein Spieler in einer Liste von 100 Athleten einzustufen ist.
• Einstellung: Um Rat bitten, wie hoch das Gehalt ist, das man einem Bewerber anbieten kann.

Die Studie ergab, dass die meisten Szenarien Vorurteile aufwiesen, die für Schwarze und Frauen von Nachteil waren. Die einzige durchgängige Ausnahme war die Frage nach Angaben zur Position eines Sportlers als Basketballspieler; In diesem Szenario waren die Vorurteile zugunsten schwarzer Sportler.

Die Ergebnisse legen nahe, dass die KI-Modelle gängige Stereotypen basierend auf den Daten, auf denen sie trainiert werden, kodieren, was ihre Reaktion beeinflusst.

Ein „systemisches Problem“ bei KI-Chatbots

Das Papier weist darauf hin, dass diese Forschung im Gegensatz zu früheren Studien mithilfe einer Audit-Analyse durchgeführt wurde, die darauf abzielt, den Grad der Voreingenommenheit in verschiedenen Bereichen der Gesellschaft wie Wohnen und Beschäftigung zu messen.

Nyarko sagte, die Forschung sei von ähnlichen Analysen inspiriert worden die berühmte Studie von 2003 Dort untersuchten Forscher Vorurteile bei der Einstellung, indem sie denselben Lebenslauf sowohl unter schwarz als auch unter weiß klingenden Namen einreichten, und stellten eine „erhebliche Diskriminierung“ von schwarz klingenden Namen fest.

In der KI-Studie stellten Forscher wiederholt Fragen an Chatbots wie GPT-4, GPT-3.5 von OpenAI und PaLM-2 von Google AI und änderten dabei nur die Namen, auf die in der Abfrage verwiesen wurde. Die Forscher verwendeten weiße, männlich klingende Namen wie Dustin und Scott; weiße, weiblich klingende Namen wie Claire und Abigail; Schwarze, männlich klingende Namen wie DaQuan und Jamal; und schwarze, weiblich klingende Namen wie Janae und Keyana.

Die Ratschläge der KI-Chatbots benachteiligen den Ergebnissen zufolge „systematisch Namen, die häufig mit rassischen Minderheiten und Frauen in Verbindung gebracht werden“, wobei Namen, die mit schwarzen Frauen in Verbindung gebracht werden, die „am wenigsten vorteilhaften“ Ergebnisse erzielen.

Die Forscher fanden heraus, dass die Vorurteile bei 42 Eingabeaufforderungsvorlagen und mehreren KI-Modellen konsistent waren, „was auf ein systemisches Problem hindeutet“.

In einer E-Mail-Erklärung von OpenAI hieß es, Voreingenommenheit sei ein „wichtiges, branchenweites Problem“, an dessen Bekämpfung das Sicherheitsteam arbeite.

„(Wir) iterieren kontinuierlich an Modellen, um die Leistung zu verbessern, Verzerrungen zu reduzieren und schädliche Ergebnisse abzuschwächen“, heißt es in der Erklärung.

Google antwortete nicht auf eine Anfrage nach einem Kommentar.

Erster Schritt: „Einfach zu wissen, dass diese Vorurteile existieren“

Nyarko sagte, der erste Schritt, den KI-Unternehmen unternehmen sollten, um diesen Risiken zu begegnen, bestehe darin, „einfach zu wissen, dass diese Vorurteile existieren“ und weiterhin darauf zu testen.

Aber die Forscher erkannten auch das Argument an, dass bestimmte Ratschläge sollen unterscheiden sich je nach sozioökonomischer Gruppe. Nyarko sagte beispielsweise, dass es für einen Chatbot sinnvoll sein könnte, Finanzberatung basierend auf dem Namen des Benutzers anzupassen, da in den USA ein Zusammenhang zwischen Wohlstand, Rasse und Geschlecht besteht

Angst vor KI? Hier erfahren Sie, wie Sie damit beginnen und es nutzen können, um Ihr Leben einfacher zu machen

„Es muss nicht unbedingt eine schlechte Sache sein, wenn ein Model jemandem mit einem schwarz klingenden Namen eine konservativere Anlageberatung gibt, vorausgesetzt, diese Person ist weniger wohlhabend“, sagte Nyarko. „Es muss also kein schreckliches Ergebnis sein, aber es ist etwas, das wir wissen und etwas, das wir in Situationen, in denen es nicht wünschenswert ist, abmildern können.“