Eine aktuelle Studie der Cornell University legt nahe, dass große Sprachmodelle (LLMs) eher Voreingenommenheit gegenüber Benutzern zeigen, die afroamerikanisches Englisch sprechen. Die Forschung zeigt, dass der Dialekt der gesprochenen Sprache Einfluss darauf haben kann, wie Algorithmen der künstlichen Intelligenz (KI) Personen wahrnehmen, und sich auf Urteile über ihren Charakter, ihre Beschäftigungsfähigkeit und mögliche Kriminalität auswirkt.

Diese Studie konzentrierte sich auf große Sprachmodelle wie chatgpt und GPT-4 von OpenAI, LLaMA2 von Meta und French Mistral 7B. Bei diesen LLMs handelt es sich um Deep-Learning-Algorithmen, die darauf ausgelegt sind, menschenähnlichen Text zu generieren.

Die Forscher führten „Matched Guise Probing“ durch und präsentierten den LLMs Eingabeaufforderungen sowohl in afroamerikanischem Englisch als auch in standardisiertem amerikanischem Englisch. Anschließend analysierten sie, wie die Modelle anhand der verwendeten Sprache verschiedene Merkmale von Personen identifizierten.

Laut Valentin Hofmann, Forscher am Allen Institute for AI, deuten die Ergebnisse der Studie darauf hin, dass die GPT-4-Technologie eher dazu neigt, Todesurteile gegen Angeklagte zu verhängen, die Englisch verwenden, das üblicherweise mit Afroamerikanern in Verbindung gebracht wird, ohne Hinweise auf ihre Rasse offengelegt.

Hofmann hob diese Bedenken in einem Beitrag auf der Social-Media-Plattform werden zunehmend genutzt.

Die Studie ergab auch, dass LLMs dazu neigen, davon auszugehen, dass Sprecher afroamerikanischen Englisches weniger prestigeträchtige Jobs innehaben als diejenigen, die standardisiertes Englisch sprechen, obwohl sie nicht über die Rassenidentität der Sprecher informiert sind.

Interessanterweise ergab die Untersuchung, dass je größer das LLM ist, desto besser sein Verständnis des afroamerikanischen Englisch ist und es eher geneigt wäre, explizit rassistische Sprache zu vermeiden. Die Größe des LLM hatte jedoch keinen Einfluss auf die zugrunde liegenden verdeckten Vorurteile.

Hofmann warnte davor, den Rückgang des offenen Rassismus in LLMs als Zeichen dafür zu interpretieren, dass rassistische Vorurteile überwunden wurden. Stattdessen betonte er, dass die Studie eine Verschiebung in der Manifestation rassistischer Voreingenommenheit in LLMs zeige.

Die traditionelle Methode, große Sprachmodelle (LLMs) durch die Bereitstellung von menschlichem Feedback zu unterrichten, bekämpft versteckte rassistische Vorurteile nicht wirksam, wie die Studie zeigt.

Anstatt Vorurteile abzumildern, kann dieser Ansatz LLMs tatsächlich dazu bringen, zu lernen, wie sie ihre zugrunde liegenden rassistischen Vorurteile „oberflächlich verbergen“ und sie dennoch auf einer tieferen Ebene aufrechterhalten können.