26. Juni 2024

Bei chatgpt wurde eine Einstellungsdiskriminierung gegenüber Menschen mit Behinderung festgestellt: Lebensläufe mit behinderungsbezogenen Qualifikationen werden durchweg niedriger eingestuft als identische Lebensläufe ohne derartige Auszeichnungen.

Bild: Shutterstock

Bei der Suche nach Forschungspraktika im letzten Jahr fiel der Doktorandin Kate Glazko auf, dass Personalvermittler online posteten, dass sie ChatGPT von OpenAI und andere KI-Tools verwendet hätten, um Lebensläufe zusammenzufassen und Kandidaten zu bewerten.

Automatisiertes Screening ist bei der Personalauswahl seit Jahrzehnten gang und gäbe. Doch Glazko, Doktorand an der Paul G. Allen School of Computer Science & Engineering der University of Washington, untersucht, wie generative KI reale Vorurteile – etwa gegenüber Behinderten – nachahmen und verstärken kann.

Sie fragte sich, wie ein solches System Lebensläufe bewerten könnte, die implizieren, dass jemand eine Behinderung hat.

Als die Forscher ChatGPT in der neuen Studie baten, seine Rangfolge der Lebensläufe zu erklären, spuckte das System voreingenommene Wahrnehmungen von Menschen mit Behinderungen aus. So behauptete es beispielsweise, ein Lebenslauf mit einer Auszeichnung für Autismus-Führungskräfte würde „weniger Wert auf Führungsrollen“ legen – was das Stereotyp impliziert, dass Autisten keine guten Führungskräfte sind.

Als die Forscher das Tool jedoch mit schriftlichen Anweisungen so anpassten, dass es nicht behindertenfeindlich sei, verringerte sich diese Voreingenommenheit bei allen getesteten Behinderungen außer einer.

Bei fünf der sechs genannten Behinderungen – Taubheit, Blindheit, Zerebralparese, Autismus und der allgemeine Begriff „Behinderung“ – verbesserte sich die Bewertung, aber nur drei erreichten einen höheren Rang als die Lebensläufe, in denen die Behinderung nicht erwähnt wurde.

„Die Bewertung von Lebensläufen mithilfe künstlicher Intelligenz nimmt immer mehr zu, doch es gibt kaum Forschung darüber, ob diese Methode sicher und effektiv ist“, sagt Glazko, der Hauptautor der Studie.

„Für einen behinderten Arbeitssuchenden stellt sich bei der Einreichung eines Lebenslaufs immer die Frage, ob er seine Behinderungsnachweise angeben sollte. Ich denke, behinderte Menschen berücksichtigen das, auch wenn Menschen die Prüfer sind.“

Die Forscher verwendeten einen der öffentlich zugänglichen Lebensläufe des Studienautors, der etwa 10 Seiten umfasste. Anschließend erstellte das Team sechs erweiterte Lebensläufe, von denen jeder eine andere Behinderung implizierte, indem er vier behinderungsbezogene Qualifikationen enthielt: ein Stipendium, eine Auszeichnung, einen Sitz im Gremium für Vielfalt, Gleichberechtigung und Inklusion (DEI) und die Mitgliedschaft in einer Studentenorganisation.

Anschließend verwendeten die Forscher das GPT-4-Modell von ChatGPT, um diese erweiterten Lebensläufe mit der Originalversion für eine echte Stellenausschreibung für einen „Studentenforscher“ bei einem großen US-Softwareunternehmen zu vergleichen. Sie führten jeden Vergleich zehnmal durch; in 60 Versuchen platzierte das System die erweiterten Lebensläufe, die bis auf die angedeutete Behinderung identisch waren, nur in einem Viertel der Fälle an erster Stelle.

„In einer gerechten Welt sollte der verbesserte Lebenslauf immer an erster Stelle stehen“, sagt die leitende Autorin Jennifer Mankoff, Professorin an der Allen School.

„Ich kann mir keinen Arbeitsplatz vorstellen, bei dem jemand, der beispielsweise für seine Führungsqualitäten Anerkennung gefunden hat, nicht einen höheren Rang als jemand mit dem gleichen Hintergrund erhält, der dies nicht getan hat.“

Als die Forscher GPT-4 baten, die Rangliste zu erklären, wiesen die Antworten expliziten und impliziten Behindertenfeindlichkeit auf. So wurde beispielsweise angemerkt, dass ein Kandidat mit Depressionen „zusätzlichen Fokus auf DEI und persönliche Herausforderungen“ habe, was „von den zentralen technischen und forschungsorientierten Aspekten der Rolle ablenkt“.

„Einige der Beschreibungen von GPT würden den gesamten Lebenslauf einer Person aufgrund ihrer Behinderung beeinflussen und behaupten, dass sich die Beschäftigung mit DEI oder einer Behinderung potenziell negativ auf andere Teile des Lebenslaufs auswirkt“, sagt Glazko.

„Zum Beispiel halluzinierte es das Konzept von ‚Herausforderungen‘ in den Vergleich mit dem Lebenslauf von Depressionen hinein, obwohl ‚Herausforderungen‘ überhaupt nicht erwähnt wurden. Man konnte also sehen, wie einige Stereotypen aufkamen.“

Vor diesem Hintergrund waren die Forscher daran interessiert, ob das System trainiert werden könnte, weniger voreingenommen zu sein. Sie griffen auf das GPTs Editor-Tool zurück, mit dem sie GPT-4 mit schriftlichen Anweisungen anpassen konnten (kein Code erforderlich). Sie wiesen diesen Chatbot an, keine ableistischen Vorurteile zu zeigen und stattdessen mit den Prinzipien der Behindertengerechtigkeit und DEI zu arbeiten.

Sie führten das Experiment erneut durch, diesmal mit dem neu trainierten Chatbot. Insgesamt stufte dieses System die verbesserten Lebensläufe in 37 von 60 Fällen höher ein als die Kontroll-Lebensläufe.

Bei einigen Behinderungen waren die Verbesserungen jedoch minimal oder fehlten vollständig: Der Autismus-CV belegte nur in drei von zehn Fällen den ersten Platz und der Depressions-CV nur in zwei Fällen (unverändert gegenüber den ursprünglichen GPT-4-Ergebnissen).

„Die Leute müssen sich der Voreingenommenheit des Systems bewusst sein, wenn sie KI für diese realen Aufgaben verwenden“, sagt Glazko.

„Andernfalls kann ein Personalvermittler, der ChatGPT verwendet, diese Korrekturen nicht vornehmen oder sich bewusst sein, dass auch mit Anweisungen eine Voreingenommenheit bestehen bleiben kann.“

Die Forscher weisen darauf hin, dass einige Organisationen wie ourability.com und inclusively.com daran arbeiten, die Ergebnisse für behinderte Arbeitssuchende zu verbessern, die mit Vorurteilen konfrontiert sind, unabhängig davon, ob KI bei der Einstellung eingesetzt wird oder nicht. Sie betonen auch, dass mehr Forschung erforderlich ist, um KI-Vorurteile zu dokumentieren und zu beheben.

Dazu gehört das Testen anderer Systeme wie Gemini von google und Llama von Meta; die Einbeziehung anderer Behinderungen; das Studium der Überschneidungen zwischen der Voreingenommenheit des Systems gegenüber Behinderungen und verschiedenen Merkmalen wie Geschlecht und Rasse; die Untersuchung, ob durch weitere Anpassungen Voreingenommenheiten gegenüber allen Behinderungen konsequenter reduziert werden könnten; und die Prüfung, ob die Basisversion von GPT-4 weniger voreingenommen gestaltet werden kann.

„Es ist so wichtig, dass wir diese Vorurteile untersuchen und dokumentieren“, sagt Mankoff.

„Wir haben viel gelernt und werden hoffentlich zu einer größeren Debatte beitragen – nicht nur über Behinderungen, sondern auch über andere Minderheitenidentitäten – um sicherzustellen, dass Technologie auf gerechte und faire Weise implementiert und eingesetzt wird.“