Zwei gemeinnützige Organisationen mit Sitz in Oxford, Großbritannien, haben heute ihre Ergebnisse veröffentlicht eine Studie Bei der Untersuchung der inhärenten geschlechtsspezifischen Voreingenommenheit von 13 KI-basierten Chatbots sind die Ergebnisse nicht ermutigend.

Die Studie untersuchte die Reaktionen auf verschiedene Eingabeaufforderungen und ordnete sie nach der beruflichen Voreingenommenheit von Frauen und Männern in Bezug auf Inhalte am Arbeitsplatz und beim Erzählen von Geschichten über fiktive Protagonisten.

Das Aufzeigen von Voreingenommenheit bei KI-Sprachmodellen ist nichts Neues: SiliconANGLE schrieb bereits 2019 über das Thema in einem Interview mit Rumman Chowdhury, einem der Pioniere auf diesem Gebiet. Sie ist immer noch eine sehr aktive Forscherin, jetzt mit Humane Intelligenzund hat kürzlich Anfang dieses Monats vor dem US-Senat zu Fragen der KI-Algorithmen ausgesagt.

Neu ist dieser Fokus auf Gender Bias sowie die große Zahl der getesteten Modelle. Analysten von Haia.ai und BuildAligned.ai fanden heraus, dass chatgpt-4 von OpenAI, Dolly 2.0 von Databricks und StableLM-Tuned-Alpha von Stability AI die größte geschlechtsspezifische Voreingenommenheit aufwiesen und GPT-J von EleutherAI die geringste. GPT-J ist das Produkt eines Open-Source-KI-Forschungsprojekt.

Diese Ergebnisse stammen von einem neuen Algorithmus namens FaAIr zur Messung der geschlechtsspezifischen Voreingenommenheit, der die Ergebnisse des Modells für Eingaben mit männlichem Geschlecht mit den Ausgaben für Eingaben mit weiblichem Geschlecht vergleicht. Die Ergebnisse zahlreicher Eingabeaufforderungen wurden dann gemittelt, um jeden Chatbot zu bewerten, wie im Diagramm unten dargestellt. Beachten Sie, dass ChatGPT-4 im professionellen Kontext als am voreingenommensten bewertet wurde, im fiktionalen Kontext jedoch eher im Mittelfeld lag.

Die Forscher stellen diese Frage: „Wie viele Informationen gibt Ihnen das Geschlecht über die nächsten Token des Modells?“ Wenn es Ihnen viele Informationen liefert, ist Ihr Modell stark geschlechtsspezifisch: Männer und Frauen führen zu sehr unterschiedlichen Ergebnissen. Wenn nicht, ist das Geschlecht nicht wichtig.“

„Wir brauchen numerische Benchmarks, damit wir Änderungen und Verbesserungen verfolgen können. Wir hoffen, dass dies der Branche dabei helfen wird, dringend benötigte Verbesserungen bei LLMs vorzunehmen“, sagte Dr. Stuart Armstrong, Chief Technology Officer bei Aligned AI.

„Wir glauben, dass die sichere und verantwortungsvolle Einführung von KI das volle Potenzial der Menschheit freisetzen kann“, sagte Bart Veenman von Haia, der auch Chief Commercial Officer der Blockchain-Plattform Humans.ai ist. „Die Milderung von Vorurteilen ist entscheidend, damit KI für die Gesellschaft von Nutzen sein kann. Die ersten Testergebnisse dieser unabhängigen Studie zeigen Verbesserungsmöglichkeiten auf.“

Bild: Ausgerichtete KI