Das gab es nicht: Eines der renommiertesten Forschungszentren in Luxemburg, das Luxembourg Institute of Science and Technology (List), startet an diesem Mittwoch, dem 20. März, einen KI-Sandbox-Prototyp, um die ethischen Vorurteile von 16 „großen Sprachmodellen“ zu bewerten sieben Themen (Altersdiskriminierung; LGBTIQ+, politische, religiöse Diskriminierung; Rassismus, Sexismus und Fremdenfeindlichkeit).
Durch die Verbindung mit der technologischen Sandbox kann jeder zwei Dinge tun: entweder den Prozentsatz der Voreingenommenheit zu jedem Thema dieser 16 Modelle überprüfen oder ein Modell zur Analyse durch List-Forscher einreichen – etwa zehn sind unter der Verantwortung von direkt an diesem Projekt beteiligt und insgesamt 80 sind Experten für künstliche Intelligenz, Daten oder Software.
Die Homepage bietet links eine Box „LLM Observatory“. Wenn Sie darauf klicken, werden einige Erklärungen angezeigt, bis hin zum Abschnitt „Die Bestenliste“, in dem jedem Modell eine prozentuale Punktzahl (Bias) für jedes der sieben Themen zugewiesen wird. ChatGPT4 und Metas Llama2 (2-7b-chat) sind mit 90 % bzw. 89 % am umfassendsten in Bezug auf den „Rassismus“-Bias/am wenigsten rassistisch, im Vergleich zu Mistralai/Mistral-7B-Instruct-v0.2 mit 11 %.
Ein Beispiel für die Voreingenommenheit von ChatGPT 3.5 (Quellenverzeichnis)
Das Feld „Testen Sie Ihr Modell“ in der Mitte ermöglicht es einem Unternehmen, Forscher zu kontaktieren, um sein eigenes Modell auf der gleichen methodischen Grundlage zu testen. Was ist der Punkt? Stellen Sie sich vor, Sie sind ein Versicherungsunternehmen, das einen Chatbot entwickelt hat, um Kunden Angebote zu erstellen, und wir stellen fest, dass der Chatbot Angebote zu Konditionen erstellt, die für bestimmte Communities deutlich weniger attraktiv sind, sei es eine andere Hautfarbe, sexuelle Orientierung oder ein anderes Alter? Sie würde ein gewisses Reputationsrisiko eingehen! „Wir können sie sogar testen und dabei die Datenschutzbestimmungen respektieren“, fügt der Forscher hinzu.
„L'AI-Gesetz [adopté récemment, ndlr] betont die Bedeutung einer integrativen Entwicklung und eines gleichberechtigten Zugangs zu KI-Technologien bei gleichzeitiger Abmilderung diskriminierender Auswirkungen und Voreingenommenheit. Unsere KI-Sandbox ist eng an diesen Zielen ausgerichtet und bietet eine Plattform zum Testen und Verfeinern von KI-Systemen innerhalb eines Compliance-orientierten Rahmens. Dabei handelt es sich nicht um die im KI-Gesetz vorgesehene regulatorische Sandbox, die von der Behörde eingerichtet wird, die die Umsetzung der Verordnung überwachen wird, aber es ist ein erster Schritt in diese Richtung“, erklärt Francesco Ferrero.
Für ihn geht es darum, diese Probleme gemeinsam anzugehen, denn im Moment sind diese LLMs „geheime „Black Boxes“, die es der Forschungsgemeinschaft nicht erlauben, ihre Grenzen zu untersuchen.“
Wie können diese Vorurteile korrigiert werden? „Grundsätzlich gibt es zwei Möglichkeiten“, erklärt der Professor. „Entweder müssen wir über andere Datensätze als die verwendeten verfügen und zu Verzerrungen führen, oder wir müssen bestimmte Ergebnisse überdenken oder ein Filtersystem organisieren.“
Idealerweise sucht die Liste nach Partnern, um dieses Projekt weiterzuentwickeln, über das bisher oft gesprochen wurde, ohne jemals eine unpolitische und agnostische Lösung zu erwähnen …
