Die Forscher berichten, dass mit konventionellen Datenerhebungsmethoden trainierte Modelle Regelverstöße strenger beurteilen als Menschen.

Um die Fairness zu verbessern und Verstöße gegen formelle und informelle Regeln zu reduzieren, werden Modelle des maschinellen Lernens manchmal so konzipiert, dass sie die menschliche Entscheidungsfindung nachahmen. Zum Beispiel die Entscheidung, ob Social-Media-Beiträge gegen die Richtlinie zu eingeschränkten Inhalten verstoßen.

Doch Forscher am MIT und anderswo haben herausgefunden, dass diese Modelle oft nicht echte menschliche Urteile über Regelverstöße wiedergeben. Wenn Modelle nicht mit echten verbotenen Daten trainiert werden, werden sie härtere Urteile fällen als Menschen.

Beim Training wird das neuronale Netzwerk Millionen von Beispielen dieser „normativen Daten“ ausgesetzt, damit es aus der Probe lernen kann.

Aber die Daten, die zum Trainieren von Modellen für maschinelles Lernen verwendet werden, werden normalerweise deskriptiv gekennzeichnet – das heißt, die Menschen werden gebeten, tatsächliche Merkmale zu identifizieren, wie zum Beispiel das Vorhandensein von frittiertem Essen auf einem Foto. Wenn „beschreibende Daten“ verwendet werden, um Modelle zu trainieren, die Regelverstöße bewerten, beispielsweise ob eine Mahlzeit gegen eine Schulrichtlinie verstößt, die frittiertes Essen verbietet, neigen die Modelle dazu, die Vorhersagen von Regelverstößen zu überschätzen.

Dieser Genauigkeitsverlust kann in der realen Welt schwerwiegende Folgen haben. Wenn beispielsweise ein deskriptives Modell verwendet wird, um Entscheidungen darüber zu treffen, ob eine Person wahrscheinlich rückfällig wird, zeigen die Ergebnisse der Forscher, dass es stärkere Urteile fällen kann als eine Person, was zu höheren Kautionen oder längeren Strafen führen kann.

Gassemi ist der Hauptautor Artikel mit einer detaillierten Beschreibung dieser Ergebnisse, die in der Zeitschrift Science Advances veröffentlicht wurde.

Diese Studie entstand aus einem anderen Projekt, das untersuchte, wie ein Modell für maschinelles Lernen seine Vorhersagen rechtfertigen kann. Bei der Datenerfassung für diese Studie stellten die Forscher fest, dass Menschen manchmal unterschiedliche Antworten geben, wenn sie gebeten werden, beschreibende oder normative Bezeichnungen für dieselben Daten anzugeben.

Um beschreibende Etiketten zu sammeln, bitten die Forscher die Labeler, sachliche Merkmale zu identifizieren – enthält der Text Obszönitäten? Um normative Labels zu sammeln, geben Forscher den Labelern eine Regel und fragen, ob die Daten gegen diese Regel verstoßen – verstößt dieser Text gegen die eigentliche Sprachrichtlinie der Plattform?

Überrascht von dieser Entdeckung begannen die Forscher mit einer Benutzerstudie, um tiefer zu graben. Sie sammelten vier Datensätze, um unterschiedliche Richtlinien zu simulieren, beispielsweise den Bilddatensatz von Hunden, die gegen die Wohnungsordnung aggressiver Rassen verstoßen können. Anschließend baten sie die Teilnehmergruppen, beschreibende oder normative Etiketten bereitzustellen.

In jedem Fall wurden die Deskriptoren gebeten, anzugeben, ob das Bild oder der Text drei sachliche Merkmale enthielt, beispielsweise ob der Hund aggressiv wirkte. Ihre Antworten wurden dann zur Beurteilung herangezogen. (Wenn der Benutzer sagte, dass das Foto einen aggressiven Hund zeigte, dann lag ein Verstoß gegen die Regeln vor.) Die Entwickler der Etiketten kannten die Regeln in Bezug auf Tiere nicht. Auf der anderen Seite erhielten die Regulierungsbehörden eine Richtlinie zum Verbot aggressiver Hunde und wurden dann gefragt, ob jedes Bild dagegen verstoße und warum.

Die Forscher fanden heraus, dass Menschen in einer beschreibenden Umgebung deutlich häufiger ein Objekt als Verstoß kennzeichnen. Die Diskrepanz, die sie anhand der durchschnittlichen absoluten Differenz der Etiketten berechneten, reichte von 8 Prozent für den Bilddatensatz, der zur Beurteilung von Verstößen gegen die Kleiderordnung verwendet wurde, bis zu 20 Prozent für Bilder von Hunden.

„Obwohl wir nicht explizit getestet haben, warum dies geschieht, besteht eine Hypothese darin, dass die Art und Weise, wie Menschen über Regelverstöße denken, sich möglicherweise von der Art und Weise unterscheidet, wie sie über deskriptive Daten denken. Regulierungsentscheidungen fallen in der Regel weicher aus“, sagt Balagopalan.

Allerdings werden die Daten normalerweise mit beschreibenden Bezeichnungen erfasst, um das Modell für eine bestimmte maschinelle Lernaufgabe zu trainieren. Diese Daten werden später häufig verwendet, um verschiedene Modelle zu trainieren, die normative Urteile wie Regelverstöße fällen.

Um die möglichen Auswirkungen der Umnutzung deskriptiver Daten zu untersuchen, trainierten die Forscher zwei Modelle, um Regelverstöße anhand einer von vier Dateneinstellungen zu bewerten. Sie trainierten ein Modell mit deskriptiven Daten und ein anderes Modell mit normativen Daten und verglichen dann ihre Leistung.

Sie fanden heraus, dass, wenn deskriptive Daten zum Trainieren eines Modells verwendet werden, dieses schlechter abschneidet als ein Modell, das darauf trainiert wurde, mithilfe normativer Daten dieselben Urteile zu fällen. Insbesondere ist es wahrscheinlicher, dass ein deskriptives Modell Eingaben falsch klassifiziert und so Regelverstöße fälschlicherweise vorhersagt. Und die Genauigkeit des Beschreibungsmodells war sogar noch geringer, wenn es um die Klassifizierung von Objekten ging, über die sich die Menschen nicht einig waren.

Für Benutzer kann es sehr schwierig sein, festzustellen, wie die Daten erfasst wurden. Diese Informationen könnten in einem Anhang zu einem Forschungsartikel versteckt sein oder von einem privaten Unternehmen nicht offengelegt werden, sagt Gassemi.

Die Erhöhung der Transparenz des Datensatzes ist eine Möglichkeit, dieses Problem zu lösen. Wenn Forscher wissen, wie die Daten gesammelt wurden, wissen sie, wie die Daten verwendet werden sollten. Eine weitere mögliche Strategie besteht darin, das deskriptiv trainierte Modell anhand einer kleinen Menge normativer Daten zu verfeinern. Diese Idee, die als Transferlernen bezeichnet wird, wollen die Forscher in zukünftigen Arbeiten untersuchen.

Sie möchten außerdem eine ähnliche Studie mit Kennzeichnungsexperten wie Ärzten oder Anwälten durchführen, um festzustellen, ob dies zu derselben Inkonsistenz bei der Kennzeichnung führt.

„Der Weg, dies zu beheben, besteht darin, offen zuzugeben, dass wir, wenn wir menschliches Urteilsvermögen nachbilden wollen, nur Daten verwenden sollten, die unter diesen Bedingungen gesammelt wurden.“ Andernfalls werden wir mit extrem strengen Moderationssystemen enden, viel strenger als das, was Menschen tun würden. Die Leute werden die Nuancen erkennen oder eine andere Unterscheidung treffen, diese Modelle jedoch nicht“, sagt Gassemi.

Basierend auf MIT-Forschung

PS. Bitte, es hilft, den Artikel zu bewerben, was bedeutet, dass es Motivation gibt, weiter zu schreiben

Dort poste ich VC-Artikel und was nicht in VC ist. Gedanken, Ideen, Erfahrungen.

Im angepinnten Kanal gibt es immer Kolersky-Telegram-Bots, auf die zugegriffen werden kann ChatGPT, GPT-4 ohne VPNsowie Bildgeneratoren Mitten auf der ReiseDall-e, Stable Diffusion (Projekt KolerskyAI).