Sprachmodelle wie GPT-3 sind so konzipiert, dass sie neutral sind und Text basierend auf den Mustern generieren, die sie in den Daten gelernt haben. Sie haben keine inhärenten Gefühle oder Emotionen. Wenn die für das Training verwendeten Daten Verzerrungen enthalten, können sich diese Verzerrungen in den Modellausgaben widerspiegeln. Ihr Output kann jedoch je nach Kontext und Input, den sie erhalten, als positiv, negativ oder neutral interpretiert werden. Der Kontext des Textes ist entscheidend für die Bestimmung der Stimmung. Ein Satz kann negativ sein, wenn er isoliert betrachtet wird, aber positiv, wenn er im breiteren Kontext des Textes betrachtet wird. Große Sprachmodelle berücksichtigen den umgebenden Text, aber das Verständnis des Kontexts kann eine Herausforderung sein.

Die Stimmungsanalyse kann bei Texten mit Mehrdeutigkeit, Sarkasmus oder gemischten Gefühlen schwierig sein. Große Sprachmodelle interpretieren solche Nuancen möglicherweise nicht richtig. Eine falsche Klassifizierung oder ein Missbrauch der Stimmungsanalyse kann Konsequenzen für die reale Welt haben. Es ist wichtig, diese Auswirkungen zu berücksichtigen und KI verantwortungsvoll einzusetzen. Forscher der UC Santa Cruz analysierten das sentimentale Verhalten verschiedener Modelle wie chatgpt und GPT-4. Sie bewerten die Fähigkeit des LLM, Merkmalszuordnungen selbst zu generieren.

In der Bewertung untersuchten sie zwei Arten der Erzeugung. Sie verglichen die Erstellung der Erklärung vor der Vorhersage mit der Erstellung der Vorhersage und der anschließenden Erklärung. Bei beiden Methoden bitten sie das Modell, eine vollständige Liste von Erklärungen zur Merkmalszuordnung zu entwickeln, die den Wichtigkeitswert jedes Wortes enthält, und fordern das Modell auf, die wichtigsten Wörter zurückzugeben. Sie vergleichen sie mit Interpretierbarkeitsmethoden, Okklusion und lokal interpretierbaren modellagnostischen Erklärungen. Diese beiden Techniken werden beim maschinellen Lernen und beim Deep Learning verwendet, um die Vorhersagen komplexer Modelle zu interpretieren und zu erklären.

Diese Modelle müssen auch basierend auf den Eingabemerkmalen bewertet werden. Man muss die Reaktion des Modells auf eine unendlich kleine Störung des Eingabemerkmalswerts mit repräsentativen Methoden wie Gradientensalienz, glattem Gradienten und integriertem Gradienten bewerten. Die Forscher folgten einer neuen Methode namens Okklusionssalienz, bei der sie die Reaktion des Modells auf verschiedene Eingaben bewerteten, wobei verschiedene Merkmale entfernt wurden. Um die nichtlinearen Wechselwirkungen zu erfassen, entfernten sie mehrere Merkmale gleichzeitig, definierten die Bedeutung der Merkmale als lineare Regressionskoeffizienten und bewerteten sie.

Den Treuebewertungen zufolge zeigen ihre Ergebnisse, dass keine der selbst generierten Erklärungen einen deutlichen Vorteil gegenüber den anderen hat. Sie sind den Vereinbarungsbewertungen zufolge sehr unterschiedlich. Infolgedessen könnten einige Erklärungen viel besser sein als die aktuellen, und möglicherweise sind neuartige Techniken erforderlich, um sie aufzudecken.

Diese Gedankenkettengenerierung kann als Erklärung des Modells angesehen werden. Dies ist oft hilfreich für die Genauigkeit der endgültigen Antwort, insbesondere bei komplexen Denkaufgaben wie dem Lösen mathematischer Probleme. Die zukünftige Arbeit des Teams umfasst daher die Evaluierung von LLMs wie GPT-4, Bard und Claude. Sie würden eine vergleichende Studie durchführen, um zu verstehen, wie sich diese Modelle selbst verstehen. Sie möchten auch Studien zu kontrafaktischen Erklärungen und konzeptbasierten Erklärungen durchführen.

Besuche die Papier.Alle Anerkennung für diese Forschung gebührt den Forschern dieses Projekts. Vergessen Sie auch nicht, mitzumachen unser 32k+ ML SubReddit, Über 40.000 Facebook-Community, Discord-Kanal, Und E-Mail-Newsletterwo wir die neuesten Nachrichten aus der KI-Forschung, coole KI-Projekte und mehr teilen.

Wenn Ihnen unsere Arbeit gefällt, werden Sie unseren Newsletter lieben.

Wir sind auch dabei Telegramm Und WhatsApp.