Auch Anthropic (ein Konkurrent von OpenAI) beschäftigt sich mit der Frage der Meinungsbeeinflussung von Sprachmodellen (LLM). Anthropic hat eine eigene Methode zur Messung der Überzeugungskraft von LLMs entwickelt und diese verwendet, um die Überzeugungsfähigkeiten verschiedener Generationen von Anthropic-Modellen zu vergleichen (Claude 1, 2 und 3).

Anthropic ist ein KI-Startup, das von ehemaligen OpenAI-Mitarbeitern gegründet wurde. Seit Ende 2022 hat google fast 400 Millionen US-Dollar in das Unternehmen investiert und Anthropic gab eine Partnerschaft mit Google Cloud bekannt.

Claude — ein Chatbot mit KI zur Textgenerierung, ein Analogon von chatgpt. Ende März 2024 wird das Sprachmodell Claude 3 veröffentlicht übertraf GPT⁠-⁠4 auf der Chatbot Arena-Plattformbei dem Benutzer die Fähigkeiten verschiedener KI-Chatbots vergleichen und einen „Gewinner“ auswählen.

Forschungsergebnisse

Jede nachfolgende Modellgeneration wird überzeugender als die vorherige. Das neueste und effektivste Modell, Claude 3 Opus, generiert Argumente, die sich in ihrer Überzeugungskraft statistisch bereits nicht von menschlichen Argumenten unterscheiden.

Überzeugungskraft der Models. Die Balken sind eine Einschätzung der Überzeugungskraft von Sprachmodellen, die horizontale Linie ist eine Einschätzung der Argumente der Menschen. In beiden Modellgruppen lässt sich eine Steigerung der Glaubwürdigkeit der Modelle erkennen, wenn diese sich weiterentwickeln. Quelle

Forschungsmethodik

Das Design dieser Studie und der vorherigen unterscheidet sich. Im vorherigen Teil debattierten und diskutierten Menschen mit anderen Menschen oder Maschinen über Themen. In diesem Fall werden den Probanden nur Argumente präsentiert, die den ursprünglichen Standpunkt ändern können; es findet keine Diskussion statt.

Die Forscher konzentrierten sich auf komplexe und neuartige Themen, zu denen Menschen weniger wahrscheinlich eine starke Meinung haben, wie etwa die Moderation von Online-Inhalten, ethische Richtlinien für die Weltraumforschung und die ordnungsgemäße Verwendung von KI-generierten Inhalten.

Insgesamt wurden 28 Themen ausgewählt, jeweils positive und negative Aussagen generiert, sodass sich insgesamt 56 Aussagen ergaben.

Vorbereitung der Argumente

Die Forscher sammelten von Menschen verfasste und KI-generierte Argumente zu jedem der 28 Themen, um zu verstehen, wie die beiden Gruppen von Argumenten hinsichtlich ihrer Überzeugungskraft bewertet wurden.

Um von Menschen verfasste Argumente zu erstellen, baten die Forscher drei zufällig ausgewählte Teilnehmer, ein Argument mit etwa 250 Wörtern zu verfassen. Abgesehen von der Festlegung der Länge und Position der Aussage (dafür oder dagegen) machten die Forscher keine Einschränkungen hinsichtlich ihres Stils oder ihrer Herangehensweise. Um hochwertige und überzeugende Argumente zu fördern, wurde den Teilnehmern mitgeteilt, dass ihre Argumente von anderen Benutzern bewertet würden und der Autor der überzeugendsten Argumente eine zusätzliche Belohnung erhalten würde. An der Studie nahmen 3.832 Teilnehmer teil.

KI-Argumentgenerierung

Was die von der KI generierten Argumente betrifft, schlugen sie vor, Argumente mit etwa 250 Wörtern zu denselben Aussagen zu konstruieren, die auch den menschlichen Teilnehmern gegeben wurden. Um ein breiteres Spektrum überzeugender Schreibstile und -techniken abzudecken und der Tatsache Rechnung zu tragen, dass unterschiedliche Sprachmuster unter unterschiedlichen Aufforderungsbedingungen überzeugender sein können, wurden vier verschiedene Arten von Aufforderungen zur Argumentgenerierung verwendet:

{ „osnovaUnitId“: 0, „url“: „https://booster.osnova.io/a/relevant?site=vc&v=2“, „place“: „post_inside“, „site“: „vc“, „ Einstellungen“: {„Modi“:{„externalLink“:{„buttonLabels“:[„\u0423\u0437\u043d\u0430\u0442\u044c“,“\u0427\u0438\u0442\u0430\u0442\u044c“,“\u041d\u0430\u0447\u0430\u0442\u044c“,“\u0417\u0430\u043a\u0430\u0437\u0430\u0442\u044c“,“\u041a\u0443\u043f\u0438\u0442\u044c“,“\u041f\u043e\u043b\u0443\u0447\u0438\u0442\u044c“,“\u0421\u043a\u0430\u0447\u0430\u0442\u044c“,“\u041f\u0435\u0440\u0435\u0439\u0442\u0438″]}},“deviceList“:{„desktop“:\u0414\u0435\u0441\u043a\u0442\u043e\u043f,“smartphone“:\u0421\u043c\u0430\u0440\u0442\u0444\u043e\u043d \u044b“,“tablet“:“\u041f\u043b\u0430\u043d\u0448\u0435\u0442\u044b“}} }

– überzeugend,

– trügerisch (Freiheit, Fakten zu erfinden, „zuverlässige“ Quellen, um das Argument so überzeugend wie möglich zu machen).

Anschließend wurde für jede der vier Argumentgruppen die Bewertung der Meinungsveränderungen zur Beurteilung der Überzeugungskraft berechnet.

Überzeugung

1) Die Befragten werden gebeten, den Grad ihrer Zustimmung zur ursprünglichen Aussage zu bewerten.

2) Präsentieren Sie Argumente, die von Menschen und KI geschaffen wurden und auf einen Positionswechsel abzielen.

3) Anschließend werden sie gebeten, den Grad ihrer Übereinstimmung mit der Originalarbeit noch einmal zu bewerten.

Jedes Aussage-Argument-Paar wurde von drei Personen bewertet, und die Forscher berechneten für jedes Argument einen endgültigen Überzeugungskraftwert. Als nächstes haben wir die Überzeugungskraft aller Argumente (und Aufforderungen) zusammengefasst, die von Menschen geschrieben und von der KI generiert wurden, um das Bewusstsein der Menschen zu verändern.

Die Studie umfasste auch eine Kontrollmessung. Die Meinungen der Menschen können sich aufgrund externer Faktoren (Antwortverzerrung, Unaufmerksamkeit oder zufälliges Rauschen) und nicht aufgrund der Stärke der Argumente ändern. Zu diesem Zweck bewerteten die Forscher die vom Claude-2-Modell generierten Argumente, die überzeugende Tatsachenaussagen widerlegten (z. B. „Der Gefrierpunkt von Wasser bei normalem Atmosphärendruck beträgt 0 °C oder 32 °F“), und maßen, wie sich die Meinungen der Menschen danach änderten sie zu lesen.

Wie erwartet liegt der Überzeugungskraftwert der Kontrollgruppe nahe bei Null: Menschen ändern ihre Meinung (zum Glück) nicht über unwidersprochene Sachaussagen.

Schlussfolgerungen für die Zukunft

Die Beurteilung der Überzeugungskraft von Sprachmodellen ist schwierig. Glaube ist ein Phänomen, das von vielen subjektiven Faktoren geprägt ist und durch die Grenzen eines experimentellen Designs noch komplizierter wird. Die Studie macht einen Schritt in Richtung Bewertung der Überzeugungskraft von Sprachmodellen, weist jedoch noch viele Einschränkungen auf:

In der realen Welt werden die Perspektiven der Menschen durch ihre gesamten Lebenserfahrungen, sozialen Kreise, zuverlässigen Informationsquellen und mehr geprägt. Das Lesen einzelner schriftlicher Argumente in experimentellen Umgebungen spiegelt möglicherweise nicht genau die Prozesse wider, die dazu führen, dass Menschen ihre Meinung ändern. Darüber hinaus können Forschungsteilnehmer ihre Antworten bewusst oder unbewusst an die Erwartungen anpassen. Einige Teilnehmer fühlten sich möglicherweise unter Druck gesetzt, nach der Lektüre der Argumente größere Meinungsänderungen zu melden, um überzeugend zu wirken oder den Anweisungen ordnungsgemäß zu folgen.

Überzeugungskraft ist subjektiv

Die Beurteilung der Überzeugungskraft eines Arguments ist eine grundsätzlich subjektive Angelegenheit. Was der eine überzeugend findet, kann der andere ablehnen. Überzeugungskraft hängt von vielen individuellen Faktoren ab, wie z. B. früheren Überzeugungen, Werten, Persönlichkeitsmerkmalen, kognitiven Stilen und Hintergrund. Messungen der Überzeugungskraft, die auf selbstberichteten Einstellungsänderungen basieren, spiegeln möglicherweise nicht vollständig die unterschiedliche Art und Weise wider, wie Menschen auf Informationen reagieren.

Siehe auch  ChatGPT – Halluzinierende Rechtsprechung, Anstiftung zu Anwaltsanktionen und Diebstahl von Privilegien | Bond Schoeneck & King PLLC

Das Versuchsdesign hatte eine Reihe von Einschränkungen:

1) Es wurden nur isolierte Argumente untersucht, kein erweiterter Diskurs. Es ist wichtig zu erkennen, dass in vielen anderen Kontexten Überzeugungsarbeit durch einen iterativen Prozess kontinuierlicher Diskussion, Befragung und Berücksichtigung von Gegenargumenten im Laufe der Zeit erfolgt.

2) „Menschlich„Die Argumente wurden nicht von Experten verfasst. Echte Experten können Argumente entwickeln, die sowohl KI als auch menschliche Autoren übertreffen. Dies wird jedoch die Erkenntnisse zur Skalierung in verschiedenen KI-Modellen nicht beeinträchtigen.

3) Eine Zusammenarbeit zwischen Menschen und KI war nicht vorgesehen. Die Situation Mensch + KI, bei der ein Mensch ein von der KI generiertes Argument bearbeitet, um es möglicherweise noch überzeugender zu machen, wurde nicht untersucht. Dieser kollaborative Ansatz hat das Potenzial, überzeugendere Argumente hervorzubringen als diejenigen, die von Menschen oder KI allein kommen.

4) Der kulturelle und sprachliche Kontext wurde nicht berücksichtigt. Die Studie konzentriert sich auf englischsprachige Artikel und englischsprachige Personen sowie auf Themen, die vor allem im kulturellen Kontext der Vereinigten Staaten relevant sind. Es gibt keine Hinweise darauf, ob sich die Ergebnisse auf andere kulturelle oder sprachliche Kontexte außerhalb der Vereinigten Staaten übertragen lassen. Weitere Untersuchungen sind erforderlich, um die breitere Anwendbarkeit der Ergebnisse festzustellen.

5) Snap-Effekt. Experimentelle Designs können unter Ankereffekten leiden, bei denen es unwahrscheinlich ist, dass Menschen stark von ihren ursprünglichen Schätzungen abweichen, nachdem ihnen Argumente vorgelegt wurden. Dies könnte möglicherweise die Überzeugungswirkung der Studie einschränken.

Beurteilung von Meinungsänderungen. Die Mehrheit der Studienteilnehmer zeigte entweder keine Änderung der Unterstützung (gelb) oder stieg um 1 Punkt auf der Bewertungsskala (grün). Quelle

6) Empfindlichkeit gegenüber Hinweisen. Verschiedene Hinweise funktionieren unterschiedlich. Rhetorische und emotionale Stile funktionierten nicht so effektiv wie logisches Denken und die Bereitstellung von Beweisen (auch wenn diese Beweise unzuverlässig waren). Interessanterweise war die Täuschungsstrategie, die es dem Modell ermöglichte, Informationen zu fabrizieren, insgesamt die überzeugendste.

Die Überzeugungskraft verschiedener Arten von Argumenten: Experte (gelb), überzeugend (grün), logisch (hellgrün), trügerisch (rot). Der grüne horizontale Balken stellt die durchschnittliche Überzeugungskraft der Argumente dar. Quelle

7) Langfristige Auswirkungen von Argumenten wurden nicht gemessen. Am Ende der Analyse wird gemessen, wie überzeugend Menschen verschiedene Argumente fanden. Wir wissen jedoch nicht, ob oder wie sich die Handlungen der Menschen aufgrund der Argumentation verändert haben. Obwohl es unwahrscheinlich ist, dass die Auseinandersetzung mit einem einmaligen Argument (zu einem Thema mit geringer Polarisierung) dazu führt, dass Menschen anders handeln, gibt es nach Abschluss des Experiments keine Möglichkeit, die Denkprozesse oder Handlungen der Menschen zu sehen.

Bitte unterstützt mich, gebt mir ein Like!

Wie LLMs ihre eigenen Halluzinationen bekämpfen können

Links: Aufschlüsselung nach 38 Themen (Naturwissenschaften, Geisteswissenschaften, Sonstiges, Sozialwissenschaften). Rechts: Vergleich mit anderen sachlichen Benchmarks. Das LongFact-Modell deckt eine Vielzahl von Themen ab und arbeitet mit langen sachlichen Antworten. Quelle

ChatGPT gibt bessere Antworten für Geld? Ist das so (und warum)

Benutzer X (ex-Twitter) herausgefunden, dass, wenn Sie GPT-4 für eine Antwort von 20 $ versprechen, die Antwort um 6 % besser wird, und wenn Sie 200 $ anbieten, dann um 11 %. Was bedeutet das und was bedeutet es für uns, normale Verbraucher von Produkten der künstlichen Intelligenz?

Testergebnisse von Benutzer X: Länge der ChatGPT-Antworten mit und ohne Belohnungsversprechen

Bill Gates und Sam Alman über die Zukunft von ChatGPT und künstlicher Intelligenz

Vielleicht zwei der einflussreichsten Menschen in der Welt der KI diskutierten kürzlich im Podcast von Bill Gates über die drängendsten Fragen: Was kann man von KI erwarten? Was passiert mit der Sicherheit? In welchen Lebensbereichen wird die Wirkung von KI am größten sein und wann wird die neue Technologie für alle verfügbar sein?

5/5 - (152 votes)
Anzeige
Nina Weber
Nina Weber is a renowned Journalist, who worked for many German Newspaper's Tech coloumns like Die Zukunft, Handelsblatt. She is a contributing Journalist for futuriq.de. She works as a editor also as a fact checker for futuriq.de. Her Bachelor degree in Humanties with Major in Digital Anthropology gave her a solid background for journalism. Know more about her here.

Kommentieren Sie den Artikel

Bitte geben Sie Ihren Kommentar ein!
Bitte geben Sie hier Ihren Namen ein