Mein neues Arbeitspapier mit Will Hickman ist auf SSRN verfügbar: Vertrauen Menschen Menschen mehr als chatgpt?

Wir untersuchen, ob Menschen für einen Faktencheck zum KI-Schreiben bezahlen. ChatGPT kann sehr nützlich sein, aber menschliche Leser sollten nicht jeder Tatsache vertrauen, die es berichtet. Im gestrigen Beitrag ging es darum, dass ChatGPT falsche Dinge schreibt, die echt aussehen.

Der Grund dafür, dass Teilnehmer unseres Experiments möglicherweise für einen Faktencheck bezahlen, besteht darin, dass sie Bonuszahlungen erhalten, die davon abhängen, ob sie Fehler in einem Absatz richtig identifizieren. Wenn Teilnehmer der Meinung sind, dass der Absatz keine Fehler enthält, sollten sie keinen Faktencheck bezahlen. Wenn sie jedoch Zweifel haben, ist es auf jeden Fall sinnvoll, für einen Faktencheck zu zahlen und einen kleineren Bonus zu erhalten.

Abstrakt: Wir untersuchen, ob Menschen der Genauigkeit von Aussagen vertrauen, die von großen Sprachmodellen (LLMs) erstellt werden, im Vergleich zu denen, die von Menschen geschrieben wurden. Während LLMs beeindruckende Fähigkeiten bei der Texterstellung unter Beweis gestellt haben, wurden Bedenken hinsichtlich der Möglichkeit von Fehlinformationen, Voreingenommenheit oder falschen Antworten geäußert. In diesem Experiment bewerten die Teilnehmer die Genauigkeit von Aussagen unter verschiedenen Informationsbedingungen. Teilnehmer, die nicht ausdrücklich über die Urheberschaft informiert sind, neigen eher dazu, Aussagen zu vertrauen, die ihrer Meinung nach von Menschen geschrieben wurden, als denen, die ChatGPT zugeschrieben werden. Wenn die Teilnehmer jedoch über die Autorenschaft informiert werden, zeigen sie gleichermaßen Skepsis gegenüber menschlichen und KI-Autoren. Es kommt zu einer Zunahme der aufwendigen Faktenprüfung durch explizit informierte Teilnehmer. Diese Ergebnisse legen nahe, dass das Vertrauen in KI-generierte Inhalte kontextabhängig ist.

Unsere ursprüngliche Hypothese war, dass die Menschen menschlichen Schriftstellern mehr Vertrauen entgegenbringen würden. Es stellte sich heraus, dass das nur teilweise stimmte. Teilnehmer, die nicht ausdrücklich über die Urheberschaft informiert sind, neigen eher dazu, Aussagen zu vertrauen, die ihrer Meinung nach von Menschen geschrieben wurden, als denen, die ChatGPT zugeschrieben werden.

Wir präsentierten den Teilnehmern Informationen auf unterschiedliche Weise. Manchmal erzählten wir ihnen explizit von der Urheberschaft (informierte Behandlung) und manchmal baten wir sie, Vermutungen über die Urheberschaft anzustellen (uninformierte Behandlung).

Diese Grafik (Abbildung 5 in unserem Artikel) zeigt, dass die Gesamtrate der Faktenprüfung zunahm, wenn den Probanden explizitere Informationen gegeben wurden. Etwas an der Aussage, dass ein Absatz von einem Menschen geschrieben wurde, könnte bei unseren Teilnehmern Misstrauen geweckt haben. (Die heutigen Kinder würden sagen, dass es „sus“ ist.) Sie hatten weniger Vertrauen in ihre eigene Fähigkeit, die Genauigkeit zu bewerten, und waren daher eher bereit, für einen Faktencheck zu zahlen. Dieser Effekt ist unabhängig davon, ob die Teilnehmer Menschen mehr vertrauen als der KI.

Im Zusammenhang mit unserer bisherigen Arbeit zu ChatGPT-Halluzinationen halten wir die Überprüfung von Fakten oft für eine gute Sache. Eine politische Implikation ist also, dass bestimmte Arten von Etiketten die Leser dazu veranlassen können, kritisch zu denken. Zum Beispiel Twitter-Labels automatisierte Konten damit die Leser wissen, wann Inhalte von einem Bot ausgewählt oder erstellt wurden.

Unser Arbeitspapier liegt derzeit voll im Trend SSRN-Top-Ten-Listen wie diese.

Zitiervorschlag: Buchanan, Joy und Hickman, William, Vertrauen Menschen Menschen mehr als ChatGPT? (16. November 2023). GMU Working Paper in Economics Nr. 23-38, erhältlich bei SSRN: https://ssrn.com/abstract=4635674