Sie finden meinen Aufsatz mit Will Hickman“Vertrauen die Leute Menschen mehr als chatgpt?“ im Journal of Behavioral and Experimental Economics (JBEE) online, und Sie können es vor dem 30. Juli 2024 kostenlos herunterladen (vorübergehend nicht zugänglich*).

*Einen früheren, nicht geschützten Entwurf finden Sie bei SSRN.

Haben wir herausgefunden, dass die Leute den Menschen mehr vertrauen als den Bots? Das ist kompliziert. Oder, wie wir in unserem Artikel sagen: Es ist kontextabhängig.

Wenn die Teilnehmer Beschriftungen sahen, die sie über die Urheberschaft informierten (z. B. „Der folgende Absatz wurde von einem Menschen geschrieben.“), war die Wahrscheinlichkeit höher, dass die Leser einen Faktencheck kauften (der orangefarbene Balken).

Informierte Probanden vertrauten menschlichen Autoren nicht mehr als ChatGPT (in diesem Sinne konnten wir die Nullhypothese über das Vertrauen in Menschen also nicht ablehnen). Allerdings vertrauten informierte Probanden ihrer eigenen Einschätzung der sachlichen Richtigkeit des Absatzes im Experiment deutlich weniger als Leser, die keine Autorenkennzeichnungen sahen.

Einige Regelungen würden das Internet mehr zu unserer informierten Behandlung machen. Ich kann ein Mandat erteilen dass ChatGPT die Verpflichtung einhält: „Offenlegung, dass der Inhalt durch KI generiert wurde.“ Unsere Ergebnisse deuten darauf hin, dass diese Richtlinie das Verhalten beeinflussen würde, da Menschen anders lesen, wenn sie gezwungen sind, im Voraus darüber nachzudenken, wie der Text generiert wurde.

Die Inspiration für diesen Artikel über Vertrauen begann mit der Beobachtung der schwerwiegenden Fehler, die durch LLMS verursacht werden können (z. B. falsche Zitate erfinden). Unsere Hypothese war, dass Leser aufgrund dieser bekannten Fehler von ChatGPT menschlichen Autoren mehr vertrauen. Diese Grafik zeigt, dass die Teilnehmer Aussagen vertrauen (linker blauer Balken = „Hohes Vertrauen“), von denen *angenommen* wird, dass sie von einem Menschen geschrieben wurden (in diesem Sinne hat unsere Haupthypothese also eine gewisse Bestätigung).

Umgekehrt sind sich die Leser bei der Informed-Variante gleichermaßen unsicher, ob ein Text von Menschen oder Bots geschrieben wurde. Informierte Leser sind misstrauisch und kaufen deshalb einen Faktencheck. „High Trust“ (der blaue Balken) ist die Option, die den erwarteten Wert maximiert, wenn der Leser glaubt, dass der Autor keine sachlichen Fehler gemacht hat.

Zusammenfassend können wir also feststellen, dass menschliche Leser durch Framing misstrauischer gemacht werden können. In diesem Fall halten wir es für eine gute Sache, vorsichtig zu sein und einen Faktencheck durchzuführen. Der Grund dafür ist, dass die neuen Texte der Gesellschaft zunehmend von LLMs geschrieben werden. Beweise für diese Tatsache wurden von Andrew Gray in einem Arbeitspapier von 2023 vorgelegt: „ChatGPT-„Kontamination“: Schätzung der Verbreitung von LLMs in der wissenschaftlichen Literatur“ Beachten Sie, dass es sich dabei um die wissenschaftliche Literatur handelt, nicht nur um die Sportblogs oder die Harry Potter-Taylor Swift-Crossover-Fanfictions.

Was ist mit den Ärzten? Welche Autorität hat die Entscheidung, ob Sie operiert werden oder nicht? Siehe: „Eintauchen in PubMed-Datensätze: Einige Begriffe im medizinischen Schreiben haben sich nach der Einführung von ChatGPT drastisch geändert“

„Delve“ war ein kurzer Twitter(X)-Witz, und Will Hickman hat eine schöne Grafik erstellt, die zeigt, wie sich „Delve“ in die Wirtschaftsliteratur einschlich, sobald LLM-Tools verfügbar wurden:

https://x.com/williamhickman_/status/1774097806224920852

Ich denke, die meisten Leute würden gerne wissen, ob ein medizinischer Zeitschriftenartikel hauptsächlich (oder vollständig) von einem LLM geschrieben wurde. Unser Experiment zeigt, dass Menschen anders auf einen Text reagieren, wenn dieser nach Autorschaft gekennzeichnet ist.

Worüber ich schon seit einiger Zeit einen eigenen Beitrag schreiben wollte, aber keine Zeit hatte: Das Problem der Welt ist nicht der Mangel an guten Autoren. Es ist der Mangel an guten Lesern. Verwandtes Thema: Akademische Ökonomen sind überlastet

Und schließlich wird auch dieser Aufsatz, wie mein anderer Aufsatz über ChatGPT, ein Produkt seiner Zeit sein, nämlich des Jahres 2023. Ich bin gespannt, wie sich die Ergebnisse eines solchen Experiments im Jahr 2033 entwickeln werden.

Einer meiner potenziellen Co-Autoren hat mir dieses Jahr gesagt, dass er große Bedenken hat, eine veraltete LLM-Arbeit zu schreiben. Er befürchtet, dass sich die Tools so schnell weiterentwickeln werden, dass die im Jahr 2024 erzielten Erkenntnisse überholt sind. Ich denke, wir sollten die Arbeiten trotzdem schreiben. Sie werden als nützliche Benchmarks dienen, wenn sich die Technologie tatsächlich schnell weiterentwickelt.