Zusammenfassung: Eine neue Studie legt nahe, dass die gesundheitsbezogenen Antworten von chatgpt kaum von denen menschlicher Gesundheitsdienstleister zu unterscheiden sind.

Die Studie, an der 392 Teilnehmer teilnahmen, präsentierte eine Mischung aus Antworten von ChatGPT und Menschen und stellte fest, dass die Teilnehmer den Chatbot und die Antworten des Anbieters mit ähnlicher Genauigkeit korrekt identifizierten.

Allerdings schwankte der Grad des Vertrauens je nach Komplexität der gesundheitsbezogenen Aufgabe, wobei Verwaltungsaufgaben und Prävention mehr Vertrauen entgegengebracht wurde als Diagnose- und Behandlungsberatung.

Wichtige Fakten:

1. In der Studie identifizierten die Teilnehmer in 65,5 % der Fälle die gesundheitsbezogenen Antworten von ChatGPT und in 65,1 % der Fälle die Antworten menschlicher Gesundheitsdienstleister korrekt.
2. Das Vertrauen in die Antworten von ChatGPT lag im Durchschnitt bei 3,4 von 5 Punkten, wobei das Vertrauen bei logistischen Fragen und der Vorsorge höher war, bei Diagnose- und Behandlungsratschlägen jedoch geringer.
3. Die Forscher schlagen vor, dass Chatbots die Kommunikation zwischen Patienten und Anbietern unterstützen könnten, insbesondere bei Verwaltungsaufgaben und der Behandlung chronischer Krankheiten.

Quelle: NYU

Eine neue Studie der Tandon School of Engineering und der Grossman School of Medicine der NYU Tandon School of Engineering und der Grossman School of Medicine zeigt, dass die Antworten von ChatGPT auf gesundheitsbezogene Fragen von Menschen kaum von denen von Menschen zu unterscheiden sind. Dies deutet darauf hin, dass Chatbots das Potenzial haben, wirksame Verbündete bei der Kommunikation von Gesundheitsdienstleistern mit Patienten zu sein.

Ein NYU-Forschungsteam präsentierte 392 Personen ab 18 Jahren zehn Patientenfragen und -antworten, wobei die Hälfte der Antworten von einem menschlichen Gesundheitsdienstleister und die andere Hälfte von ChatGPT generiert wurde.

Die Teilnehmer wurden gebeten, die Quelle jeder Antwort zu identifizieren und ihr Vertrauen in die ChatGPT-Antworten anhand einer 5-Punkte-Skala von völlig unglaubwürdig bis völlig vertrauenswürdig einzuschätzen.

Die Studie ergab, dass Menschen nur begrenzt in der Lage sind, zwischen Chatbot- und von Menschen generierten Antworten zu unterscheiden. Im Durchschnitt identifizierten die Teilnehmer die Chatbot-Antworten in 65,5 % der Fälle und die Antworten der Anbieter in 65,1 % der Fälle richtig, wobei die Spanne bei verschiedenen Fragen zwischen 49,0 % und 85,7 % lag. Die Ergebnisse blieben unabhängig von der demografischen Kategorie der Befragten konsistent.

Die Studie ergab, dass die Teilnehmer den Antworten von Chatbots insgesamt nur wenig vertrauten (Durchschnittswert 3,4), wobei das Vertrauen geringer ausfiel, wenn die gesundheitsbezogene Komplexität der betreffenden Aufgabe höher war.

Logistische Fragen (z. B. Terminvereinbarungen, Versicherungsfragen) hatten die höchste Vertrauensbewertung (durchschnittlicher Wert von 3,94), gefolgt von Fragen zur Vorsorge (z. B. Impfungen, Krebsvorsorgeuntersuchungen, durchschnittlicher Wert von 3,52). Diagnose- und Behandlungsberatung hatten die niedrigsten Vertrauenswerte (Werte 2,90 bzw. 2,89).

Laut den Forschern unterstreicht die Studie die Möglichkeit, dass Chatbots die Kommunikation zwischen Patienten und Anbietern unterstützen können, insbesondere im Zusammenhang mit Verwaltungsaufgaben und der Behandlung häufiger chronischer Krankheiten.

Es bedarf jedoch weiterer Forschung, um zu untersuchen, ob Chatbots eher klinische Rollen übernehmen. Aufgrund der Einschränkungen und potenziellen Verzerrungen von KI-Modellen sollten Anbieter bei der Kuratierung von Chatbot-generierten Ratschlägen vorsichtig sein und kritisches Urteilsvermögen walten lassen.

Über diese Neuigkeiten aus der ChatGPT-KI-Forschung

Autor: Oded Nov Quelle: NYU Kontakt: Oded Nov. – NYU Bild: Das Bild stammt von Neuroscience News

Ursprüngliche Forschung: Geschlossener Zugang. „Den medizinischen Rat von ChatGPT auf den (Turing-)Test stellen: Umfragestudie” von Oded Nov et al. JMIR Medizinische Ausbildung

Abstrakt

Den medizinischen Rat von ChatGPT auf den (Turing-)Test stellen: Umfragestudie

Hintergrund: Chatbots werden im Pilotversuch getestet, um Antworten auf Patientenfragen zu entwerfen, aber die Fähigkeit der Patienten, zwischen Anbieter- und Chatbot-Antworten zu unterscheiden, und das Vertrauen der Patienten in die Funktionen von Chatbots sind nicht ausreichend belegt.

Zielsetzung: Ziel dieser Studie war es, die Machbarkeit der Verwendung von ChatGPT (Chat Generative Pre-trained Transformer) oder einem ähnlichen, auf künstlicher Intelligenz basierenden Chatbot für die Patienten-Anbieter-Kommunikation zu bewerten.

Methoden: Im Januar 2023 wurde eine Umfragestudie durchgeführt. Aus der elektronischen Gesundheitsakte wurden zehn repräsentative, nichtadministrative Patienten-Anbieter-Interaktionen extrahiert. Die Fragen der Patienten wurden in ChatGPT eingegeben, mit der Bitte an den Chatbot, mit ungefähr der gleichen Wortanzahl wie die Antwort des menschlichen Anbieters zu antworten. In der Umfrage folgte auf jede Patientenfrage eine vom Anbieter oder ChatGPT generierte Antwort. Den Teilnehmern wurde mitgeteilt, dass fünf Antworten vom Anbieter und fünf vom Chatbot generiert wurden. Die Teilnehmer wurden gebeten – und erhielten einen finanziellen Anreiz –, die Antwortquelle korrekt zu identifizieren. Die Teilnehmer wurden außerdem anhand einer Likert-Skala von 1 bis 5 nach ihrem Vertrauen in die Funktionen von Chatbots in der Patienten-Anbieter-Kommunikation gefragt.

Ergebnisse: Eine für die USA repräsentative Stichprobe von 430 Studienteilnehmern ab 18 Jahren wurde auf Prolific, einer Crowdsourcing-Plattform für akademische Studien, rekrutiert. Insgesamt haben 426 Teilnehmer die vollständige Umfrage ausgefüllt. Nach dem Entfernen von Teilnehmern, die weniger als 3 Minuten mit der Umfrage verbracht hatten, blieben 392 Befragte übrig. Insgesamt waren 53,3 % (209/392) der analysierten Befragten Frauen, und das Durchschnittsalter betrug 47,1 (Bereich 18–91) Jahre. Die korrekte Klassifizierung der Antworten lag bei verschiedenen Fragen zwischen 49 % (192/392) und 85,7 % (336/392). Im Durchschnitt wurden Chatbot-Antworten in 65,5 % (1284/1960) der Fälle korrekt identifiziert, und menschliche Anbieter-Antworten wurden in 65,1 % (1276/1960) der Fälle korrekt identifiziert. Im Durchschnitt waren die Antworten auf das Vertrauen der Patienten in die Funktionen von Chatbots schwach positiv (durchschnittlicher Likert-Score 3,4 von 5), wobei das Vertrauen mit zunehmender gesundheitsbezogener Komplexität der Aufgabe in den Fragen geringer ausfiel.

Schlussfolgerungen: ChatGPT-Antworten auf Patientenfragen waren kaum von den Antworten der Anbieter zu unterscheiden. Laien scheinen dem Einsatz von Chatbots bei der Beantwortung risikoärmerer Gesundheitsfragen zu vertrauen. Es ist wichtig, die Interaktion zwischen Patient und Chatbot weiter zu untersuchen, da Chatbots im Gesundheitswesen von administrativen zu eher klinischen Rollen wechseln.