NEW YORK – Glauben Sie, dass Sie schlau genug sind, den Unterschied zwischen medizinischem Rat eines echten menschlichen Arztes und Vorschlägen künstlicher Intelligenz zu erkennen? Neue Forschungsergebnisse zeigen, dass es weitaus schwieriger sein könnte, als Sie vielleicht denken.

Die Studie der Tandon School of Engineering und der Grossman School of Medicine der New York University kommt zu dem Schluss, dass Menschen möglicherweise Schwierigkeiten haben, zwischen medizinischen Ratschlägen von Chatbots und menschlichen Gesundheitsdienstleistern zu unterscheiden. Die Ergebnisse deuten darauf hin, dass Chatbots wie chatgpt wertvolle Hilfsmittel sein könnten, um Gesundheitsdienstleister bei der Kommunikation mit Patienten zu unterstützen.

ChatGPT, Teil der Generative Pre-trained Transformer (GPT)-Reihe, ist darauf trainiert, anhand großer Mengen an Internetdaten das wahrscheinlichste nächste Wort in einer Konversation vorherzusagen. Es ist optimiert, um auf Benutzeranfragen zu reagieren und aus menschlichem Feedback zu lernen. Es ist jedoch nicht ohne Einschränkungen. ChatGPT kann wie andere große Sprachmodelle (LLMs) manchmal voreingenommene oder ungenaue Informationen generieren und ist nicht in der Lage, echte Schlussfolgerungen zu ziehen.

An der Untersuchung nahmen 392 Teilnehmer ab 18 Jahren teil, denen zehn Patientenfragen vorgelegt wurden. Die Hälfte der Antworten auf diese Fragen wurde von Menschen generiert, während die andere Hälfte von ChatGPT stammte. Anschließend mussten die Teilnehmer den Ursprung jeder Antwort identifizieren und ihr Vertrauen in die Antworten des Chatbots auf einer Skala von „völlig unglaubwürdig“ bis „völlig vertrauenswürdig“ bewerten.

Das Ergebnis? Die Teilnehmer konnten von Chatbots generierte Antworten nur in 65,5 Prozent der Fälle korrekt identifizieren, eine Zahl, die nahezu identisch mit der Genauigkeit von 65,1 Prozent bei der Identifizierung von von Menschen generierten Antworten ist. Diese Konsistenz wurde in verschiedenen demografischen Kategorien beobachtet.

Auf KI vertrauen wir … manchmal

Der Grad des Vertrauens in Chatbot-Antworten variierte jedoch je nach Art der Anfrage. Mit einem durchschnittlichen Vertrauenswert von 3,94 zeigten die Teilnehmer das größte Vertrauen in Chatbots bei der Abwicklung logistischer Angelegenheiten, etwa bei der Terminvereinbarung oder der Beantwortung von Versicherungsfragen. Fragen zur Vorsorge wie Impfungen oder Krebsvorsorgeuntersuchungen folgten mit 3,52. Allerdings nahm das Vertrauen in die Diagnose- und Behandlungsberatung ab und erreichte Werte von 2,90 bzw. 2,89.

Die Ergebnisse der Studie unterstreichen das Potenzial von Chatbots bei der Unterstützung der Kommunikation zwischen Patienten und Anbietern, insbesondere in Bereichen wie Verwaltungsaufgaben oder der Behandlung chronischer Krankheiten. Allerdings mahnen die Autoren zur Vorsicht, wenn Chatbots eher klinische Rollen übernehmen.

„Anbieter sollten bei der Kuratierung von Chatbot-generierten Ratschlägen aufgrund der Einschränkungen und potenziellen Verzerrungen von KI-Modellen vorsichtig bleiben und kritisches Urteilsvermögen walten lassen“, sagten Forscher in einem Stellungnahme.

Auswirkungen auf das Gesundheitswesen

Die Integration von KI in das Gesundheitswesen ist keine ferne Möglichkeit mehr, sondern eine aufkeimende Realität. Diese Studie bietet einen Einblick in die voraussichtliche Zusammenarbeit von Plattformen für künstliche Intelligenz mit medizinischen Kliniken. Es zeigt uns auch, welche Verbesserungen notwendig sind, damit neue Technologien zu wirksamen Hilfsmitteln und Werkzeugen für Ärzte und Patienten werden. Diese beinhalten:

1. Reduzierung des Anbieter-Burnouts: Einer der unmittelbarsten Vorteile der Integration von KI wie ChatGPT im Gesundheitswesen ist die potenzielle Verringerung des Burnouts bei Anbietern. Durch die Automatisierung der Beantwortung routinemäßiger Patientenanfragen können sich Gesundheitsdienstleister auf komplexere und dringendere Fälle konzentrieren.
2. Verbesserung der Kommunikation zwischen Patient und Anbieter: KI-Chatbots könnten schnellere Antworten auf Patientenanfragen ermöglichen und so möglicherweise die Zufriedenheit und das Engagement der Patienten verbessern. Dies ist besonders relevant im digitalen Zeitalter, in dem Patienten eine schnelle und zugängliche Kommunikation mit ihren Gesundheitsdienstleistern erwarten.
3. Navigieren durch die Komplexität: Die Studie hat auch einen entscheidenden Aspekt hervorgehoben: das unterschiedliche Maß an Vertrauen je nach Komplexität des Gesundheitsproblems. Dies deutet darauf hin, dass KI zwar ein wertvolles Werkzeug im Gesundheitswesen sein kann, aber keine Einheitslösung ist. Bei komplexeren medizinischen Fragestellungen bleibt die menschliche Note unersetzlich.
4. Ethische und rechtliche Überlegungen: Der Einsatz von KI im Gesundheitswesen wirft ethische und rechtliche Fragen auf. Themen wie Datenschutz, die Genauigkeit von KI-generierten Ratschlägen und die Haftung bei fehlerhaften Ratschlägen erfordern gründliche Überlegungen und klare Richtlinien.
5. Zukunft der KI im Gesundheitswesen: Die Studie öffnet Türen für zukünftige Forschung und Entwicklung. Es deutet darauf hin, dass KI-Chatbots weiterentwickelt werden könnten, um komplexere medizinische Fragen mit höherer Genauigkeit und Zuverlässigkeit zu bearbeiten. Darüber hinaus könnten laufende Fortschritte in der KI-Technologie zu personalisierteren und differenzierteren Patienteninteraktionen führen.

Die Studie wurde in der Fachzeitschrift veröffentlicht JMIR Medizinische Ausbildung.