ChatGPT, ein hochentwickelter Chatbot, der auf der Technologie der künstlichen Intelligenz (KI) basiert, wird zunehmend im Gesundheitswesen eingesetzt, unter anderem bei der Unterstützung von Patienten bei der Selbstdiagnose, bevor sie medizinische Hilfe suchen.

Obwohl sie auf den ersten Blick sehr nützlich erscheint, kann KI dem Patienten mehr schaden als nützen, wenn sie in ihrer Diagnose und ihren Empfehlungen nicht korrekt ist. Ein Forschungsteam aus Japan und den USA hat kürzlich herausgefunden, dass die Präzision der Diagnosen von ChatGPT und der Grad, in dem es medizinische Beratung empfiehlt, weiterentwickelt werden müssen.

In einer im September veröffentlichten Studie bewertete das multiinstitutionelle Forschungsteam unter der Leitung der Tokyo Medical and Dental University (TMDU) die Genauigkeit (Prozentsatz der richtigen Antworten) und Präzision der Reaktion von ChatGPT auf fünf häufige orthopädische Erkrankungen (einschließlich Karpaltunnelsyndrom und zervikale Myelopathie). und Hüftarthrose), da orthopädische Beschwerden in der klinischen Praxis weit verbreitet sind und bis zu 26 % der Gründe für die Inanspruchnahme medizinischer Behandlung ausmachen.

Während eines fünftägigen Kurses übermittelte jeder der Studienforscher dieselben Fragen an ChatGPT. Die Reproduzierbarkeit zwischen Tagen und Forschern wurde ebenfalls berechnet und die Stärke der Empfehlung an den Patienten, einen Arzt aufzusuchen, wurde bewertet.

„Wir haben festgestellt, dass die Genauigkeit und Reproduzierbarkeit der ChatGPT-Diagnose über die fünf Erkrankungen hinweg nicht konsistent sind. Die ChatGPT-Diagnose war beim Karpaltunnelsyndrom zu 100 % korrekt, bei der zervikalen Myelopathie jedoch nur zu 4 %, sagt Hauptautor Tomoyuki Kuroiwa. Darüber hinaus schwankte die Reproduzierbarkeit zwischen Tagen und Forschern zwischen den fünf Bedingungen von „schlecht“ bis „fast perfekt“, obwohl die Forscher jedes Mal die gleichen Fragen stellten.

ChatGPT war auch bei der Empfehlung einer ärztlichen Beratung uneinheitlich. Obwohl fast 80 % der ChatGPT-Antworten eine ärztliche Beratung empfahlen, enthielten nur 12,8 % eine starke Empfehlung gemäß den Studienstandards. „Ohne direkte Sprache ist es möglich, dass der Patient nach der Selbstdiagnose verwirrt ist oder, schlimmer noch, durch eine Fehldiagnose Schaden erleidet“, sagt Kuroiwa.

Dies ist die erste Studie, die die Reproduzierbarkeit und den Grad der ärztlichen Beratungsempfehlung der Fähigkeit von ChatGPT zur Selbstdiagnose bewertet. „In seiner aktuellen Form ist ChatGPT sowohl hinsichtlich der Genauigkeit als auch der Präzision inkonsistent, um Patienten bei der Diagnose ihrer Krankheit zu helfen“, erklärt der leitende Autor Koji Fujita. „Angesichts des Fehlerrisikos und des potenziellen Schadens durch Fehldiagnosen ist es wichtig, dass jedes Diagnosetool eine klare Sprache enthält, die Patienten darauf hinweist, zur Bestätigung einer Krankheit ärztliche Expertenmeinungen einzuholen.“

Die Forscher weisen auch auf einige Einschränkungen der Studie hin, einschließlich der Verwendung von vom Forschungsteam simulierten Fragen und nicht von vom Patienten abgeleiteten Fragen; Konzentration auf nur fünf orthopädische Erkrankungen; und nur ChatGPT verwenden. Während es noch zu früh ist, KI-Intelligenz für die Selbstdiagnose zu nutzen, könnte das Training von ChatGPT auf relevante Krankheiten dies ändern. Zukünftige Studien können dazu beitragen, die Rolle der KI als Diagnoseinstrument zu beleuchten.

Die Ergebnisse sind veröffentlicht im Zeitschrift für medizinische Internetforschung.