Laut einer aktuellen Studie, die in veröffentlicht wurde, konnte Version 3.5 von chatgpt in 83 von 100 pädiatrischen Fällen keine korrekte Diagnose formulieren JAMA Pädiatrie.
Nach Angaben der Autoren der Studie waren 72 der falschen Diagnosen völlig falsch und 11 der falschen Diagnosen waren klinisch relevant, aber zu weit gefasst, um als korrekte Diagnose angesehen zu werden.
Ein Vorbehalt dieser Studie war, dass das verwendete große Sprachmodell eine ältere Version von ChatGPT darstellte. Was bedeuten diese Ergebnisse dennoch für die Gesundheitsversorgung und den Einsatz von KI?
Die oben genannte Studie unterstreicht die Bedeutung der ärztlichen Aufsicht bei der Implementierung von KI-Tools und großen Sprachmodellen in der klinischen Medizin. Die Entwicklung von KI-Tools steht erst am Anfang und es sind noch viel mehr Forschung und Untersuchungen erforderlich, bevor sie im Gesundheitswesen zum Mainstream werden. Ärzte sind und sollten immer die obersten Schiedsrichter und Verwalter der Patientenversorgung sein, insbesondere wenn es um Leben oder Tod eines Menschen geht, wie es bei der Patientenversorgung der Fall ist.
Die medizinische Interpretation ist oft differenziert und erfordert ein kontextbezogenes Verständnis verschiedener Faktoren. Wenn Radiologen beispielsweise einen CT-Scan der Beine interpretieren, können sie möglicherweise auf ein subkutanes Ödem in der Wade stoßen. Dieser Befund ist unspezifisch und kann im Rahmen vieler Diagnosen beobachtet werden; einschließlich Cellulitis, Prellung aufgrund eines Traumas und Gefäßerkrankungen aufgrund einer Herzinsuffizienz. Um die endgültige Diagnose zu stellen, stützen sich Ärzte auf integrierte Informationen aus der Anamnese des Patienten. Wenn der Patient im obigen Szenario Fieber hätte, wäre die wahrscheinliche Diagnose Zellulitis. Wenn der Patient jedoch einen Autounfall erlitten hätte, wäre das subkutane Ödem wahrscheinlich auf eine Prellung zurückzuführen.
Genau diese Kontextinformationen muss die KI noch entwickeln, wie die in JAMA Pediatrics veröffentlichte Studie zeigt. Die richtige Diagnose in pädiatrischen Fällen erfordert nicht nur die Mustererkennung der Symptome, sondern auch die Berücksichtigung des Alters des Patienten und zusätzliche kontextbezogene Patienteninformationen. KI zeichnet sich sicherlich durch die Mustererkennung aus, hat aber wahrscheinlich Probleme mit komplexeren Gesundheitsszenarien, bei denen sich Symptome mit verschiedenen Diagnosen überschneiden könnten. Diese Einschränkung ist genau der Grund, warum Ärzte Entscheidungen und Diagnosen regulieren und überwachen müssen, die von großen Sprachmodellen getroffen werden.
Sollte die Gesundheitsbranche also auf KI als Mittel zur Verbesserung der Patientenversorgung verzichten?
KI bietet enorme Vorteile und die oben genannte Studie sollte ein Anstoß für Forscher und Wissenschaftler sein, weiterhin große Sprachmodelle zu entwickeln, um die Leistung der KI zu verbessern. Diese Tools haben das Potenzial, die Medizin zu verändern, indem sie Burnout reduzieren, mit Patienten kommunizieren, Rezepte transkribieren und Patienten aus der Ferne behandeln.
KI-Tools und Chatbots erfordern zum Trainieren Datensätze, und komplexere Datensätze sollten verwendet werden, um die Leistung von Tools wie ChatGPT zu verbessern. Je umfassender diese Datensätze sind und je weniger Verzerrungen sie aufweisen, desto besser ist ihre Leistung. Voreingenommenheit bleibt eine allgemein anerkannte Einschränkung von KI-Tools, die bei der Bewertung und Verbesserung von KI-Software immer berücksichtigt werden sollte.
Die Ergebnisse der Studie in JAMA Pediatrics sollten als sanfte Erinnerung daran dienen, dass wir im Hinblick auf die KI-Revolution in der Medizin noch nicht dort sind, wo wir sein müssen. KI ist ein Werkzeug, keine Lösung für Herausforderungen im Gesundheitswesen und sollte immer Hand in Hand mit der Expertise von Ärzten eingesetzt werden.
