Künstliche Intelligenz (KI) wird in vielen Branchen, darunter auch im Gesundheitswesen, als transformative Kraft gepriesen. Insbesondere der Einsatz von KI-Technologien wie Chatbots für die medizinische Diagnose ist ein Thema von großem Interesse. Eine kürzlich am Cohen Children's Medical Center in New York durchgeführte Studie ergab jedoch, dass die diagnostischen Fähigkeiten von chatgpt, einem Large Language Model (LLM)-Chatbot, insbesondere in pädiatrischen Fällen erheblich mangelhaft waren.

Die Diagnosegenauigkeit von ChatGPT: Ein genauerer Blick

Die in der Fachzeitschrift JAMA Pediatrics veröffentlichte Studie bewertete die diagnostischen Fähigkeiten von ChatGPT anhand von 100 zufälligen pädiatrischen Fallstudien. Die Ergebnisse waren aufschlussreich: Die diagnostische Genauigkeit des Chatbots erwies sich als gering, mit nur 17 korrekten Ergebnissen von 100 möglichen. Noch besorgniserregender war die Tatsache, dass von diesen 17 elf als klinisch relevant eingestuft wurden, aber dennoch falsch waren.

Diese Ergebnisse stimmen mit denen anderer Forschungen überein. Beispielsweise ergab eine auf Arstechnica veröffentlichte Studie, dass ChatGPT-4, eine Nachfolgeversion, bei der Diagnose pädiatrischer medizinischer Fälle eine Genauigkeitsrate von nur 17 Prozent aufwies. Eine weitere auf Axios veröffentlichte Studie ergab, dass ChatGPT in mehr als 8 von 10 ausgewählten pädiatrischen Fällen eine falsche Diagnose stellte.

Die Herausforderungen der pädiatrischen Diagnostik

Die Forscher stellten fest, dass die pädiatrische Diagnostik besondere Herausforderungen mit sich bringt. Neben der Berücksichtigung der Symptome spielt auch das Alter eine entscheidende Rolle für eine genaue Diagnose. Die Studien deuten darauf hin, dass ChatGPT Schwierigkeiten hatte, diese kritischen Zusammenhänge zu erkennen, was zu einer hohen Fehlerquote führte.

Verbesserung der Diagnosefähigkeiten von KI-Modellen

Die Forscher kamen zu dem Schluss, dass ChatGPT noch nicht bereit ist, als eigenständiges Diagnosetool verwendet zu werden. Sie schlugen jedoch mögliche Möglichkeiten vor, die Leistung des Chatbots zu verbessern, wie etwa selektiveres Training unter Verwendung genauer und vertrauenswürdiger medizinischer Fachliteratur und Echtzeitzugriff auf medizinische Daten. Darüber hinaus schlugen sie vor, dass Ärzte eine aktivere Rolle bei der Generierung von Datensätzen für KI-Modelle übernehmen sollten, um sie besser auf medizinische Aufgaben vorzubereiten.

Alternative Einsatzmöglichkeiten für KI-Modelle im Gesundheitswesen

Trotz der Einschränkungen von KI-Modellen bei der Diagnose pädiatrischer Fälle vermuten die Forscher, dass es im medizinischen Bereich möglicherweise andere potenzielle Einsatzmöglichkeiten für LLMs wie ChatGPT gibt. Sie könnten beispielsweise als nützliche Verwaltungstools dienen, beim Verfassen von Forschungsartikeln helfen und Anleitungsblätter für Patienten zur Verwendung in der Nachsorge erstellen. Die von MedPageToday durchgeführte Studie schlug sogar vor, dass LLM-basierte Chatbots als ergänzende Tools für Ärzte bei der Diagnose und Entwicklung einer Differenzialliste für komplexe Fälle eingesetzt werden könnten.

Zusammenfassend lässt sich sagen, dass KI-Modellen wie ChatGPT derzeit zwar nicht die Genauigkeit fehlt, die für eine zuverlässige pädiatrische Diagnose erforderlich ist, sie jedoch ein erhebliches Potenzial für andere Anwendungen im Gesundheitssektor bergen. Mit einer selektiveren Schulung und einer stärkeren Einbeziehung der Ärzte könnten sich diese Modelle noch als unschätzbar wertvolle Werkzeuge in der Welt der Medizin erweisen.