Laut einer neuen retrospektiven Analyse war das vom auf künstlicher Intelligenz basierenden Chatbot chatgpt-4 bereitgestellte medizinische Wissen in Bezug auf häufige vitreoretinale Operationen bei Netzhautablösung, Makulaforamen und epiretinaler Membran durchweg angemessen.¹

Das Untersuchungsteam unter der Leitung von Ajay E. Kuriyan, MD, MS, einem Mitglied des Retina Service am Wills Eye Hospital, geht jedoch davon aus, dass ChatGPT und andere Modelle in natürlicher Sprache in ihrer aktuellen Form keine Quelle für sachliche Informationen sind.

„Die Verbesserung der Glaubwürdigkeit und Lesbarkeit von Antworten, insbesondere in Spezialgebieten wie der Medizin, ist ein entscheidender Schwerpunkt der Forschung“, schrieben Kuriyan und Kollegen. „Patienten, Ärzte und Laien sollten über die Grenzen dieser Instrumente zur augen- und gesundheitsbezogenen Beratung aufgeklärt werden.“

Chatbots mit künstlicher Intelligenz erzeugen menschenähnliche Antworten auf eingegebene Eingabeaufforderungen. Neuere Literatur deutet darauf hin, dass diese großen Sprachmodelle vergleichbare Ratschläge für eine Reihe von Patientenfragen, auch in der Augenheilkunde, bieten könnten.² Eine Querschnittsanalyse von von Menschen verfassten und KI-basierten Antworten auf 200 Fragen zur Augenpflege ergab, dass KI-Chatbots angemessene Antworten generierten, die sich hinsichtlich falscher Informationen und der Wahrscheinlichkeit eines Schadens nicht wesentlich von denen von Augenärzten unterschieden.

Bei der Umsetzung in die klinische Praxis ist jedoch Vorsicht geboten, da beim Einsatz von Chatbots erhebliche Bedenken hinsichtlich des begrenzten, veralteten Wissens und des Risikos von Halluzinationen bestehen. Halluzinatoren sind Chatbot-Ausgaben, die überzeugend korrekt aussehen, aber als sachlich ungenau gelten.³

In dieser Analyse bewertete das Untersuchungsteam die Angemessenheit und Lesbarkeit des von ChatGPT-4 bereitgestellten medizinischen Wissens zu häufigen vitreoretinalen Operationen bei Netzhautablösungen, Makulalöchern und epiretinalen Membranen.¹ An der retrospektiven Querschnittsanalyse waren keine menschlichen Teilnehmer beteiligt.

Kuriyan und Kollegen erstellten Listen mit häufigen Fragen zu Definition, Prävalenz, visuellen Auswirkungen, Diagnosemethoden, chirurgischen und nicht-chirurgischen Behandlungsoptionen, postoperativen Informationen, chirurgischen Komplikationen und visueller Prognose von Netzhautablösung, Makulaforamen und epiretinaler Membran. Anschließend wurde jede Frage dreimal auf der Online-Plattform ChatGPT-4 gestellt. Die Daten für die Studie wurden am 25. April 2023 erfasst.

Zwei unabhängige Netzhautspezialisten bewerteten die Angemessenheit dieser Antworten. Die beiden wichtigsten Ergebnismaße waren die Lesbarkeit, ermittelt mit Readable, einem Online-Lesbarkeitstool, und die Angemessenheit der Antworten.

Analysen zeigten, dass die Antworten bei 84,6 % (n = 33 von 39), 92 % (n = 23 von 25) und 91,7 % (n = 22 von 24) der Fragen im Zusammenhang mit Netzhautablösung, Makulaloch usw. durchweg angemessen waren epiretinale Membran bzw. Mittlerweile waren die Antworten bei 5,1 % (n = 2 von 39), 8 % (n = 2 von 25) und 8,3 % (n = 2 von 24) der jeweiligen Fragen mindestens einmal unangemessen.

Die Daten zeigten, dass der durchschnittliche Flesch Kincaid Grade Level und der Flesch Reading Ease Score 14,1 ± 2,6 und 32,3 für die Netzhautablösung, 14 ± 1,3 und 34,4 ± 7,7 für das Makulaforamen und 14,8 ± 1,3 und 28,1 ± 7,5 für die epiretinale Membran betrugen. Basierend auf diesen Ergebnissen schlagen Kuriyan und Kollegen vor, dass ein höherer Wissensstand erforderlich ist, um das vom Chatbot präsentierte Antwortmaterial zu verstehen.

„Diese Ergebnisse deuten darauf hin, dass die Antworten für den durchschnittlichen Laien schwer oder sehr schwer zu lesen sind und ein Hochschulabschluss erforderlich wäre, um den Stoff zu verstehen“, schrieben sie.

Verweise

1. _{Momenaei B, Wakabayashi T, Shahlaee A, et al. Angemessenheit und Lesbarkeit von ChatGPT-4-generierten Antworten für die chirurgische Behandlung von Netzhauterkrankungen. Ophthalmol Retina. 2023;7(10):862-868. doi:10.1016/j.oret.2023.05.022}
2. _{Iapoce C. Chatbot mit künstlicher Intelligenz bietet angemessene augenärztliche Beratung, wie eine Studie zeigt. HCP Live. 25. August 2023. Zugriff am 27. Oktober 2023. https://www.hcplive.com/view/artificial-intelligence-chatbot-property-ophthalmic-advice.}
3. _{Was ist eine KI-Halluzination? Beispiele, Ursachen und wie man sie erkennt – Techopedia. Was ist KI-Halluzination? 22. September 2023. Zugriff am 27. Oktober 2023. https://www.techopedia.com/definition/ai-hallucination.}