Das Anwendungsspektrum von Künstlicher Intelligenz (KI) und Deep Learning (DL) hat sich insbesondere in der Augenheilkunde seit 2015 deutlich vergrößert. DL verwendet zur Bilderkennung ophthalmologische Daten wie optische Kohärenztomographie und Fundusfotografien. Die Schlüsselfunktionen von DL wurden kürzlich mit KI für die Verarbeitung natürlicher Sprache (NLP) in der Augenheilkunde kombiniert, wodurch die Interaktion mit der menschlichen Sprache ermöglicht wurde.

Wissenschaftler haben ein Large Language Model (LLM) entwickelt, das menschenähnlichen Text produziert. OpenAI hat beispielsweise chatgpt entwickelt, ein generisches LLM, das auf der Generative Pre-Trained Transformer 3 (GPT-3)-Reihe basiert. Mehrere Experimente haben gezeigt, dass die Gesamtgenauigkeit von ChatGPT über 50 % liegt.

Ein kürzlich Ophthalmologische Wissenschaft untersuchte die Leistung von ChatGPT in der Augenheilkunde.

Lernen: Bewertung der Leistung von ChatGPT in der Augenheilkunde: Eine Analyse seiner Erfolge und Mängel. Bildnachweis: metamorworks / Shutterstock.com

Hintergrund

NLP hat durch die kürzliche Veröffentlichung von Grundlagenmodellen an Aufmerksamkeit gewonnen, die durch einen als Transferlernen bekannten Prozess an die jeweilige Anwendung angepasst werden können. Foundation-Modelle können aufgrund der Fortschritte in der Computerhardware, der Verfügbarkeit großer Mengen an Trainingsdaten und der Transformer-Modellarchitektur Milliarden von Parametern enthalten.

GPT-3, ein LLM, wurde mit einem großen Textdatensatz trainiert, der mehr als 400 Milliarden Wörter aus dem Internet umfasst, darunter Artikel, Bücher und Websites. Kürzlich wurde LLM auf seine Fähigkeit bewertet, natürliche Sprache in der Medizin zu verstehen und zu erzeugen. Der medizinische Bereich stellt jedoch die Leistung von LLMs aufgrund seiner hohen Nachfrage nach klinischem Denken, das jahrelange Ausbildung und Erfahrung erfordert, in Frage.

Im Jahr 2022 wurde die Leistung von PaLM, einem LLM mit 540 Milliarden Parametern, anhand seiner Leistung in Multiple-Choice-Fragen der United States Medical Licensing Exam (USMLE) bewertet, die eine Genauigkeit von 67,6 % ergab. Interessanterweise war ChatGPT auch in der Lage, aufschlussreiche Erklärungen zu liefern, um ihre Antworten zu untermauern.

Über das Studium

Begrenzte Studien haben die Leistung von LLMs im Frage-Antwort-Raum der Augenheilkunde bewertet. In Anbetracht dieser Forschungslücke untersuchte die aktuelle Studie die Leistung von ChatGPT in der Augenheilkunde unter Verwendung zweier beliebter Fragendatenbanken, darunter die Online-Fragedatenbank OphthoQuestions und das Selbsteinschätzungsprogramm für Basic and Clinical Science Course (BCSC) der American Academy of Ophthalmology.

ChatGPT funktioniert über die Vorhersage des nächsten Wortes hinaus, da es mit menschlichem Feedback trainiert wurde. Zwei Versionen von ChatGPT wurden evaluiert; Das erste wurde am 9. Januar 2023 veröffentlicht und ist als Legacy-Modell bekannt, während das andere aktualisierte Modell am 30. Januar 2023 eingeführt wurde. Das aktualisierte Modell umfasste „verbesserte Faktizität und mathematische Fähigkeiten“.

OpenAI hat auch ChatGPT Plus eingeführt, das eine schnellere Reaktion bietet. Die Autoren verwendeten ChatGPT Plus für ihre Analyse, da frühere Versionen nicht zugänglich waren.

Mit ChatGPT Plus wurden mehrere Experimente durchgeführt, die die Reproduzierbarkeit der Ergebnisse bestätigten. Ein Satz von 260 Testfragen wurde aus dem BCSC-Selbsteinschätzungsprogramm und weitere 260 Fragen aus OphthoQuestions generiert.

Zwanzig zufällige Fragen wurden aus dreizehn Abschnitten der standardisierten Prüfung des Ophthalmic Knowledge Assessment Program (OKAP) ausgewählt. Die Leistung von ChatGPT wurde basierend auf dem Thema, der Art der Frage und dem Schwierigkeitsgrad analysiert.

Studienergebnisse

Die aktuelle Studie belegt die Leistung von ChatGPT bei der Beantwortung von Fragen aus der OKAP-Prüfung. Während des Experimentierens wurde eine signifikante Verbesserung der Leistung von ChatGPT beobachtet. ChatGPT Plus zeigte eine Genauigkeit von 59,4 % bei der simulierten OKAP-Prüfung basierend auf dem BCSC-Testset und 49,2 % unter Verwendung des OphthoQuestions-Testsets.

Basierend auf den aggregierten historischen menschlichen Leistungsdaten erreichen Menschen 74 % in der BCSC-Fragenbank. Darüber hinaus erzielte die Gruppe der Assistenzärzte für Augenheilkunde, die ihre Ausbildung im Jahr 2022 abgeschlossen haben, 63 % bei OphthoQuestions.

Es ist erwähnenswert, dass die Leistung von ChatGPT in der Augenheilkunde vielversprechend ist, da sie den Genauigkeitsstufen fortgeschrittener LLMs bei der Beantwortung allgemeinmedizinischer Fragen entspricht, die normalerweise zwischen 40 und 50 % liegen, wie in jüngsten Veröffentlichungen aus dem Jahr 2022 angegeben.

Die Genauigkeit des Legacy-Modells hing vom Prüfungsabschnitt ab, unabhängig von der Berücksichtigung der Frageschwierigkeit und des kognitiven Niveaus. Allerdings war dieser Effekt in der aktualisierten ChatGPT-Version weniger ausgeprägt.

Wichtig ist, dass sich die Leistung von ChatGPT in den Bereichen Grundlagen, Allgemeinmedizin und Hornhaut kontinuierlich verbesserte, was auf die enorme Menge und Verfügbarkeit von Trainingsdaten und -ressourcen im Internet zurückzuführen sein könnte.

ChatGPT schnitt in den Bereichen Augenpathologie, Neuroophthalmologie und intraokulare Tumore schlecht ab. Dies sind hochspezialisierte Bereiche, die sogar innerhalb der Augenheilkunde eine Herausforderung darstellen könnten. Es muss beachtet werden, dass etwa 40 % der Patienten, die an neuroophthalmologische und okularonkologische Dienste überwiesen werden, falsch diagnostiziert werden.

Obwohl das aktualisierte ChatGPT Plus-Modell im Vergleich zu früheren Versionen eine verbesserte Leistung bei intraokularen Tumoren und Pathologie zeigte, blieb seine Leistung in der Neuroophthalmologie unverändert. Darüber hinaus wurde festgestellt, dass ChatGPT-Vorhersagen genauer sind, wenn ein höherer Prozentsatz von Menschen bestimmte Fragen richtig beantwortet. Dieses Ergebnis weist darauf hin, dass die Antworten von ChatGPT mit dem kollektiven Verständnis der Auszubildenden in der Augenheilkunde übereinstimmen.

Zukunftsausblick

Für die Zukunft planen die Autoren, qualitative Analysen durchzuführen, um Bereiche zu identifizieren, die eine Verbesserung im Bereich der Augenheilkunde erfordern. Die Genauigkeit von ChatGPT könnte verbessert werden, indem andere spezialisierte Grundlagenmodelle integriert werden, die mit domänenspezifischen Quellen wie EyeWiki trainiert wurden.

Derzeit kann ChatGPT in der Augenheilkunde aufgrund seiner Unfähigkeit, Bilder zu verarbeiten, nicht implementiert werden. Eine neue Anwendungsprogrammierschnittstelle (API) für ChatGPT würde helfen, diese Technologie zu validieren und die langwierige Natur des Prozesses zu verringern.