Das KI-Modell GPT-4, das chatgpt antreibt, übertrifft die Fähigkeit von nicht spezialisierten Ärzten, Augenprobleme zu beurteilen und Ratschläge zu geben, deutlich, wie eine Studie der Universität Cambridge ergab.

Das klinische Wissen und die Argumentationsfähigkeiten des „großen Sprachmodells“ nähern sich dem Niveau spezialisierter Augenärzte an, zeigte sich.

Es wurde an nicht spezialisierten Assistenzärzten sowie angehenden und erfahrenen Augenärzten getestet, denen 87 Patientenszenarien mit einem spezifischen Augenproblem vorgelegt wurden und sie gebeten wurden, eine Diagnose zu stellen oder Ratschläge zur Behandlung zu geben, indem sie vier Optionen auswählten.

GPT-4 schnitt im Test deutlich besser ab als unspezialisierte Assistenzärzte, die in ihrem Augenfachwissen mit Allgemeinärzten vergleichbar sind.

Und es erzielte ähnliche Ergebnisse wie angehende und erfahrene Augenärzte, obwohl die leistungsstärksten Ärzte höhere Ergebnisse erzielten.

mpu1

Die Forscher sagen, dass große Sprachmodelle zwar wahrscheinlich keine medizinischen Fachkräfte ersetzen werden, sie aber das Potenzial haben, die Gesundheitsversorgung als Teil des klinischen Arbeitsablaufs zu verbessern.

Modelle wie GPT-4 könnten augenbezogene Ratschläge, Diagnose- und Behandlungsvorschläge in gut kontrollierten Kontexten bereitstellen, etwa bei der Triage von Patienten oder dort, wo der Zugang zu spezialisiertem medizinischem Fachpersonal eingeschränkt ist.

Dr. Arun Thirunavukarasu, Hauptautor der Studie, die er während seines Studiums an der School of Clinical Medicine in Cambridge durchführte, sagte: „Wir könnten KI realistischerweise bei der Triage von Patienten mit Augenproblemen einsetzen, um zu entscheiden, welche Fälle Notfälle sind und behandelt werden müssen.“ sofort von einem Facharzt untersucht werden können, die von einem Hausarzt gesehen werden können und keiner Behandlung bedürfen.

„Die Modelle könnten klaren, bereits verwendeten Algorithmen folgen, und wir haben herausgefunden, dass GPT-4 bei der Verarbeitung von Augensymptomen und -zeichen zur Beantwortung komplizierterer Fragen genauso gut ist wie erfahrene Kliniker.

„Mit der weiteren Entwicklung könnten große Sprachmodelle auch Hausärzten helfen, die Schwierigkeiten haben, zeitnahen Rat von Augenärzten zu erhalten. Die Menschen in Großbritannien warten länger denn je auf eine Augenbehandlung.“

Um diese Modelle zu verfeinern, sind große Mengen an klinischem Text erforderlich, und weltweit wird derzeit daran gearbeitet.

gun2

„Ärzte wiederholen nicht ihr ganzes Berufsleben lang Prüfungen. Wir wollten sehen, wie sich die KI im Vergleich zu den Kenntnissen und Fähigkeiten praktizierender Ärzte vor Ort schlägt, um einen fairen Vergleich zu ermöglichen“, sagte Dr. Thirunavukarasu, der jetzt akademischer Stiftungsarzt am Oxford University Hospitals NHS Foundation Trust ist.

„Wir müssen auch die Fähigkeiten und Grenzen kommerziell verfügbarer Modelle charakterisieren, da Patienten möglicherweise bereits diese – und nicht das Internet – zur Beratung nutzen.“

Zu den Szenarien in der Studie gehörten extreme Lichtempfindlichkeit, vermindertes Sehvermögen, Läsionen sowie juckende und schmerzhafte Augen. Diese stammen aus einem Lehrbuch, das zur Prüfung angehender Augenärzte verwendet wird, das online nicht frei verfügbar ist und daher wahrscheinlich nicht in den Trainingsdatensätzen von GPT-4 enthalten war.

„Auch wenn man den zukünftigen Einsatz von KI berücksichtigt, denke ich, dass Ärzte weiterhin für die Patientenversorgung verantwortlich sein werden. Das Wichtigste ist, den Patienten die Möglichkeit zu geben, zu entscheiden, ob sie Computersysteme einbeziehen wollen oder nicht. „Das wird eine individuelle Entscheidung für jeden Patienten sein“, sagte Dr. Thirunavukarasu.

GPT-4 und GPT-3.5 – oder „Generative Pre-trained Transformers“ – werden auf Datensätzen trainiert, die Hunderte Milliarden Wörter aus Artikeln, Büchern und anderen Internetquellen enthalten. GPT-4 unterstützt den Online-Chatbot ChatGPT bei der Bereitstellung maßgeschneiderter Antworten auf menschliche Anfragen.

Die Studie testete auch andere große Sprachmodelle – GPT-3.5, PaLM2 und LLaMA –, stellte jedoch fest, dass GPT-4 genauere Antworten lieferte.

ChatGPT hat kürzlich in medizinischen Fachkreisen Aufmerksamkeit erregt, weil es bei Prüfungen an medizinischen Fakultäten bestandene Leistungen erbrachte und bei der Beantwortung von Patientenfragen genauere und einfühlsamere Nachrichten lieferte als menschliche Ärzte.

Seit der Durchführung der Studie wurden noch fortschrittlichere große Sprachmodelle veröffentlicht.