Laut einer Gruppe an der University of Pennsylvania ist chatgpt bei der Beantwortung von Fragen von Radiologiepatienten vielversprechend, doch die Komplexität seiner Antworten könnte seinen Einsatz als Instrument zur Patientenaufklärung erschweren.

Forscher unter der Leitung von Emile Gordon, MD, testeten ChatGPT bei der Beantwortung häufiger Fragen im Zusammenhang mit der Bildgebung und untersuchten weiter die Auswirkung der Aufforderung an den Chatbot, seine Antworten zu vereinfachen. Sie stellten fest, dass die Antworten von ChatGPT zwar korrekt, aber durchweg komplex waren.

„Keine der Antworten erreichte die für Patientenmaterialien empfohlene Lesbarkeit der achten Klasse“, schrieb die Gruppe. Die Studie wurde am 18. Oktober im veröffentlicht Zeitschrift des American College of Radiology.

Die ACR habe einer effektiven Patientenkommunikation in der Radiologie Priorität eingeräumt und fördere deren Verbesserung, schrieben die Autoren. ChatGPT hat in dieser Hinsicht als potenzielles Tool Aufmerksamkeit erregt. Studien deuten beispielsweise darauf hin, dass es für die Beantwortung von Fragen zum Brustkrebs-Screening nützlich sein könnte, stellte die Gruppe fest.

Allerdings sei seine Rolle bei der Beantwortung von Fragen im Zusammenhang mit der Bildgebung von Patienten noch unerforscht, fügten sie hinzu.

Zu diesem Zweck stellten die Forscher ChatGPT 22 bildgebende Fragen, die für Patienten als wichtig erachtet wurden: Sicherheit, der radiologische Bericht, das Verfahren, die Vorbereitung vor der Bildgebung sowie die Bedeutung von Begriffen und medizinischem Personal. Die Fragen wurden mit und ohne folgende Aufforderung gestellt: „Geben Sie eine genaue und leicht verständliche Antwort, die für eine durchschnittliche Person geeignet ist.“

Vier erfahrene Radiologen bewerteten die Antworten, während zwei Patientenvertreter die Antworten auch auf ihre Verständlichkeit für Patienten überprüften. Die Lesbarkeit wurde anhand des Flesch Kincaid Grade Level (FKGL) bewertet.

Den Ergebnissen zufolge lieferte ChatGPT in 83 % der Fälle und in 87 % der Fälle eine genaue Antwort, wenn eine einfache Eingabeaufforderung gestellt wurde, obwohl dieser Unterschied statistisch nicht signifikant war.

Obwohl die Antworten fast immer teilweise relevant waren (99 %), stieg der Anteil, der als vollständig relevant angesehen wurde, erheblich von 67 % auf 80 %, wenn die Fragen mit einer Aufforderung versehen wurden. Die Forscher schrieben, dass die Eingabeaufforderung auch die Antwortkonsistenz von 72 % auf 86 % verbesserte.

Schließlich stellten sie fest, dass der durchschnittliche FKGL der ChatGPT-Antworten mit 13,6 hoch war, was bis zur Eingabeaufforderung unverändert blieb (13).

„So wie es derzeit aussieht, trübt die hohe Komplexität der Antworten das Versprechen eines echten Patientenzugangs zu Gesundheitsinformationen“, schrieb die Gruppe.

Die explorative Studie unterstreicht das Potenzial von ChatGPT, zeitaufwändige Aufgaben in der Gesundheitsaufklärung von Patienten zu rationalisieren, weist jedoch auch auf Herausforderungen im Zusammenhang mit der Lesbarkeit und das potenzielle Risiko hin, den Patienten irreführende Informationen zu präsentieren, schrieb die Gruppe.

„Die Erforschung von Strategien wie effektivem, schnellem Engineering wird dazu beitragen, die Ergebnisse von ChatGPT zu optimieren und seine Sicherheit und Wirksamkeit für den Patientengebrauch zu gewährleisten“, schlussfolgerte die Gruppe.

Die Forscher gaben bekannt, dass sie ChatGPT verwendet haben, um die Klarheit ausgewählter Textteile zu verbessern, wobei die Autoren den Inhalt nach Bedarf überprüften und bearbeiteten.

Der vollständige Artikel ist verfügbar Hier.