chatgpt“>ChatGPT und andere solche großen Sprachmodelle könnten sich laut einer neuen Analyse, die am 5. Oktober veröffentlicht wurde, als nützlich erweisen, um radiologische Berichte auf ein einfacheres Leseniveau umzuschreiben Europäische Radiologie [1].
Forscher mit Universitätsklinikum der LMU in München, Deutschland, hat kürzlich die Leistungsfähigkeit der Technologie bei der Ausführung dieser Aufgabe getestet. Für die Untersuchung erstellte ein erfahrener Radiologe drei fiktive Berichte, die jeweils mehrere Befunde enthielten, die miteinander in Zusammenhang standen.
Das Studienteam forderte ChatGPT dann auf, „einem Kind diesen medizinischen Bericht in einfacher Sprache zu erklären“ und die Ergebnisse im Klartext einzugeben. Fünfzehn Ärzte bewerteten die Ergebnisse nach Genauigkeit und Gründlichkeit.
„Die meisten teilnehmenden Radiologen waren sich einig, dass die vereinfachten Berichte insgesamt sachlich korrekt, vollständig und nicht potenziell schädlich für Patienten sind“, schlussfolgerten Katharina Jeblick, PhD, klinische Datenwissenschaftlerin an der LMU, und Co-Autoren. „Gleichzeitig stellten die Radiologen auch in zahlreichen vereinfachten Befunden sachlich falsche Aussagen, fehlende relevante medizinische Informationen und Textpassagen fest, die Patienten zu potenziell schädlichen Schlussfolgerungen verleiten könnten.“ Dies zeigt die Notwendigkeit einer weiteren Modellanpassung an den medizinischen Bereich und einer professionellen medizinischen Aufsicht.“
Jeblick et al. führten ihre Studie im Dezember 2022 durch. Die für die Untersuchung verwendeten fabrizierten Berichte deckten drei klinische Szenarien ab: Magnetresonanztomographie des Knies, eine weitere MRT des Knies und eine Nachuntersuchung/Ganzkörper-CT für ein „fiktives onkologisches Bildgebungsereignis“.
Radiologen wurden darüber informiert, dass die vereinfachten Berichte über ChatGPT erstellt wurden, und gebeten, das Ergebnis auf einer Fünf-Punkte-Skala zu bewerten. Die Teilnehmer stimmten „im Allgemeinen zu“ (mit einem Durchschnittswert von 2), dass die vereinfachten Berichte sachlich korrekt und vollständig waren. Etwa 75 % gaben an, dass sie beiden Qualitätskriterien „zustimmten“ oder „voll und ganz zustimmten“. Unterdessen waren sich die Radiologen nicht einig (Median: 4), was die Möglichkeit angeht, dass Patienten aus den vereinfachten Berichten falsche Schlussfolgerungen ziehen könnten, was zu physischen oder psychischen Schäden führen könnte. In der Freitextanalyse hoben Radiologen falsche Informationen hervor, die in 10 vereinfachten Berichten (22 %) gefunden wurden. Weitere 16 (oder 36 %) hatten potenziell schädliche Schlussfolgerungen.
Trotz dieser Probleme sehen Jeblick und Co-Autoren Erfolg in der Bereitstellung großer Sprachmodelle auf diese Weise.
„Während weitere quantitative Studien erforderlich sind, offenbaren die ersten Erkenntnisse dieser Studie ein enormes Potenzial für den Einsatz von LLMs wie ChatGPT zur Verbesserung der patientenzentrierten Versorgung in der Radiologie und anderen medizinischen Bereichen“, raten die Autoren.
Weitere Informationen zu den Ergebnissen finden Sie unter dem folgenden Link.
