Laut einer Gruppe in Deutschland scheint chatgpt-4 nützlich zu sein, um Details aus Berichten über Thrombektomieverfahren bei Schlaganfallpatienten zu extrahieren, eine arbeitsintensive und fehleranfällige Aufgabe, die derzeit von menschlichen Lesern durchgeführt wird.

Ein solches „Data Mining“ durch ChatGPT könnte eine Alternative zu manuellen Methoden zum Aufbau von Schlaganfallregistern darstellen, wobei die Daten von entscheidender Bedeutung für die Verbesserung der Qualität der Schlaganfallversorgung sind, bemerkten Hauptautor Dr. Nils Lehnen vom Universitätsklinikum Bonn und Kollegen.

„Verfahrensdetails der mechanischen Thrombektomie bei Patienten mit ischämischem Schlaganfall sind Prädiktoren für das klinische Ergebnis und werden für prospektive Studien oder nationale Schlaganfallregister gesammelt“, schrieb die Gruppe. Die Studie wurde am 16. April veröffentlicht Radiologie.

Die mechanische Thrombektomie bei akutem ischämischem Schlaganfall ist zum Behandlungsstandard für Patienten mit großen Gefäßverschlüssen geworden. Das medizinische Personal sammelt Standarddetails aus Berichten über die Verfahren und gibt sie in nationale oder lokale Schlaganfallregister ein, um beispielsweise Benchmarks für bewährte Verfahren zu entwickeln.

Die großen Sprachmodelle ChatGPT-3.5 und ChatGPT-4 von OpenAI haben sich in früheren Studien zur Extraktion von Daten aus CT- oder MRT-Neuroradiologieberichten als vielversprechend erwiesen, müssen jedoch noch anhand von Berichten über neurointerventionelle Verfahren getestet werden, schreiben die Autoren.

Zu diesem Zweck sammelten Lehnen und Kollegen eine Reihe von 100 Berichten von 100 Patienten, die sich in ihrem Bonner Krankenhaus einer Thrombektomie unterzogen hatten. Sie verwendeten 20 der Berichte zur Feinabstimmung der LLMs, um die Daten in durch Kommas getrennte Wertetabellen (CSV) zu extrahieren. Zu den Verfahrensdetails gehörten beispielsweise die Punktionszeiten von der Tür zur Leistengegend, die Zeiten von der Tür zur Reperfusion und die Anzahl der Thrombektomiemanöver.

Als nächstes verglichen sie die Leistung von ChatGPT-3.5 und Chat-GPT-4 mit der eines erfahrenen interventionellen Neuroradiologen anhand aller 100 Berichte sowie anhand von 30 externen Berichten von 30 Patienten, die sich am Brigham and Women's Hospital in Boston einer mechanischen Thrombektomie unterzogen hatten.

Nur Dateneingaben der LLMs, die genau mit den Messwerten des Experten übereinstimmten, wurden als korrekt gewertet, stellten die Autoren fest. Jede Abweichung von den angegebenen Optionen in der Eingabeaufforderung wurde als falsch gewertet, einschließlich Synonyme, Satzzeichen oder alle vom LLM eingegebenen zusätzlichen Symbole.

Zu den wichtigsten Erkenntnissen gehörten die folgenden:

• GPT-4 extrahierte 94 % (2.631 von 2.800) der Dateneinträge korrekt, was mit 63,9 % (1.788 von 2.800) mehr als die von GPT-3.5 extrahierten Dateneinträge war.
• Bei den 30 externen Berichten extrahierte GPT-4 90,5 % korrekte Dateneinträge und GPT-3.5 extrahierte 64,2 %.

„Im Vergleich zu GPT-3.5 extrahierte GPT-4 häufiger korrekte Verfahrensdaten aus Freitextberichten über mechanische Thrombektomie bei Patienten mit ischämischem Schlaganfall“, schrieb die Gruppe.

Während die Studie darauf hindeutet, dass GPT-4 eine Alternative zum manuellen Abrufen dieser Daten darstellen könnte, ist aufgrund der schlechten Leistung bei bestimmten Datenpunkten Vorsicht geboten, so die Autoren. Konkret wurden insgesamt 169 Dateneingaben von GPT-4 als fehlerhaft eingestuft, davon waren 19 (11,2 %) auf Formatfehler zurückzuführen und 150 (88,8 %) waren inhaltlich fehlerhaft.

„Obwohl GPT-4 diesen Prozess erleichtern und möglicherweise die Datenextraktion aus radiologischen Berichten verbessern kann, treten derzeit immer noch Fehler auf und eine Überwachung durch menschliche Leser ist erforderlich“, schlussfolgerte die Gruppe.

Die vollständige Studie ist verfügbar Hier.