Was bedeutet „klinische Korrelation“ in einem radiologischen Bericht? Fragen Sie chatgpt.

Forscher haben genau das getan und das Modell mit der oben genannten Abfrage und 21 weiteren Fragen auf Patientenebene zur medizinischen Bildgebung auf Herz und Nieren geprüft.

Ihr Fazit: ChatGPT hat das Potenzial, die Patientenkommunikation in der Radiologie zu unterstützen, aber seine Genauigkeit ist so inkonsistent, dass eine menschliche Aufsicht erforderlich ist.

Darüber hinaus neigt das digitale Tool dazu, in einer Sprache zu „sprechen“, die für Patienten, die nicht über ein hohes Leseverständnisniveau verfügen, möglicherweise unzugänglich ist. Und das Hinzufügen einer Eingabeaufforderung mit der Aufforderung, leicht verständliche Antworten zu geben – oder die zur Patientenaufklärung empfohlenen Leseniveaus einzuhalten – hilft zwar, löst dieses Problem jedoch nicht vollständig.

Die Studie wurde von Radiologen am University of Pittsburgh Medical Center geleitet und in veröffentlicht JACR 18. Okt [1].

Hauptautor Emile Gordon, MD, leitender Autor Alessandro Furlan, MD, und Kollegen gruppierten ihre 22 Testfragen in sechs patientenfreundliche Kategorien: Verfahrenssicherheit, das Verfahren selbst, Vorbereitung vor der Bildgebung, Bedeutung der Begriffe, medizinisches Personal und der radiologische Bericht.

Sie gaben die Fragen mit und ohne kurze Aufforderung an ChatGPT Version 3.5 weiter: „Bitte geben Sie eine genaue und leicht verständliche Antwort, die für den Durchschnittsmenschen geeignet ist.“

Das Team ließ vier zertifizierte Radiologen die Antworten des Geräts nicht nur auf Genauigkeit, sondern auch auf Konsistenz und Relevanz überprüfen.

Sie ließen außerdem zwei Patientenvertreter die wahrscheinliche Nützlichkeit der Antworten für Patienten abwägen und bewerteten die Lesbarkeit anhand der Flesch-Kincaid-Grade-Stufe (FKGL) Maßnahmen.

Bei der Auswertung von 264 ChatGPT-Antworten auf die 22 Fragen stellten die Forscher fest, dass unaufgeforderte Antworten mit einer Rate von 83 % korrekt waren (218 von 264 Antworten).

Aufgeforderte Antworten veränderten diese Rate nicht wesentlich – 87 % (229 von 264).

Allerdings stieg die Konsistenz der Antworten von 72 % auf 86 %, wenn die Fragen durch Eingabeaufforderungen ergänzt wurden.

Zusätzlich:

• Fast alle Antworten – 99 % (261 von 264) – waren für beide Fragetypen zumindest teilweise relevant.
• 80 % der aufgeforderten Antworten im Vergleich zu 67 % der unaufgeforderten Antworten wurden als vollständig relevant angesehen.
• Der durchschnittliche FKGL war für den durchschnittlichen Leser zu hoch, unabhängig davon, ob er aufgefordert wurde (13,0) oder nicht (13,6). Darüber hinaus erreichte keine der Antworten die für patientenbezogene Materialien empfohlene Lesbarkeit der achten Klasse.

In ihrer Diskussion geben die Autoren an, dass diese Ergebnisse den Beweis ergänzen, dass ChatGPT ein vielversprechendes Tool zur Automatisierung zeitaufwändiger Aufgaben im Gesundheitswesen ist.

„Die Automatisierung der Entwicklung von Aufklärungsmaterialien zur Patientengesundheit und die Bereitstellung eines On-Demand-Zugriffs auf medizinische Fragen sind vielversprechend, um den Patientenzugang zu Gesundheitsinformationen zu verbessern“, Gordon et al. hinzufügen.

Mehr:

„Während die Genauigkeit, Konsistenz und Relevanz der ChatGPT-Antworten auf bildbezogene Fragen für ein generatives vorab trainiertes Sprachmodell beeindruckend sind, sind sie unvollkommen; Nach klinischen Maßstäben schließt die Häufigkeit der von uns beobachteten ungenauen Aussagen eine Verwendung ohne sorgfältige menschliche Überwachung oder Überprüfung aus.“