chatgpt könnte eine zugängliche Informationsquelle für Frauen sein, die darauf warten, die Ergebnisse einer Kernnadel-Brustbiopsie mit ihren Ärzten zu besprechen, heißt es in einer am 3. Januar in veröffentlichten Studie American Journal of Roentgenology gefunden.
Forscher unter der Leitung von Eniola Oluyemi, MD, von der Johns Hopkins University in Baltimore, MD, fanden heraus, dass der Chatbot nach Einschätzung der Gutachter „größtenteils angemessene“ Antworten auf verschiedene Fragen zu brustpathologischen Diagnosen lieferte.
„Die allgemeine Zustimmung der Gutachter lag zwischen 88 % und 96 % hinsichtlich der Genauigkeit, Konsistenz, bereitgestellten Definition und vermittelten klinischen Bedeutung“, schrieben Oluyemi und Kollegen.
Es ist ein Jahr her, seit die erste Version von ChatGPT der Öffentlichkeit zugänglich gemacht wurde. Seitdem haben medizinische Forscher, darunter auch Radiologen, den möglichen Einsatz dieses und anderer Chatbots in klinischen und patientenorientierten Umgebungen untersucht.
Darüber hinaus bietet der 21st Century Cures Act Patienten sofortigen Zugriff auf ihre Radiologie- und Pathologieberichte. Vor diesem Hintergrund könnten Patienten auf Online-Quellen wie öffentlich verfügbare große Sprachmodelle zurückgreifen, um ihre Bildgebungsergebnisse besser zu verstehen.
Das Oluyemi-Team untersuchte, ob ChatGPT Version 3.5 (ChatGPT-3.5) angemessene Antworten auf Patienten gibt, die Fragen zu verschiedenen pathologischen Diagnosen stellen, die bei der Bruststanzbiopsie auftreten. Dazu gehört auch, wie Krebserkrankungen mit der Mammographie erkannt werden.
Das Team befragte ChatGPT-3.5 zu 14 pathologischen Diagnosen, die bei einer Bruststanzbiopsie gefunden wurden, darunter vier gutartige, sieben Hochrisiko- und drei bösartige. Drei Gutachter von Johns Hopkins bewerteten unabhängig voneinander ihre Zustimmung zu den Antworten des Chatbots und berücksichtigten dabei die folgenden Eigenschaften: Genauigkeit, Konsistenz, bereitgestellte Definition, vermittelte klinische Bedeutung und bereitgestellte Managementempfehlung.
Die Rezensenten stimmten den Antworten von ChatGPT-3.5 größtenteils zu. Dazu gehörte eine hohe Übereinstimmung hinsichtlich der Genauigkeit, Konsistenz und den bereitgestellten Definitionen des Chatbots. Darüber hinaus gab es eine mäßige Übereinstimmung mit der klinischen Signifikanz und den Antworten auf Managementempfehlungen.
| Vereinbarung zwischen Prüfern, ChatGPT-Antworten | ||||
|---|---|---|---|---|
| Gesamt | Gutartig | Hohes Risiko | Maligne | |
| Beurteilungen | 95 % | 92 % | 95 % | 100% |
| Konsistenz | 93 % | 92 % | 90 % | 100% |
| Definition | 93 % | 92 % | 95 % | 89 % |
| Klinische Bedeutung | 88 % | 83 % | 85 % | 100% |
| Managementempfehlungen | 71 % | 83 % | 52 % | 100% |
Die Forscher fanden außerdem heraus, dass kein Gutachter der Managementempfehlung von ChatGPT für zwei Hochrisikoläsionen, atypische duktale Hyperplasie und radiale Narbe, zustimmte. Die Rezensenten berichteten in den Kommentaren, dass die chirurgische Entfernung in den Antworten von ChatGPT nicht erwähnt wurde.
Schließlich meldete das Team die folgenden Interrater-Zuverlässigkeitswerte, ausgedrückt als Kappa: -0,01 für Genauigkeit, 0,31 für Konsistenz, -0,04 für Definitionen, 0,28 für klinische Signifikanz und 0,45 für Managementempfehlungen.
Die Autoren der Studie betonten, dass diese Ergebnisse mit früheren Forschungsergebnissen übereinstimmen und die Fähigkeit von ChatGPT belegen, auf die meisten Fragen zur Brustkrebsprävention und -vorsorge angemessene Antworten zu geben.
„Trotzdem müssen Patienten die von ihnen erhaltenen Informationen anschließend noch einmal überprüfen [large language models] mit ihren Ärzten, insbesondere im Hinblick auf Managementempfehlungen“, fügten sie hinzu.
Die Studie finden Sie in ihrer Gesamtheit Hier.
