chatgpt in Bezug auf Empfehlungen zur Krebsbehandlung mangelhaft war. Ein Arzt steht mit verschränkten Armen und der Brille in der einen Hand und starrt auf eine Krebszelle, auf der ein Ziel abgebildet ist.” data-entity-type=”file” data-entity-uuid=”f205665e-aba2-4b73-9101-24727a2b7eaa” src=”https://www.aha.org/sites/default/files/inline-images/ChatGPTs-Performance-Found-Lacking-on-Cancer-Treatment-Recommendations.png” style=”width: 100%;” width=”620″ height=”381″ loading=”lazy”/>
In einem Aktuelle Kolumne In der vom Dana-Farber Cancer Institute veröffentlichten Studie berichtete einer seiner Ärzte über seine Erfahrungen mit der Verwendung von ChatGPT zur Bereitstellung von Statistiken zu einer bestimmten Krebsart. Zu seiner Überraschung stellte ChatGPT eine Gleichung auf und gab ihr sogar einen Namen.
„Es war eine Gleichung, die nichts bewirkte, aber sie sah sehr überzeugend aus“, sagte Dr. Benjamin Schlechter, der auf Magen-Darm-Krebs spezialisiert ist. „In gewisser Weise ist es so, als würde man mit Kindern reden: Sie fangen an, sich eine Geschichte auszudenken und machen weiter, je mehr man sie danach fragt. In diesem Fall fügte ChatGPT ein Detail nach dem anderen hinzu, nichts davon war real, weil ich darum gebeten hatte, es näher zu erläutern. Für einen Computer ist es sehr sicher.“
Es stellt sich heraus, dass ChatGPT laut a ähnliche Probleme mit der Genauigkeit bei der Abgabe von Empfehlungen zur Krebsbehandlung hat Studie, die kürzlich in JAMA Oncology veröffentlicht wurde.
Forscher von Mass General Brigham fanden heraus, dass ein Drittel der 3,5 Empfehlungen des GPT zumindest teilweise gegen die Richtlinien der National Comprehensive Cancer Treatment von 2021 verstießen. „Ärzte sollten Patienten darauf hinweisen, dass Chatbots mit großen Sprachmodellen keine zuverlässige Informationsquelle sind“, kam die Studie zu dem Schluss.
Der Chatbot vermischte höchstwahrscheinlich falsche Empfehlungen mit richtigen, wodurch ein Fehler entstand, der selbst für Experten schwer zu erkennen war. In der Studie wurde nur ein Modell in einer Momentaufnahme bewertet, die Ergebnisse bieten jedoch Einblicke in Problembereiche und künftigen Forschungsbedarf.
Danielle Bitterman, MD, Abteilung für Radioonkologie und künstliche Intelligenz (KI) in der Medizin bei Mass General Brigham, sagte in einer Erklärung: „ChatGPT-Antworten können sehr wie ein Mensch klingen und sehr überzeugend sein. Aber wenn es um die klinische Entscheidungsfindung geht, gibt es so viele Feinheiten für die individuelle Situation jedes Patienten. Eine richtige Antwort kann sehr differenziert sein und nicht unbedingt etwas, was ChatGPT oder ein anderes großes Sprachmodell bieten kann.“
Der Chatbot erhebe nicht den Anspruch, ein medizinisches Gerät zu sein, und müsse auch nicht solchen Standards unterliegen, heißt es in der Studie. Patienten werden solche Technologien jedoch wahrscheinlich nutzen, um sich weiterzubilden, was sich auf die gemeinsame Entscheidungsfindung in der Arzt-Patient-Beziehung auswirken kann.
Die Forscher planen zu untersuchen, wie Patienten und Ärzte zwischen von einem Arzt verfassten medizinischen Ratschlägen und KI unterscheiden können. Sie planen außerdem, ChatGPT detailliertere klinische Fälle vorzulegen, um das klinische Wissen von AI weiter zu bewerten.
