CNN —

Laut einer neuen Studie ist chatgpt möglicherweise kein Allheilmittel für Antworten auf medizinische Fragen.

Forscher der Long Island University stellten 39 medikamentenbezogene Fragen an die kostenlose Version der künstlichen IntelligenzChatbot, bei denen es sich alles um echte Fragen des Arzneimittelinformationsdienstes des College of Pharmacy der Universität handelte. Die Antworten der Software wurden dann mit den Antworten verglichen, die von geschulten Apothekern verfasst und überprüft wurden.

Die Studie ergab, dass ChatGPT nur auf etwa 10 der Fragen, also etwa ein Viertel der Gesamtzahl, genaue Antworten lieferte. Bei den anderen 29 Eingabeaufforderungen waren die Antworten unvollständig oder ungenau oder gingen nicht auf die Fragen ein.

Die Ergebnisse wurden am Dienstag auf der Jahrestagung der American Society for Health-Systems Pharmacists in Anaheim, Kalifornien, vorgestellt.

ChatGPT, der experimentelle KI-Chatbot von OpenAI, wurde im November 2022 veröffentlicht und entwickelte sich mit einer Registrierung von fast 100 Millionen Menschen innerhalb von zwei Monaten zur am schnellsten wachsenden Verbraucheranwendung in der Geschichte.

Angesichts dieser Beliebtheit wurde das Interesse der Forscher durch die Sorge geweckt, dass ihre Studenten, andere Apotheker und normale Verbraucher Ressourcen wie ChatGPT nutzen würden, um Fragen zu ihrer Gesundheit und ihren Medikamentenplänen zu untersuchen, sagte Sara Grossman, außerordentliche Professorin für Pharmaziepraxis auf Long Island Universität und einer der Autoren der Studie.

Sie stellten fest, dass diese Fragen oft zu ungenauen – oder sogar gefährlichen – Antworten führten.

In einer Frage fragten Forscher beispielsweise ChatGPT, ob das antivirale Covid-19-Medikament Paxlovid und das blutdrucksenkende Medikament Verapamil im Körper miteinander reagieren würden. ChatGPT antwortete, dass die gleichzeitige Einnahme der beiden Medikamente keine nachteiligen Auswirkungen haben würde.

Tatsächlich kann es bei Menschen, die beide Medikamente einnehmen, zu einem starken Blutdruckabfall kommen, der zu Schwindel und Ohnmacht führen kann. Für Patienten, die beides einnehmen, erstellen Ärzte häufig patientenspezifische Pläne, einschließlich einer Verringerung der Verapamil-Dosis oder der Warnung der Person, langsam aus einer sitzenden Position aufzustehen, sagte Grossman.

Die Anleitung von ChatGPT, fügte sie hinzu, hätte Menschen in Gefahr gebracht.

„Die Verwendung von ChatGPT zur Beantwortung dieser Frage würde einen Patienten dem Risiko einer unerwünschten und vermeidbaren Arzneimittelinteraktion aussetzen“, schrieb Grossman in einer E-Mail an CNN.

Als die Forscher den Chatbot nach wissenschaftlichen Referenzen zur Untermauerung jeder seiner Antworten fragten, stellten sie fest, dass die Software ihnen nur acht der von ihnen gestellten Fragen liefern konnte. Und in jedem Fall waren sie überrascht, dass ChatGPT Referenzen fabrizierte.

Auf den ersten Blick sahen die Zitate seriös aus: Sie waren häufig entsprechend formatiert, mit URLs versehen und unter seriösen wissenschaftlichen Zeitschriften aufgeführt. Doch als das Team versuchte, die referenzierten Artikel zu finden, stellten sie fest, dass ChatGPT ihnen fiktive Zitate gegeben hatte.

In einem Fall fragten die Forscher ChatGPT, wie man spinale Injektionsdosen des Muskelspasmus-Medikaments Baclofen in entsprechende orale Dosen umwandeln könne. Grossmans Team konnte kein wissenschaftlich fundiertes Dosisumrechnungsverhältnis finden, ChatGPT legte jedoch ein einziges Umrechnungsverhältnis vor und zitierte die Leitlinien zweier medizinischer Organisationen, sagte sie.

Allerdings gibt keine der beiden Organisationen offizielle Leitlinien zur Dosisumrechnungsrate. Tatsächlich wurde der von ChatGPT vorgeschlagene Umrechnungsfaktor nie wissenschaftlich nachgewiesen. Die Software lieferte auch eine Beispielberechnung für die Dosisumrechnung, allerdings mit einem kritischen Fehler: Bei der Berechnung der oralen Dosis wurden Einheiten verwechselt, wodurch die Dosisempfehlung um den Faktor 1.000 verfälscht wurde.

Wenn diese Anleitung von einem medizinischen Fachpersonal befolgt würde, sagte Grossman, könnte es einem Patienten eine orale Baclofen-Dosis geben, die 1.000-mal niedriger als erforderlich ist, was zu Entzugserscheinungen wie Halluzinationen und Krampfanfällen führen könnte.

„Bei dieser Reaktion gab es zahlreiche Fehler und „Probleme“, und letztendlich könnte sie tiefgreifende Auswirkungen auf die Patientenversorgung haben“, schrieb sie.

Die Studie der Long Island University ist nicht die erste, die Bedenken hinsichtlich der fiktiven Zitate von ChatGPT äußert. Vorherige Forschung hat auch dokumentiert, dass ChatGPT bei medizinischen Fragen irreführende Fälschungen wissenschaftlicher Referenzen erstellen und sogar die Namen echter Autoren mit früheren Veröffentlichungen in wissenschaftlichen Fachzeitschriften auflisten kann.

Grossman, der vor der Studie wenig mit der Software gearbeitet hatte, war überrascht, wie sicher ChatGPT in der Lage war, Informationen fast augenblicklich zu synthetisieren, Antworten, für deren Zusammenstellung geschulte Fachleute Stunden gebraucht hätten.

„Die Antworten waren sehr professionell und raffiniert formuliert und es schien, als könne dies zu einem Gefühl des Vertrauens in die Genauigkeit des Tools beitragen“, sagte sie. „Ein Benutzer, ein Verbraucher oder andere, die möglicherweise nicht in der Lage sind, etwas zu erkennen, können durch den Anschein von Autorität beeinflusst werden.“

Ein Sprecher von OpenAI, der Organisation, die ChatGPT entwickelt, sagte, sie rate Benutzern, sich nicht auf Antworten als Ersatz für professionelle medizinische Beratung oder Behandlung zu verlassen.

Der Sprecher verwies auf die Nutzung von ChatGPT Richtlinien, die darauf hinweisen, dass „die Modelle von OpenAI nicht darauf abgestimmt sind, medizinische Informationen bereitzustellen.“ In der Richtlinie heißt es außerdem, dass die Modelle niemals zur Bereitstellung von „Diagnose- oder Behandlungsdiensten für schwerwiegende Erkrankungen“ verwendet werden sollten.

Obwohl Grossman sich nicht sicher war, wie viele Menschen ChatGPT nutzen, um Fragen zu Medikamenten zu beantworten, äußerte sie Bedenken, dass sie den Chatbot so verwenden könnten, als würden sie in Suchmaschinen wie google nach medizinischem Rat suchen.

„Die Leute suchen immer nach sofortigen Antworten, wenn sie dies zur Hand haben“, sagte Grossman. „Ich denke, dass dies nur ein weiterer Ansatz ist, ‚Dr. „Google“ und andere scheinbar einfache Methoden zur Informationsbeschaffung.“

Für medizinische Online-Informationen empfahl sie den Verbrauchern, staatliche Websites zu nutzen, die seriöse Informationen bereitstellen, beispielsweise die der National Institutes of Health Medline Plus Seite.

Dennoch glaubt Grossman nicht, dass Online-Antworten den Rat eines medizinischen Fachpersonals ersetzen können.

„[Websites are] Vielleicht ein Ansatzpunkt, aber sie können ihre Anbieter aus dem Spiel nehmen, wenn sie nach Informationen über Medikamente suchen, die direkt auf sie anwendbar sind“, sagte sie. „Aber es kann sein, dass es aufgrund ihres persönlichen Falles nicht auf die Patienten selbst anwendbar ist, und jeder Patient ist anders. Daher sollte die Autorität hier nicht aus dem Blickfeld geraten: das medizinische Fachpersonal, der verschreibende Arzt, die Ärzte des Patienten.“