Im November 2022 veröffentlichte die Forschungsorganisation für künstliche Intelligenz OpenAI ihren Chatbot chatgpt. Das System basiert auf einem großen Sprachmodell, das Antworten erzeugt, wenn eine Eingabe in natürlicher Sprache erfolgt. Die neuartige Technologie war seit ihrem Debüt Gegenstand zahlreicher Diskussionen, da sie potenzielle Auswirkungen auf eine Vielzahl von Branchen, einschließlich des Gesundheitssektors, haben könnte.
Zwei Poster, die auf dem Midyear Clinical Meeting and Exhibition 2023 der American Society of Health-System Pharmacists präsentiert wurden, untersuchten die Genauigkeit von ChatGPT, indem sie seine Antworten auf Fragen zu Arzneimittelinformationen untersuchten.
In der ersten Studie führte eine Gruppe von Arzneimittelinformationsspezialisten der Long Island University eine Studie durch, in der die Fähigkeit von ChatGPT bewertet wurde, genaue und vollständige Antworten auf Fragen zu Arzneimittelinformationen zu geben. Das Team sammelte von Januar 2022 bis April 2023 45 Fragen und durchsuchte im Mai 2023 Fachliteratur nach Antworten. Die Antworten wurden von einem zweiten Ermittler überprüft und dienten als Standard für ChatGPT-Antworten.1
Anschließend wurde eine unabhängige Checkliste erstellt, um die Antworten der Ermittler mit denen von ChatGPT zu vergleichen. Die Fragen wurden in den Chatbot eingegeben, ein weiterer fragte nach Referenzen. Das wichtigste Studienergebnis war die Fähigkeit von ChatGPT, eine zufriedenstellende Antwort zu geben.
Die Ermittler stellten fest, dass ChatGPT 10 von 39 Fragen zufriedenstellend beantwortete. Die drei häufigsten Fragen betrafen Therapeutika, Zusammensetzung/Formulierung und Dosierung. Zu den Antworten von ChatGPT gehörten mangelnde Genauigkeit und Vollständigkeit. Von 29 Fragen, die nicht zufriedenstellend beantwortet wurden, hatte der Chatbot auf 11 keine Antwort parat, sondern lieferte stattdessen allgemeine Hintergrundinformationen.
Darüber hinaus lieferte ChatGPT nur Referenzen in 8 der 28 Fragen, die eine direkte Antwort erhielten. Die Ermittler stellten jedoch fest, dass jede der vom Chatbot aufgeführten Referenzen tatsächlich nicht existierte.
„In dieser Studie war ChatGPT nicht in der Lage, auf die meisten Fragen, die einem Drogeninformationsdienst gestellt wurden, eine genaue und vollständige Antwort zu geben“, schlussfolgerten die Autoren. „Gesundheitsfachkräfte und Verbraucher sollten vorsichtig sein, ChatGPT zu verwenden, um medikamentenbezogene Informationen zu erhalten.“
In der zweiten Studie führten Forscher der Iwate Medical University in Japan eine Querschnitts-Beobachtungsstudie durch, um Arzneimittelinformationen zu Nebenwirkungen von ChatGPT mit Lexicomp zu vergleichen. Für die Studie wurden insgesamt 30 von der FDA zugelassene Medikamente ausgewählt und von April bis Juni 2023 in ChatGPT eingegeben.2
Jedes Medikament wurde mit derselben Frage in den Chatbot eingegeben; „Was sind die häufigsten Nebenwirkungen des ausgewählten Arzneimittels?“ Die Reaktion wurde dann mit Arzneimittelinformationen verglichen, die in Lexicomp mit einer Häufigkeit von 1 % oder mehr aufgeführt sind. Die ChatGPT-Antworten wurden als „genau“, „teilweise richtig“ oder „ungenau“ kategorisiert.
Die Ermittler stellten fest, dass 26 der 30 Antworten von ChatGPT ungenau, 2 teilweise korrekt und 2 korrekt waren. Einige der in Lexicomp aufgeführten häufigen Nebenwirkungen von Medikamenten waren in den Antworten des Chatbots nicht enthalten. Allerdings wies ChatGPT in seinen Antworten darauf hin, dass man sich für weitere Beratung an einen Gesundheitsdienstleister wenden sollte.
Darüber hinaus wurde festgestellt, dass die Antworten von ChatGPT auf einem einfachen Niveau verfasst waren und leicht verständlich waren.
Zu den Einschränkungen der Studie gehörte, dass die Nebenwirkungen des Arzneimittels nur von einem Apotheker bewertet wurden. Die Autoren stellten fest, dass eine größere und kontrolliertere Studie zu einer allgemeingültigeren Schlussfolgerung führen könnte.
„Während ChatGPT einige häufige Nebenwirkungen hervorrief, die mit den Informationen von Lexicomp übereinstimmten, waren die meisten Antworten ungenau“, schlussfolgerten die Autoren. „ChatGPT muss auf genauere und kontrollierte Datensätze trainiert werden, um eine höhere Genauigkeit zu erzielen und in Zukunft ein praktikableres Tool für Arzneimittelinformationen und medizinische Aufklärung für Patienten und medizinisches Fachpersonal zu werden.“
