Während Chatbots mit künstlicher Intelligenz (KI) wie Chat Generative Pretrained Transformer (chatgpt), die auf Large Language Models (LLMs) basieren, im Bereich der Dermatologie Fortschritte gemacht haben, mangelt es ihrer Genauigkeit und Benutzererfahrung im Bereich der Dermatoonkologie zu einer aktuellen Studie.¹

In dieser Studie werden die möglichen Anwendungen im Zusammenhang mit aktinischer Keratose (AK) untersucht und die Einstellungen und Benutzererfahrungen von Klinikern in Bezug auf den Chatbot bewertet.

Zu den Hauptzielen der Studie gehört die Bewertung der Zuverlässigkeit von ChatGPT als Informationsquelle für AK sowie die Messung der Einstellungen und Erfahrungen von Dermatologen bei der Interaktion mit dem Chatbot.

Die Forscher haben eine Reihe von 38 klinischen Fragen zusammengestellt, die Bereiche im Zusammenhang mit der Patientenaufklärung, Diagnose und Behandlung von AK abdecken. Diese Fragen wurden an ChatGPT gestellt, das dann Antworten generierte. Diese Antworten wurden von einem Gremium aus sieben Dermatologen auf sachliche Richtigkeit, Aktualität der Informationen und Vollständigkeit bewertet. Darüber hinaus wurde die Einstellung von Dermatologen zu ChatGPT mithilfe eines User Experience Questionnaire (UEQ) bewertet.

Die Ermittler fanden heraus, dass ChatGPT auf 31,6 % der Fragen genaue, aktuelle und vollständige Antworten lieferte. Am besten schnitt es bei der Bereitstellung von Informationen zur Patientenaufklärung ab, wobei 57,9 % der Antworten in dieser Kategorie als zutreffend bewertet wurden.

Im Gegensatz dazu war die Leistung bei diagnose- und behandlungsbezogenen Fragen mit nur 37,5 % bzw. 27,3 % Genauigkeitsrate unterdurchschnittlich. Der Chatbot lieferte häufig ausführliche Antworten mit einer durchschnittlichen Wortanzahl von 198 und übermittelte manchmal unnötig beunruhigende Informationen, stellten die Autoren der Studie fest.

Die Auswertung der Benutzererfahrung ergab, dass Dermatologen ChatGPT als effizient und attraktiv empfanden und hinsichtlich Geschwindigkeit und Benutzerfreundlichkeit eine hohe Punktzahl erzielten. Allerdings wurden die Antworten des Chatbots als ausführlich und oft inkonsistent angesehen, was seine allgemeine Zuverlässigkeit beeinträchtigte.

Allerdings unterstreicht die Studie auch mehrere Einschränkungen von ChatGPT.

Eine wesentliche Einschränkung, die von den Studienautoren festgestellt wurde, ist die mangelnde sachliche Genauigkeit des Chatbots, die auf die Art der für LLMs verwendeten Trainingsdaten zurückzuführen ist. Den Trainingsdaten von ChatGPT (bis zum vierten Quartal 2021) mangelt es an Kuratierung, was zu unvollständigen und veralteten Informationen führt. Dadurch sind die Antworten des Chatbots je nach Thema unterschiedlich genau.

„Derzeit bietet ChatGPT einen kurzsichtigen Einblick in das langfristige Potenzial von Chatbots als DHT [digital health technology]. Während ChatGPT derzeit unter Unzuverlässigkeit und Geschwätzigkeit leidet und derzeit kein völlig zuverlässiges Tool für Kliniker ist, gibt es bereits mehrere konkrete Möglichkeiten, diese Mängel zu beheben“, schreiben die Autoren der Studie. „Mit zuverlässigeren LLMs, die auf kuratierter und zuverlässiger Medizin geschult sind.“ -Domänentext sowie algorithmische Strategien, die die sachliche Konsistenz und den Datenschutz verbessern, können Chatbots das Arsenal digitaler Tools für Ärzte bereichern, die Patienten mit AK betreuen.“

Referenz

1. Lent HC, Ortner VK, Karmisholt KE, et al. Ein Gespräch über aktinische Keratose: Untersuchung der Fähigkeiten und Benutzererfahrung von Chatgpt als digitale Gesundheitstechnologie in der Dermatoonkologie. JEADV Clin Prac. Online veröffentlicht am 27. Oktober 2023. doi:10.1002/jvc2.263