26. Oktober 2023
1 Minute gelesen
Die zentralen Thesen:
- Die Gesamtgenauigkeit von chatgpt 4.0 betrug 80 %, obwohl einige Details fehlten oder Informationen veraltet waren.
- Die vom Chatbot bereitgestellten Referenzen waren für 33 % der Antworten passend.
VANCOUVER, British Columbia – ChatGPT 4.0 hatte eine Gesamtgenauigkeit von 80 % bei seinen Antworten auf Fragen zum Reizdarmsyndrom, obwohl der Chatbot einer Untersuchung zufolge immer noch einige Details übersah oder veraltete Informationen bereitstellte.
„Die Nutzung von ChatGPT wird wahrscheinlich zunehmen“ Anthony Lembo, MD, Studienautor und Forschungsleiter am Digestive Disease Institute der Cleveland Clinic, sagte Healio. „Patienten und Ärzte sollten sich der Richtigkeit der Informationen bewusst sein, die sie erhalten.“
Um die Genauigkeit der von ChatGPT 4.0 gegebenen Antworten und Referenzen auf Fragen zu Reizdarmsyndrom zu untersuchen, nutzten Lembo und Kollegen google Trends, um verwandte Suchanfragen der letzten fünf Jahre zu identifizieren, und entwickelten auf der Grundlage dieser Suchanfragen 15 Fragen. Jede Frage wurde dann in ChatGPT 4.0 eingegeben und das Modell wurde gebeten, Referenzen für generierte Antworten bereitzustellen.
Drei unabhängige Gastroenterologen bewerteten die Antworten von ChatGPT, die anhand von zwei Bewertungssystemen bewertet wurden: einer Gesamtbewertung (genau oder ungenau) und einer detaillierten Bewertung (100 % genau, 100 % ungenau, genau mit fehlenden Informationen oder teilweise ungenau). Die Referenzen des Chatbots wurden ebenfalls als geeignet, ungeeignet (vorhanden, aber ohne Bezug zur Antwort) oder nicht vorhanden eingestuft.
Den Ergebnissen zufolge, die auf der jährlichen wissenschaftlichen Jahrestagung der ACG vorgestellt wurden, hatte ChatGPT 4.0 eine Gesamtgenauigkeit von 80 %, wobei die detaillierte Bewertung zeigte, dass 53 % der Antworten korrekt waren, 33 % teilweise ungenau und 13 % korrekt waren, aber Informationen fehlten. Keine der Antworten war völlig ungenau.
„Bei häufigen Fragen von Reizdarmsyndrom-Patienten liefert ChatGPT im Allgemeinen korrekte Patienteninformationen für Reizdarmsyndrom“, sagte Lembo. „ChatGPT hat einige Details übersehen und veraltete Informationen bereitgestellt, aber keine völlig ungenauen Informationen.“
Darüber hinaus waren die von ChatGPT bereitgestellten Referenzen für 33 % der Antworten geeignet, für 53 % ungeeignet und für 13 % nicht vorhanden, berichteten Forscher.
Obwohl ChatGPT für medizinisches Fachpersonal hinsichtlich der Literaturrecherche und Referenzierung problematisch bleibt, könnte ChatGPT mit seiner Verbesserung „eine wichtige Referenz für Patienten sein“, sagte Lembo gegenüber Healio. „ChatGPT hat auch das Potenzial, Ärzten bei der Beantwortung von Patientenfragen zu helfen, die über Datensätze wie EPIC MyChart gesendet werden.“
