Chatbots mit künstlicher Intelligenz (KI) ChatGPT-3 und ChatGPT-4 bestehen die Selbsteinschätzungstests nicht American College of Gastroenterology (ACG)2021 und 2022, anhand derer geprüft wird, ob der Testteilnehmer die Prüfung selbst bewältigen kann. Während des Tests müssen mindestens 70 % der richtigen Antworten erreicht werden, bei KI-Diensten fehlten 5–8 % dieser Note, schreibt er MobiHealthNews mit Bezug auf lernenveröffentlicht im American Journal of Gastroenterology.

Selbsteinschätzungstests ACG Enthält 300 Multiple-Choice-Fragen. Die Forscher wählten 455 Fragen aus, mit Ausnahme derjenigen, die mit Bildern versehen waren. Als nächstes kopierten sie diese und fügten sie mit den Antwortmöglichkeiten in das Feld „Kommunikation“ mit dem Chatbot ein. Als Ergebnis des Tests gab ChatGPT-3 296 richtige Antworten und ChatGPT-4 – 284.

Die Forscher stellten fest, dass die niedrige Punktzahl von ChatGPT auf einen fehlenden Zugang zu kostenpflichtigen medizinischen Fachzeitschriften oder veraltete Informationen in seinem System zurückzuführen sein könnte. Ihrer Meinung nach sind weitere Tests erforderlich, bevor diese Dienste sicher in der Ausbildung von Gastroenterologen eingesetzt werden können.