Laut einem neuen Forschungsbrief, der in veröffentlicht wurde, lieferte chatgpt-4, die neueste Version des äußerst beliebten dialogbasierten Modells der künstlichen Intelligenz (KI) von Open AI, bei der Beantwortung von Fragen zur Echokardiographie eine „geringe Leistung“. JACC: Kardiovaskuläre Bildgebung.[1]

„ChatGPT verfügt über die Fähigkeit, schnell kuratierte Inhalte zu generieren, was seine Verwendung als Schreibwerkzeug und in einigen Fällen auch als Autor ermöglicht“, schrieb Co-Autor Arun Umesh Mahtani, MDmit der Abteilung für Innere Medizin am Medizinisches Zentrum der Universität Richmond, und Kollegen. „Momentan, JACC Zeitschriften verbieten die Verwendung von Large Language Models (LLMs) und anderen KI-Methoden für das Schreiben und die Autorenschaft, verlangen jedoch bei Nutzung Offenlegung und Verantwortung für die Datenintegrität. Gleichzeitig wird erwartet, dass sich der Einsatz von LLMs im Verlagswesen weiterentwickeln wird.“

Mahtani et al. hat ChatGPT gebeten, 150 Fragen zu beantworten, die man in einer Board-Zertifizierungsprüfung finden könnte, und die Antworten auf eine Weise zu erklären, die ein vollständiges Verständnis des in einem beliebten Lehrbuch enthaltenen Wissens suggeriert. Klinische Echokardiographie-Überprüfung: Ein Selbstbewertungstool. Dazu gehörten offene Fragen (OE), Multiple-Choice-Fragen ohne erzwungene Begründung (MC-NJ) und Multiple-Choice-Fragen mit erzwungener Begründung (MC-J). Während es sich bei einigen der 150 Fragen um klinische Vignetten handelte, handelte es sich bei anderen um faktenbasierte oder formelbasierte Fragen.

Insgesamt lieferte ChatGPT akzeptable Antworten auf 47,3 % der OE-Fragen, 53,3 % der MC-NJ-Fragen und 55,3 % der MC-J-Fragen. Von den OE-Fragen, die richtig beantwortet wurden, handelte es sich bei 81,6 % um faktenbasierte Fragen, bei 12,6 % um klinische Vignetten und bei 5,6 % um formelbasierte Fragen. Eine ähnliche Aufteilung wurde bei MC-NJ- und MC-J-Fragen beobachtet.