ChatGPT, ein von OpenAI entwickelter KI-Chatroboter, ist auf der ganzen Welt beliebt. Die neueste GPT-4-Antwort ist noch vollständiger und korrekter als GPT-3.5. Wenn Sie sich jedoch unwohl fühlen, müssen Sie dennoch eine ärztliche Diagnose einholen. Denken Sie nicht daran, ChatGPT um die Antwort zu bitten. Da ChatGPT die Prüfung des American College of Gastroenterology (ACG) nicht bestanden hat, wurde festgestellt, dass es den Patienten keine korrekten medizinischen Informationen liefern kann.

Ärzte des Feinstein Institute for Medical Research führten einen Forschungstest für die Selbstbewertungstests des American College of Gastroenterology 2021 und 2022 anhand des von OpenAI entwickelten GPT-3.5-Modells und des GPT-4-Systems durch. Die Multiple-Choice-Fragen des GPT-3.5-Modells und das GPT-4-System konnte bei der Analyse der von ChatGPT gegebenen Antworten die 70-Prozent-Schwelle zum Bestehen der Prüfung nicht erreichen.

Laut den Testergebnissen des Teams beantwortete die GPT-3.5-Version 65,1 % der 455 Fragen richtig, während die neueste GPT-4 62,4 % erreichte, aber es ist schwierig, den Grund für die Punktelücke zu erklären, da der Entwickler OpenAI sehr streng in Bezug auf die Art und Weise, wie das Modell trainiert wird. Vertraulich, nur einem Sprecher von OpenAI bekannt, beide ChatGPT-Modelle wurden auf Daten vom September 2021 trainiert, aber keines dieser Ergebnisse hat die Prüfung bestanden.

Arvind Trindade, außerordentlicher Professor am Feinstein Institute for Medical Research in den Vereinigten Staaten, sagte, dass die Punktzahl für die Bereitstellung medizinischer Beratung oder medizinischer Ausbildung zwar nicht weit von den 70 % entfernt sei, für Patienten jedoch über 95 % liegen sollte Ich glaube nicht, dass nur 70 % der Ärzte im medizinischen Bereich Verständnis haben. Daher sollten die Menschen medizinische Chatbots benötigen, um den hohen Standards von Ärzten gerecht zu werden. Andernfalls sollte davon ausgegangen werden, dass sie nicht in der Lage sind, Patienten mit korrekten medizinischen Informationen zu versorgen.

Die Beurteilungstests des American College of Gastroenterology werden als offizielle Prüfungspraxis für die Ausbildung von Ärzten verwendet, denn um ein zertifizierter Gastroenterologe zu werden, müssen Ärzte die American Board of Internal Medicine Gastroenterology Examination bestehen, die umfangreiches Wissen und Studium erfordert und nicht nur eine Antwort mit Intuition , aber ChatGPT ist eine fortschrittliche Technologie, aber sie ist nicht perfekt und neigt oft zur Illusion falscher Fakten, insbesondere zum Auftauchen von Nischenthemen, die möglicherweise nicht in den Trainingsdaten vorhanden sind.

Arvind wies darauf hin, dass die Grundfunktion von ChatGPT darin besteht, das nächste Wort in der Textzeichenfolge vorherzusagen, um die erwartete Antwort basierend auf den verfügbaren Informationen zu generieren. Es ist nicht erforderlich, ob die Informationen korrekt sind, und zum Trainieren von ChatGPT werden nur Netzwerkinformationen verwendet. Während für medizinische Informationen die besten Ressourcen wie medizinische Fachzeitschriften oder Datenbanken verwendet werden sollten, sind diese Ressourcen jedoch nicht leicht zu erhalten, da sie möglicherweise in der Paywall gesperrt sind, was dazu führt, dass ChatGPT möglicherweise keinen ausreichenden Zugriff auf Expertenwissen hat empfohlen, ChatGPT nicht in medizinischen Konsultationen zu verwenden.

(Erste Bildquelle: Shutterstock)

Weiterführende Literatur: