Forscher der CHU Sainte-Justine und des Montreal Children’s Hospital stellten kürzlich 20 medizinische Fragen an chatgpt. Die KI-Engine lieferte ihnen Antworten von … begrenzter Qualität, einschließlich sachlicher Fehler und erfundener Referenzen. Die Ergebnisse ihrer Forschung veröffentlichten sie kürzlich in Mayo Clinic Proceedings: Digital Health.

„Diese Ergebnisse sind alarmierend, wenn man bedenkt, dass Vertrauen eine Säule der wissenschaftlichen Kommunikation ist“, sagt Dr. Jocelyn Gravel, Hauptautorin der Studie und Notärztin am CHU Sainte-Justine. „ChatGPT-Benutzer sollten die bereitgestellten Referenzen genau prüfen, bevor sie sie in medizinische Manuskripte integrieren.“

Die Forscher wenden sich an Wissenschaftler, die versucht wären, das ChatGPT-Modell der künstlichen Intelligenz zum Verfassen medizinischer Texte zu verwenden, und empfehlen ihnen, ihre Fragen einem Fachmann zu stellen.

Für diese Studie, die als erste die Qualität und Genauigkeit der von ChatGPT bereitgestellten Referenzen bewertete, habe die Gruppe ihre Fragen aus bestehenden Studien gezogen und ChatGPT gebeten, ihre Antworten mit Referenzen zu untermauern. Anschließend ließen die Forscher die Antworten der Software von den Autoren der Artikel, aus denen die Fragen stammten, auf einer Skala von 0 bis 100 % bewerten.

17 Autoren erklärten sich bereit, die Antworten zu prüfen. Sie beurteilten sie als von fragwürdiger Qualität (mittlerer Wert von 60 %). Außerdem stellten sie fünf große und sieben kleinere sachliche Fehler fest. ChatGPT schlug beispielsweise vor, ein entzündungshemmendes Medikament durch Injektion zu verabreichen, obwohl es stattdessen eingenommen werden sollte. Ein weiteres Beispiel: Es verzehnfachte die weltweite Sterblichkeitsrate im Zusammenhang mit Infektionen durch Shigella-Bakterien.

Von den angegebenen Referenzen waren 69 % frei erfunden, schienen aber dennoch wahr zu sein. 95 % von ihnen verwendeten den Namen von Autoren, die bereits Artikel zu einem verwandten Thema veröffentlicht hatten, oder von anerkannten Organisationen wie den Centers for Disease Control and Prevention oder der Food and Drug Administration. Sie alle trugen einen zum Thema der Ausgabe passenden Titel und verwendeten die Namen bekannter Zeitungen oder Websites. Und selbst die echten Referenzen waren problematisch, fast die Hälfte davon mit Fehlern.

Die Forscher befragten ChatGPT zur Richtigkeit der bereitgestellten Referenzen. In einem Fall behauptete er, dass „Referenzen auf Pubmed verfügbar sind“, indem er einen Weblink bereitstellte, der auf andere, nicht verwandte Veröffentlichungen verwies. In einem anderen Fall antwortete die Software: „Ich bemühe mich, die genauesten und aktuellsten Informationen bereitzustellen, die mir zur Verfügung stehen, es können jedoch Fehler oder Ungenauigkeiten auftreten.“

Laut Dr. Esli Osmanlliu, Notarzt am Montreal Children’s Hospital und Wissenschaftler im Programm für Kindergesundheit und menschliche Entwicklung am Forschungsinstitut des McGill University Health Centre: „Die Bedeutung korrekter Referenzen in der Wissenschaft ist unbestreitbar.“ Die Qualität und der Umfang der in authentischen Studien bereitgestellten Referenzen zeigen, dass die Forscher eine gründliche Literaturrecherche durchgeführt haben und mit dem Thema vertraut sind. Dieser Prozess trägt dazu bei, Erkenntnisse in den Kontext früherer Arbeiten zu integrieren, ein grundlegender Aspekt der Weiterentwicklung der medizinischen Forschung. Es ist eine Sache, keine Referenzen anzugeben, aber das Erstellen gefälschter Referenzen würde für Suchende als Betrug gelten. »

„Forscher, die ChatGPT verwenden, könnten durch Fehlinformationen in die Irre geführt werden, da klare, scheinbar konsistente und stilistisch ansprechende Referenzen minderwertige Inhalte verbergen können“, fährt der Forscher fort.