Forscher des CHU Sainte-Justine und des Montreal Children’s Hospital testeten den berühmten Konversationsroboter und stellten eine sehr hohe Fehlerquote fest: erfundene wissenschaftliche Referenzen, schlechte Ratschläge, ungenaue Informationen, fehlerhafte Zitate …

Gepostet um 19:30 Uhr.

Wir wussten, dass ChatGPT und andere Roboter mit künstlicher Intelligenz Unwahrheiten erzeugen könnten, aber die Folgen sind viel schwerwiegender, wenn es um die menschliche Gesundheit geht.

„Ich war ein wenig überrascht“, gibt der D zu^R Jocelyn Gravel, Notärztin am CHU Sainte-Justine und Hauptautorin der gerade veröffentlichten Studie. „ChatGPT schreibt sehr gut, aber manchmal spricht es wahllos und zeigt es nicht! »

Sein Kollege und Co-Autor der Studie, Dr.^R Esli Osmanlliu, Notarzt am Montreal Children’s Hospital und Wissenschaftler am Forschungsinstitut des McGill University Health Center, fügt hinzu, dass dies eine Erinnerung daran sei, dass ChatGPT „nicht alles reparieren wird“.

„Diese Modelle wurden entwickelt, um vorherzusagen, dass das nächste Wort sein wird X, j oder z, er erklärt. Sie wurden nicht auf sachliche Richtigkeit hin entwickelt. »

„Ein Anschein von Intelligenz“

Zur Evaluierung der Software gingen die Forscher in zwei Schritten vor. Sie stellten zunächst 20 medizinische Fragen an ChatGPT, die aus 20 kürzlich veröffentlichten wissenschaftlichen Arbeiten stammten. Sie baten ihn, mit Referenzen zu antworten. Anschließend übermittelten sie die Antworten den Autoren der betreffenden Artikel, um die Qualität und Richtigkeit der Antworten auf einer Skala von 0 bis 100 % zu bewerten.

„Wir hätten die Antworten selbst auswerten können“, unterstreicht der D^R Kies. Aber ich habe mir gesagt, dass der beste Experte für ein Forschungsthema jemand ist, der gerade zu diesem Thema veröffentlicht hat. »

Ergebnis: In den Antworten wurden fünf „schwerwiegende“ sachliche Fehler gefunden und 70 % der angegebenen Referenzen wurden von Grund auf neu erstellt.

Am Ende der Übung beträgt die mittlere Punktzahl für ChatGPT 60 %.

„Manchmal wird uns ChatGPT als eine Maschine präsentiert, die sich wie ein Mensch verhält“, fügt der D hinzu^R Osmanliu. Aber wir verstehen, dass es am Ende rohe Gewalt ist, die den Anschein von Intelligenz erweckt. Wird es sich weiterentwickeln? Wird es besser? Sicherlich. Aber es ist noch kein Werkzeug, das mit Intelligenz ausgestattet ist. »

Unwahrheiten

Eine der gestellten Fragen lautete: Was ist die Standardbehandlung für ein Kind mit eosinophiler Ösophagitis (Reizung der Speiseröhre)?

In seiner Antwort schlug ChatGPT Kortisoninjektionen vor. Allerdings solle dieses Medikament nicht gespritzt, sondern eingenommen werden, präzisiert der D^R Kies.

Eine weitere Frage betraf die weltweite Sterblichkeitsrate im Zusammenhang mit Infektionen durch die Bakterien Shigella.

„Experten gehen davon aus, dass es jährlich wahrscheinlich 100.000 Todesfälle gibt Shigella, aber ChatGPT sagte, es seien eine Million gewesen, berichtet der Forscher. Es ist immer noch ein Faktor 10! Vielleicht hat ChatGPT recht, aber das sagen die Experten nicht. »

Auf die Frage nach der Richtigkeit der bereitgestellten Referenzen gab das Tool unterschiedliche Erklärungen ab.

In einem Fall sagte er, dass „Referenzen auf Pubmed verfügbar sind“, einer Website, die alle wissenschaftlichen Arbeiten weltweit zu einem bestimmten Thema auflistet. Der bereitgestellte Weblink verwies jedoch auf andere Beiträge, die nichts mit der Frage zu tun hatten.

Als wüsste er alles

Das Problem, bemerkt der D^R Der Nachteil besteht darin, dass sich ChatGPT so verhält, als wüsste es die Antworten auf alle Fragen.

„Wenn man mit ihm chattet, hat man wirklich das Gefühl, mit jemandem über Textnachrichten zu chatten“, sagt er. Aber wenn wir mit jemandem reden, ihm eine Frage stellen und er die Antwort nicht kennt, wird er uns sagen: Ich denke, das ist es, aber ich bin mir nicht sicher …

„ChatGPT ist das nicht. Wir stellen ihm eine Frage, er gibt uns eine Antwort. Die Antwort liegt möglicherweise vollständig im Feld und wir sehen keinen Unterschied. Und es ist sehr gut geschrieben. Es klingt sehr überzeugend, basiert aber auf nichts. Ich würde ihn nicht als zwanghaften Lügner bezeichnen, aber er hat fast immer eine Antwort. Er wird selten sagen: Auf diese Frage habe ich keine Antwort. Er wird eine Antwort geben, und wenn sie nicht gut ist, wird er sagen: „Ich liege zufällig falsch, es ist nicht schlimmer.“ Ich finde das etwas besorgniserregend. »