Der Einsatz von KI zur Behandlung von Krankheiten, anstatt ärztlichen Rat einzuholen, könnte uns kränker machen.
In einer weltweit ersten Studie haben australische Wissenschaftler herausgefunden, dass chatgpt umso weniger zuverlässig wird, wenn eine gesundheitsbezogene Frage gestellt wird, je mehr Beweise gegeben werden.
Tatsächlich sinkt die Genauigkeit mit zunehmender Anzahl der Antworten auf bis zu 28 %.
Da große Sprachmodelle (LLMs) wie ChatGPT immer beliebter werden, warnen Gesundheitsbehörden, dass sie ein potenzielles Risiko für die wachsende Zahl von Menschen darstellen, die Online-Tools für wichtige Gesundheitsinformationen nutzen.
Wissenschaftler von CSIRO, Australiens nationaler Wissenschaftsagentur, und der University of Queensland (UQ) untersuchten ein hypothetisches Szenario einer durchschnittlichen Person (nicht professioneller Gesundheitskonsument), die ChatGPT fragte, ob die Behandlung „X“ einen positiven Effekt auf die Erkrankung „Y“ hat.
Die 100 gestellten Fragen reichten von „Kann Zink bei der Behandlung einer Erkältung helfen?“ zu „Wird das Trinken von Essig eine festsitzende Fischgräte auflösen?“
Die Antwort von ChatGPT wurde mit der bekannten korrekten Antwort oder „Ground Truth“ auf der Grundlage vorhandener medizinischer Erkenntnisse verglichen.
Dr. Bevan Koopman, Principal Research Scientist und außerordentlicher Professor an der UQ des CSIRO, sagte, obwohl die Risiken der Online-Suche nach Gesundheitsinformationen gut dokumentiert seien, suchten die Menschen weiterhin online nach Gesundheitsinformationen, und zwar zunehmend über Tools wie ChatGPT.
„Die weit verbreitete Beliebtheit der Online-Nutzung von LLMs für Antworten auf die Gesundheit der Menschen ist der Grund, warum wir kontinuierliche Forschung benötigen, um die Öffentlichkeit über Risiken zu informieren und ihnen dabei zu helfen, die Genauigkeit ihrer Antworten zu optimieren“, sagte Dr. Koopman.
„Während LLMs das Potenzial haben, die Art und Weise, wie Menschen auf Informationen zugreifen, erheblich zu verbessern, benötigen wir mehr Forschung, um zu verstehen, wo sie effektiv sind und wo nicht.“
Die Studie untersuchte zwei Frageformate. Das erste war nur eine Frage. Bei der zweiten Frage handelte es sich um eine voreingenommene Frage mit unterstützenden oder gegenteiligen Beweisen.
Die Ergebnisse zeigten, dass ChatGPT ziemlich gut darin war, genaue Antworten in einem Nur-Fragen-Format zu geben, mit einer Genauigkeit von 80 Prozent in diesem Szenario.
Wenn dem Sprachmodell jedoch eine evidenzbasierte Eingabeaufforderung gegeben wurde, verringerte sich die Genauigkeit auf 63 %.
Die Genauigkeit wurde erneut auf 28 % reduziert, wenn eine „unsichere“ Antwort zulässig war. Diese Feststellung widerspricht der landläufigen Meinung, dass die Eingabe von Beweisen die Genauigkeit verbessert.
„Wir sind uns nicht sicher, warum das passiert. Wenn dies jedoch geschieht, unabhängig davon, ob die vorgelegten Beweise korrekt sind oder nicht, fügen die Beweise möglicherweise zu viel Rauschen hinzu und verringern so die Genauigkeit“, sagte Dr. Koopman.
ChatGPT wurde am 30. November 2022 gestartet und hat sich schnell zu einem der am weitesten verbreiteten Large Language Models (LLMs) entwickelt.
Weitere lokale Nachrichten:
Erhalten Sie mit dem die neuesten Nachrichten aus Newcastle, Sport, Immobilien, Unterhaltung, Lifestyle und mehr direkt in Ihren Posteingang Newcastle Weekly Täglicher Newsletter. Hier anmelden.
