Laut einer Studie können Chatbots mit künstlicher Intelligenz wie chatgpt medizinische Fragen genau und zuverlässig beantworten.
Forscher der Vanderbilt University in Nashville, Tennessee, stellten 284 Fragen an den KI-gestützten Chatbot und stellten fest, dass er unabhängig von der Schwierigkeit der Fragen zuverlässige Antworten liefern konnte.
„[The] Chatbot erweist sich als vielversprechendes Werkzeug zur Bereitstellung präziser medizinischer Informationen im klinischen Umfeld“, schreiben die Forscher.
ChatGPT sorgte mit seiner Einführung im November für Schlagzeilen. Der KI-gestützte Chatbot wirbt damit, dass er mithilfe seiner Algorithmen Fragen beantworten und sogar Gespräche führen kann. Während einige hohe Erwartungen an den Chatbot in der Zukunft haben, weisen Skeptiker darauf hin, dass es sich bei vielen seiner Aussagen um offensichtliche Unwahrheiten handelt.
Forscher wollten die Genauigkeit des Bots bei Fragen im medizinischen Bereich testen. Für die Studie, veröffentlicht am Montag in JAMA-Netzwerk geöffnetstellten die Forscher 284 Fragen, die von 33 Ärzten aus 17 Fachgebieten entwickelt wurden. Die Chatbot-Antworten wurden dann von Ärzten beurteilt, die die Genauigkeit auf einer Skala von eins bis sechs bewerteten – wobei die höchste Punktzahl von sechs perfekte Genauigkeit anzeigte.
Insgesamt erzielte ChatGPT eine durchschnittliche Punktzahl von 5,5, also „zwischen fast vollständig und völlig richtig“, sagten Forscher. Die Fragen wurden je nach Schwierigkeitsgrad in drei Gruppen eingeteilt: „leicht“, „mittel“ und „schwer“. Im Durchschnitt erreichte der Chatbot bei einfachen Fragen die perfekte Punktzahl sechs, bei mittleren Fragen 5,5 und bei schwierigen Fragen fünf.
„[The] „Chatbot generierte weitgehend genaue Informationen zu verschiedenen medizinischen Fragen, wie akademische Mediziner beurteilen, mit zunehmender Verbesserung im Laufe der Zeit, obwohl es erhebliche Einschränkungen aufwies“, schrieb das Vanderbilt-Team.
Die Wissenschaftler sehen vielversprechende Ergebnisse und glauben sogar, dass diese Chatbots so verfeinert werden könnten, dass sie im klinischen Umfeld eingesetzt werden können.
Allerdings war die KI nicht perfekt. Sie berichten von „mehreren Fällen, in denen der Chatbot spektakulär und überraschend falsch lag“, was bedeutet, dass mehr Leitplanken erforderlich sind.
Sie kommen zu dem Schluss: „Daher ist die Verwendung der aktuellen Version des Chatbots zur Verbreitung medizinischen Wissens nicht ratsam und erfordert die Berücksichtigung seines Halluzinationspotenzials.“ [or provide made up answers] indem er selbstbewusst völlig falsche Schlussfolgerungen liefert. Allerdings schienen diese höchst fehlerhaften Antworten mit der Zeit dramatisch abzunehmen.“
