San Francisco: Forscher sagten, dass der KI-Chatbot chatgpt 3.5 von OpenAI unangemessene („nicht übereinstimmende“) Empfehlungen zur Krebsbehandlung lieferte, was die Notwendigkeit eines Bewusstseins für die Grenzen der Technologie unterstreicht, wie eine neue Studie gezeigt hat.

Laut der in der Fachzeitschrift JAMA Oncology veröffentlichten Studie veranlassten die Forscher den KI-Chatbot, Behandlungsempfehlungen zu geben, die den Richtlinien des National Comprehensive Cancer Network (NCCN) entsprachen.

„ChatGPT-Antworten können sehr menschlich klingen und sehr überzeugend sein. Aber wenn es um die klinische Entscheidungsfindung geht, gibt es so viele Feinheiten für die individuelle Situation jedes Patienten. Eine richtige Antwort kann sehr differenziert sein und muss nicht unbedingt etwas sein.“ ChatGPT oder ein anderes großes Sprachmodell können dies bereitstellen“, sagte die korrespondierende Autorin Danielle Bitterman, MD, von der Abteilung für Radioonkologie am US-amerikanischen Mass General Brigham.

Die Forscher konzentrierten sich auf die drei häufigsten Krebsarten (Brust-, Prostata- und Lungenkrebs) und forderten ChatGPT auf, für jede Krebsart einen Behandlungsansatz basierend auf der Schwere der Erkrankung bereitzustellen.

Insgesamt enthielten sie 26 eindeutige Diagnosebeschreibungen und verwendeten vier leicht unterschiedliche Eingabeaufforderungen.

Der Studie zufolge umfassten fast alle Antworten (98 Prozent) mindestens einen Behandlungsansatz, der den NCCN-Richtlinien entsprach. Die Forscher stellten jedoch fest, dass 34 Prozent dieser Antworten auch eine oder mehrere nicht übereinstimmende Empfehlungen enthielten, die bei ansonsten fundierten Leitlinien manchmal schwer zu erkennen waren.

In 12,5 Prozent der Fälle führte ChatGPT zu „Halluzinationen“ oder zu einer Behandlungsempfehlung, die in den NCCN-Richtlinien völlig fehlte und Empfehlungen zu neuartigen Therapien oder kurativen Therapien für nicht heilbare Krebsarten enthielt.

Die Forscher gaben an, dass diese Form der Fehlinformation die Erwartungen der Patienten an die Behandlung falsch beeinflussen und sich möglicherweise auf die Beziehung zwischen Arzt und Patient auswirken kann.

„Benutzer werden wahrscheinlich Antworten von den LLMs suchen, um sich über gesundheitsbezogene Themen weiterzubilden – ähnlich wie die google-Suche verwendet wurde. Gleichzeitig müssen wir das Bewusstsein dafür schärfen, dass LLMs nicht das Äquivalent zu ausgebildeten medizinischen Fachkräften sind.“ sagte der Erstautor Shan Chen, MS, vom Programm Künstliche Intelligenz in der Medizin (AIM).