Auf einen Blick:

• In einer Studie wurden gravierende Einschränkungen bei KI-basierten Sprachassistenten zur Steuerung der HLW festgestellt.
• Um eine optimale HLW-Anleitung zu erhalten, empfehlen Experten, dass umstehende Personen die Notrufnummer 911 anrufen, anstatt KI-basierte Sprachassistenten zu verwenden.
• Eine andere Studie ergab, dass chatgpt keine zuverlässigen evidenzbasierten Empfehlungen für Krebsbehandlungen gab.
• Forscher weisen darauf hin, dass Patienten immer den Rat ihres Arztes einholen sollten, um eine möglichst genaue und individuelle Beratung zu erhalten.

Künstliche Intelligenz verspricht, die klinische Medizin neu zu gestalten und Patienten zu stärken, aber wenn es um Herz-Lungen-Wiederbelebung und Krebsbehandlungen geht, sind bestimmte KI-Tools noch nicht ganz ausgereift, so zwei separate Studien, die von Forschern der Harvard Medical School am Brigham and Women’s Hospital durchgeführt wurden.

KI-Sprachassistenten liefern bei HLW-Anweisungen unterdurchschnittliche Ergebnisse

Eine Studie, veröffentlicht am 28. August in JAMA-Netzwerk geöffnetstellte fest, dass die von KI-basierten Sprachassistenten bereitgestellten HLW-Anweisungen häufig nicht relevant waren und Inkonsistenzen aufwiesen.

Die Forscher stellten acht verbale Fragen an vier Sprachassistenten, darunter Alexa von Amazon, Siri von apple, google Assistant auf Nest Mini und Cortana von Microsoft. Sie haben die gleichen Abfragen auch in ChatGPT eingegeben. Alle Antworten wurden von zwei staatlich geprüften Notfallmedizinern ausgewertet.

Fast die Hälfte der Antworten der Sprachassistenten hatten nichts mit CPR zu tun, z. B. die Bereitstellung von Informationen zu einem Film namens CPR oder ein Link zu den Colorado Public Radio News. Nur 28 Prozent schlugen vor, den Notdienst anzurufen. Nur 34 Prozent der Antworten enthielten HLW-Anweisungen und 12 Prozent gaben mündliche Anweisungen. ChatGPT lieferte bei allen Anfragen der getesteten Plattformen die relevantesten Informationen. Basierend auf den Ergebnissen kamen die Autoren zu dem Schluss, dass der Einsatz bestehender KI-Sprachassistenten die Pflege verzögern und möglicherweise keine angemessenen Informationen liefern kann.

Die HLW wird außerhalb des Krankenhauses von ungeschulten Zuschauern durchgeführt und erhöht die Chance, einen Herzstillstand zu überleben zwei- bis viermal. Umstehende Personen können von Notfalldiensten Anweisungen zur Wiederbelebung erhalten, diese Dienste sind jedoch nicht überall verfügbar und werden möglicherweise nicht immer genutzt. In Notfällen bieten KI-Sprachassistenten möglicherweise einen einfachen Zugriff auf lebensrettende HLW-Anweisungen.

Was ist also das Endergebnis für Zivilisten, die möglicherweise in die Situation geraten, Erste Hilfe zu leisten?

„Unsere Ergebnisse deuten darauf hin, dass Umstehende den Rettungsdienst anrufen sollten, anstatt sich auf einen Sprachassistenten zu verlassen“, sagte der leitende Autor der Studie Adam LandmannHMS-Assoziierter Professor für Notfallmedizin bei Brigham and Women’s und Chief Information Officer und Senior Vice President für digitale Innovation bei Mass General Brigham.

„Sprachassistenten haben das Potenzial, bei der Bereitstellung von HLW-Anweisungen zu helfen, müssen jedoch über standardisiertere, evidenzbasierte Anleitungen verfügen, die in ihre Kernfunktionen integriert sind“, fügte Landman hinzu, der auch als behandelnder Notarzt tätig ist.

Die Ergebnisse sollten als Aufruf zum Handeln – und als Chance – für Technologieunternehmen beachtet werden, miteinander zusammenzuarbeiten und ihre Notfallreaktionen zu standardisieren, um die öffentliche Gesundheit zu verbessern, forderten Landman und Kollegen.

ChatGPT und Ratschläge zur Krebsbehandlung: Raum für Verbesserungen

In einer anderen Studie stellten HMS-Forscher von Brigham and Women’s fest, dass ChatGPT nur begrenzt in der Lage ist, Krebsbehandlungen auf der Grundlage nationaler Richtlinien zu empfehlen.

Die Studie wurde am 24. August veröffentlicht JAMA Onkologie, zeigte, dass ChatGPT 3.5 in fast einem Drittel der Fälle eine falsche Empfehlung lieferte. In einem Drittel der Antworten des Chatbots vermischten sich richtige und falsche Empfehlungen, was die Erkennung von Fehlern erschwerte, so die Autoren.

Für viele Patienten ist das Internet bereits ein leistungsstarkes Instrument zur Selbstbildung zu medizinischen Themen. Das KI-gestützte Tool ChatGPT wird mittlerweile zunehmend zur Erforschung medizinischer Themen eingesetzt. Die Forscher stellten jedoch fest, dass es keine konsistenten Empfehlungen zu Krebsbehandlungen lieferte, die den Leitlinien des National Comprehensive Cancer Network entsprachen.

Die Ergebnisse unterstreichen die Notwendigkeit, sich der Grenzen der Technologie bewusst zu werden und wie wichtig es ist, mit dem Arzt zusammenzuarbeiten, um die Behandlung individuell zu gestalten.

“Patienten sollten sich in der Lage fühlen, sich selbst über ihren Gesundheitszustand zu informieren, aber sie sollten immer mit einem Arzt darüber sprechen Ressourcen im Internet sollten nicht isoliert konsultiert werden“, sagte der leitende Autor der Studie Danielle BittermanHMS-Assistenzprofessor für Radioonkologie am Brigham and Women’s und Fakultätsmitglied der Programm für künstliche Intelligenz in der Medizin (AIM). bei Mass General Brigham.

„ChatGPT-Antworten können sehr nach menschlichem Eindruck klingen und ziemlich überzeugend sein, aber wenn es um die klinische Entscheidungsfindung geht, gibt es so viele Feinheiten für die individuelle Situation jedes Patienten“, fügte Bitterman hinzu. „Eine richtige Antwort kann sehr differenziert sein und nicht unbedingt etwas, was ChatGPT oder ein anderes großes Sprachmodell bieten kann.“

Daher, so warnen die Autoren, ist es von entscheidender Bedeutung, die Leistung von KI-Tools zu prüfen und sicherzustellen, dass sie den besten Erkenntnissen und neuesten Richtlinien entsprechen.

Die medizinische Entscheidungsfindung basiert auf mehreren Faktoren, aber die NCCN-Richtlinien werden von Ärzten und Institutionen häufig als Grundlage für diese Behandlungsentscheidungen verwendet, so die Autoren. Bitterman und Kollegen entschieden sich dafür, zu bewerten, inwieweit die Empfehlungen von ChatGPT mit diesen Richtlinien übereinstimmten. Sie konzentrierten sich auf die drei häufigsten Krebsarten (Brust, Prostata und Lunge) und forderten ChatGPT auf, für jede Krebsart einen Behandlungsansatz basierend auf der Schwere der Erkrankung bereitzustellen.

Insgesamt fügten die Forscher 26 eindeutige Diagnosebeschreibungen hinzu und verwendeten vier leicht unterschiedliche Eingabeaufforderungen, um ChatGPT um die Bereitstellung eines Behandlungsansatzes zu bitten, wodurch insgesamt 104 Eingabeaufforderungen generiert wurden.

98 Prozent der Antworten des Chatbots enthielten mindestens einen Behandlungsansatz, der den NCCN-Richtlinien entsprach. Allerdings enthielten 34 Prozent dieser Antworten auch eine oder mehrere nicht übereinstimmende Empfehlungen, die bei ansonsten soliden Leitlinien manchmal schwer zu erkennen waren.

Eine nicht übereinstimmende Behandlungsempfehlung wurde definiert als eine, die eine oder mehrere teilweise richtige oder falsche Empfehlungen enthielt. Beispielsweise wäre bei einem lokal fortgeschrittenen Brustkrebs eine alleinige Empfehlung einer Operation ohne Erwähnung einer anderen Therapiemodalität teilweise richtig. Eine vollständige Übereinstimmung bei der Bewertung wurde nur in 62 Prozent der Fälle erreicht, was sowohl die Komplexität der NCCN-Richtlinien selbst als auch die Schwierigkeit und Unklarheit der ChatGPT-Ausgaben unterstreicht, diese zu interpretieren.

In 12,5 Prozent der Fälle führte ChatGPT zu „Halluzinationen“ oder zu einer Behandlungsempfehlung, die in den NCCN-Richtlinien völlig fehlte. Dazu gehörten Empfehlungen zu neuartigen Therapien oder kurativen Therapien für unheilbare Krebsarten. Die Autoren betonten, dass diese Form der Fehlinformation die Erwartungen der Patienten falsch beeinflussen und sich sogar auf die Beziehung zwischen Arzt und Patient auswirken könnte.

Die Autoren verwendeten GPT-3.5-turbo-0301, eines der größten verfügbaren Modelle zum Zeitpunkt der Durchführung der Studie und die Modellklasse, die derzeit in der Open-Access-Version von ChatGPT verwendet wird. Eine neuere Version, GPT-4, war zum Zeitpunkt der Studie nicht verfügbar und ist derzeit nur mit einem kostenpflichtigen Abonnement erhältlich.

Die Forscher verwendeten die NCCN-Richtlinien von 2021, da GPT-3.5-turbo-0301 auf der Grundlage von Daten bis September 2021 entwickelt wurde. Während die Ergebnisse variieren können, wenn andere großsprachige Modelle und/oder klinische Richtlinien verwendet werden, betonten die Forscher, dass viele solcher KI Die Werkzeuge sind im Design und in den Einschränkungen ähnlich.

Urheberschaft, Finanzierung, Offenlegung

Qualität der HLW-Anweisungen für Laien durch Sprachassistenten mit künstlicher Intelligenz

Zu den Co-Autoren gehörten William Murk, Eric Goralnick und John S. Brownstein.

Landman gab an, während der Durchführung der Studie persönliche Honorare von Abbott erhalten zu haben.

Einsatz von Chatbots mit künstlicher Intelligenz für Informationen zur Krebsbehandlung

Zu den Co-Autoren gehörten Shan Chen, Benjamin H. Kann, Michael B. Foote, Hugo JWL Aerts, Guergana K. Savova und Raymond H. Mak.

Diese Studie wurde von der Woods Foundation unterstützt.

Aerts berichtete, dass er außerhalb der eingereichten Arbeiten persönliche Honorare von Onc.AI, Sphera, LLC und Bristol Myers Squibb erhalten habe. Mak gab an, außerhalb der eingereichten Arbeit persönliche Honorare von ViewRay, AstraZeneca, Novartis, Varian Medical Systems und Sio Capital erhalten zu haben. Bitterman ist Mitherausgeber von Radiation Oncology, HemOnc.org, und erhält außerhalb der eingereichten Arbeit Fördermittel von der American Association for Cancer Research.

Angepasst von Brigham und Frauen Und Mass General Brigham Pressemitteilungen.