12. November 2023
3 Minuten gelesen
Die zentralen Thesen:
- Allergologen bewerteten 70 % der Antworten von chatgpt auf Fragen zu Allergiemythen als zutreffend und 21 % als einigermaßen zutreffend.
- Fast die Hälfte der Allergologen plant, in Zukunft Chatbots zur Patientenaufklärung einzusetzen.
ANAHEIM, Kalifornien – Laut einer Studie, die auf der jährlichen wissenschaftlichen Tagung des American College of Allergy, Asthma & Immunology vorgestellt wurde, antwortete ChatGPT in 91 % der Fälle richtig oder einigermaßen genau, wenn man ihn zu zehn Allergiemythen befragte.
Allerdings wirkte der KI-Chatbot auch inkonsistent und antwortete manchmal anders, wenn ihm wiederholt dieselbe Frage gestellt wurde.
Obwohl sich Chatbots wie ChatGPT noch im Anfangsstadium befinden, insbesondere im Hinblick auf ihre Möglichkeiten zur Gesundheitsfürsorge, könnten viele Patienten diese Plattformen nutzen, um medizinischen Rat einzuholen. Ricardo J. Estrada-Mendizabal, MD, von Tecnologico de Monterrey, Fakultät für Medizin und Gesundheitswissenschaften, sagte Healio.
„Der Einfluss dieser Chatbots auf die Allergie-/Asthmaversorgung in der Zukunft wird von ihrer Genauigkeit und Konsistenz bei der Beantwortung medizinischer Fragen abhängen“, sagte er. „Dieser Prozess wird einen enormen Aufwand erfordern [artificial intelligence (AI)] Entwickler, Forscher und Gesundheitspersonal.“
Um die Genauigkeit von ChatGPT bei der Beantwortung medizinischer Fragen besser zu verstehen, versuchten Estrada-Mendizabal und Kollegen, seine Genauigkeit anhand von Allergiemythen zu testen. Insbesondere der Bereich Allergie sei möglicherweise anfälliger für Fehlinformationen, sagte Estrada-Mendizabal.
„In unserer Studie haben wir eine Datenbanksuche in PubMed und google Scholar über die letzten 23 Jahre durchgeführt und dabei insgesamt 49 häufige Mythen und Missverständnisse gefunden“, sagte er zu Healio. „Wir empfehlen Patienten, Informationen von einem staatlich geprüften Allergologen einzuholen.“
Aus dieser Liste wählten die Forscher 10 dieser Mythen aus, um sie ChatGPT als Richtig-oder-Falsch-Frage zu stellen, darunter:
- Hypoallergene Haustiere sind besser für Menschen mit Asthma und Allergien.
- Eine Anaphylaxie kann durch Antihistaminika und/oder Steroide verhindert werden.
- Nahrungsmittelallergien können verhindert werden, indem die Einführung allergener Nahrungsmittel verzögert wird.
- Personen mit einer Eierallergie können die Grippeimpfung nicht erhalten.
- Ein positiver Allergietest weist auf eine klinische Allergie hin.
- IgE-Tests können Nahrungsmittelauslöser bei Ekzemen im Kindesalter identifizieren.
- Eine Meeresfrüchteallergie ist eine Kontraindikation für Kontrastmittel.
- Eine allergische Reaktion kann nach der ersten Exposition nicht auftreten.
- Stillen kann helfen, Nahrungsmittelallergien vorzubeugen.
- Eine orale Immuntherapie heilt Nahrungsmittelallergien.
Zwei Unterermittler gaben diese Mythen in ChatGPT ein, während ein dritter die vollständigste der beiden Antworten auswählte oder die Frage erneut eingab, wenn es eine Diskrepanz gab. Dieses Szenario mit unterschiedlichen Reaktionen trat bei drei der Mythen auf, darunter bei denen, die Kontrastmittel, Stillen und orale Immuntherapie betrafen.
Anschließend bewerteten 24 Allergologen – 88 % davon aus Mexiko, 8 % aus den USA und 4 % aus Argentinien – jede der Antworten anhand einer Likert-Skala von 1 bis 4, von ungenau (100 % stimmt nicht) bis eher ungenau (mehr als 30 % nicht wahr), einigermaßen genau (weniger als 10 % nicht wahr) und genau (100 % wahr).
Im Allgemeinen zeigten die Bewertungen der Allergologen, dass ChatGPT in seinen Antworten überwiegend zutreffend war, wobei 70 % als zutreffend und 21 % als einigermaßen zutreffend bewertet wurden. Lediglich 5 % wurden als etwas ungenau und 4 % als ungenau bewertet.
Allergologen hatten die heterogenste Genauigkeitsbewertung der Antwort von ChatGPT auf die Aussage zu hypoallergenen Tieren, die lautete: „Einige Tiere sind für Menschen mit Asthma und Allergien besser geeignet als andere.“ Obwohl kein Tier vollständig hypoallergen ist, können bestimmte Rassen oder Arten bei empfindlichen Personen weniger Allergene produzieren oder weniger allergische Reaktionen auslösen. Es ist wichtig zu beachten, dass Allergien von Person zu Person unterschiedlich sein können, sodass das, was bei einer Person funktioniert, bei einer anderen Person möglicherweise nicht funktioniert. …“
Siebzehn Prozent der Allergologen bewerteten diese Antwort als ungenau, während 21 % sie für etwas ungenau, 41 % für einigermaßen zutreffend und 21 % für ebenso zutreffend hielten.
Da 96 % der Allergologen die Reaktion als zutreffend bewerteten, schien ChatGPT in seiner Antwort auf die Frage, ob ein positiver Allergietest eine klinische Allergie bedeutet, am zutreffendsten zu sein. Kurz gesagt: „Ein positives Testergebnis deutet zwar auf eine Sensibilisierung gegenüber dem Allergen hin, dies ist jedoch nicht der Fall.“ das Vorhandensein klinischer Symptome oder einer allergischen Reaktion bei Kontakt mit diesem Allergen bestätigen.“
Die allgemeine Genauigkeit von ChatGPT sei unerwartet, sagte Estrada-Mendizabal, „insbesondere angesichts der Tatsache, dass die ‚Schulung‘ von ChatGPT im September 2021 endete und keine Referenzen bereitgestellt werden können.“
„Ein wichtiges Ergebnis unserer Studie ist jedoch die Inkonsistenz von ChatGPT, denn als es bei zwei verschiedenen Gelegenheiten von zwei verschiedenen Unterforschern auf denselben Mythos hingewiesen wurde, reagierte es mit gegensätzlichen Aussagen“, fügte er hinzu.
Als nächstes gaben die Allergologen an, ob sie in Zukunft natürliche Sprachmodelle wie ChatGPT zur Patientenaufklärung verwenden würden, wobei 46 % antworteten, dass dies sehr wahrscheinlich sei, und 29 % antworteten, dass dies wahrscheinlich sei.
Estrada-Mendizabal sagte, es sei wichtig, die Auswirkungen von KI in der Medizin weiter zu untersuchen.
„Ich würde die Auswirkungen von KI in der Medizin auf jeden Fall weiter erforschen, insbesondere die Auswirkungen von Chatbots, wenn man bedenkt, dass ständig mehrere Versionen von mehreren Entwicklern herausgebracht werden“, sagte er. „Für meine nächste Studie möchte ich mich auf häufige Fragen konzentrieren, die Patienten möglicherweise haben, und ich möchte auch eine größere und repräsentativere Stichprobe von Allergologen haben.“
