Die zentralen Thesen:

• Informationen zu fünf Bereichen der Anaphylaxie-Richtlinien von ChatGPT3.5 führten zu einem DISCERN-Score von 3,44 von 5.
• Allerdings waren 58 % der Zitate tote Links, erfunden oder falsch zitiert.

WASHINGTON – chatgpt lieferte qualitativ hochwertige Informationen zu aktuellen Anaphylaxie-Richtlinien, enthielt aber auch Fehler in mehr als der Hälfte seiner Quellen, wie Untersuchungen hier zeigten.

„So viele Menschen nutzen ChatGPT, um Fragen zu verschiedenen Themen in allen Bereichen zu beantworten. Daher waren wir neugierig, welche Informationen es in Bezug auf die Anaphylaxie selbst liefern würde, wie man sie behandelt und wie häufig sie vorkommt.“Natalie Trotto, DO, ein Mitarbeiter für Allergie- und Immunologie am Nicklaus Children's Hospital, sagte zu Healio.

In der Studie, die auf der Jahrestagung der American Academy of Allergy, Asthma & Immunology (AAAAI) vorgestellt wurde, bewerteten Trotto und Kollegen die Zuverlässigkeit und Qualität der von ChatGPT3.5 bereitgestellten medizinischen Informationen in fünf Bereichen des aktuellen AAAAI/American College of Allergy. Leitlinien zur Asthma- und Immunologie-Anaphylaxie, darunter:

• Häufigkeit;
• Symptome;
• Diagnosetest;
• Management; Und
• Verhütung.

Die medizinischen Informationen wurden mit dem DISCERN-Fragebogeninstrument gemessen, während die Übereinstimmung zwischen den Leitlinien und den Antworten mit künstlicher Intelligenz (KI) von fünf Gutachtern unabhängig voneinander gemessen wurde, „um die interne Konsistenz von ChatGPT abzuwägen“, schreiben die Forscher.

Sie fanden heraus, dass die von ChatGPT in den fünf Domänen bereitgestellten Informationen einen durchschnittlichen DISCERN-Score von 3,44 von 5 ergaben, „was auf Informationen von einigermaßen guter Qualität hinweist, mit 83 % Übereinstimmung mit den Leitlinienempfehlungen.“

Der Fleiss-Kappa-Score lag unterdessen bei 0,6, was einer mäßigen Übereinstimmung zwischen den Gutachtern entspricht.

Allerdings waren nur 42 % der von ChatGPT bereitgestellten Quellen korrekt, die restlichen Zitate setzten sich zusammen aus:

• falsche Quellen (27 %);
• tote Webseiten (15 %); Und
• erfundene Links (15 %), was für die Forscher am besorgniserregendsten war.

„Also, während [ChatGPT] „Im Allgemeinen haben wir zwar die richtigen Informationen gegeben, aber es ist fraglich, woher sie kommen“, erklärte Trotto.

Für zukünftige Forschungen: „Wir haben dies zu Beginn der Veröffentlichung von ChatGPT und diesen KI-Quellen gemacht, daher wird es interessant sein zu sehen, ob sich dies im Laufe der Zeit ändert, wenn die KI bei der Ermittlung der Stärke der Quelle ausgefeilter wird“, sagt Trotto sagte.

Referenz: