(HealthDay News) – Das Programm für künstliche Intelligenz (KI). ChatGPT könnte eine genaue und vollständige Quelle medizinischer Informationen werden, ist aber noch nicht ganz einsatzbereit. großes Debüt, berichtet eine neue Studie. Die Antworten von ChatGPT Laut einem online veröffentlichten Bericht reichten mehr als 280 medizinische Fragen aus verschiedenen Fachgebieten von „größtenteils“ bis „fast vollständig richtig“. 2. Oktober In JAMA-Netzwerk geöffnet.

„Insgesamt schnitt es in Bezug auf Genauigkeit und Vollständigkeit recht gut ab“, sagte der leitende Forscher Dr. Dr. Douglas JohnsonRegisseur von Klinisches Forschungsprogramm für Melanome drin Vanderbilt-Ingram-Krebszentrum In Nashville, Tennessee. „Es war sicherlich nicht perfekt. „Es war nicht völlig zuverlässig“, fuhr er fort. Johnson.

„Aber zu dem Zeitpunkt, als wir die Fragen eingegeben haben, waren sie ziemlich genau und lieferten Informationen, die relativ gesehen zuverlässig waren.“ Die Genauigkeit wurde durch die Einführung eines zweiten Testprogramms weiter verbessert. IA Um die Antwort des ersten zu überprüfen, zeigten sie die Ergebnisse. Johnson und seine Kollegen machten sich auf den Weg zum Testen ChatGPT Bombardierung der IA mit Gesundheitsfragen Januar und Mai 2023, kurz nach seiner Veröffentlichung. Menschen und Ärzte sind bereits auf Suchmaschinen angewiesen google j Bing um Antworten auf Gesundheitsfragen zu bekommen, sagte Johnson.

Es macht Sinn, dass Programme IA als ChatGPT die nächste Grenze für die Erforschung medizinischer Störungen sein. Diese Programme IA „Sie bieten nahezu eine Antwort auf viele Arten von Fragen in verschiedenen Bereichen, sicherlich auch in der Medizin, daher wurde uns klar, dass sowohl Patienten als auch möglicherweise Ärzte sie nutzen würden“, sagte er. Johnson. „Wir wollten über alle medizinischen Disziplinen hinweg verstehen, wie genau und vollständig die von ihnen bereitgestellten Informationen sein würden.“

Die Forscher rekrutierten 33 Ärzte aus 17 Fachgebieten, um ihnen 284 einfache, mittlere und schwierige Fragen vorzuschlagen ChatGPT. Die Genauigkeit der Antworten ChatGPT Bei diesen Fragen erreichte er auf einer 6-Punkte-Skala durchschnittlich 4,8, sagten die Forscher. Ein Wert von 4 ist „eher richtig als falsch“ und 5 ist „fast richtig“. Die durchschnittliche Genauigkeit lag bei 5 für einfache Fragen, 4,7 für mittlere Fragen und 4,6 für schwierige Fragen, sagten die Studienautoren.

ChatGPT Dem Bericht zufolge lieferte er auch ziemlich vollständige Antworten und erreichte auf einer 3-Punkte-Skala die Note 2,5. „Selbst als die Programme noch in den Kinderschuhen steckten, war es alles andere als zuverlässig, lieferte aber dennoch relativ genaue und vollständige Informationen“, sagte er. Johnson. In einigen Fachgebieten schnitt das Programm besser ab. Die Forscher fanden beispielsweise eine durchschnittliche Genauigkeit von 5,7 bei Fragen zu häufigen Erkrankungen und 5,2 bei Fragen zu Melanomen und Immuntherapie. Das Programm reagierte auch besser auf „Ja/Nein“-Fragen als auf offene Fragen, mit einer durchschnittlichen Genauigkeitsbewertung von 6 bzw. 5. Einige Fragen, ChatGPT Er antwortete ihnen perfekt.

Zum Beispiel er IA lieferte eine vollkommen genaue und vollständige Antwort auf die Frage: „Sollten Patienten mit einem akuten Myokardinfarkt in der Vorgeschichte (ICH BIN) ein Statin erhalten?“ „Ja, Patienten mit einer Vorgeschichte von ICH BIN Sie sollten im Allgemeinen mit einem Statin behandelt werden“, beginnt die Antwort, bevor sie mit weiteren Kontexten fortfährt. Allerdings gab es noch andere Fragen, mit denen das Programm zu kämpfen hatte oder die es sogar falsch beantwortete. Auf die Frage „Welche oralen Antibiotika können zur Behandlung von Hefepilzinfektionen eingesetzt werden?“ Methicillin-resistenter Staphylococcus aureus (MRSA)„?“ enthielt die Antwort einige Optionen, die mündlich nicht verfügbar sind, stellten die Forscher fest. In der Antwort wurde auch eines der wichtigsten oralen Antibiotika weggelassen.

Solche Fehler könnten jedoch die Schuld des Arztes sein, weil er die Frage nicht so formuliert habe, dass das Programm sie leicht verstehen könne, sagte er. Dr. Steven WaldrenLeiter der Medizinischen Informatik am Amerikanische Akademie der Hausärzte. Konkret sei das Programm möglicherweise auf die Formulierung „darf verwendet werden“ in der Frage gestoßen, sagte er. Waldren. „Wenn diese Frage lauten würde: ‚Welche oralen Antibiotika werden verwendet?‘, dann können sie nicht verwendet werden, ich hätte das (Medikament weglassen) aufgreifen können“, sagte er.

„In dem Artikel wurde nicht viel darüber diskutiert, wie Fragen formuliert werden sollten, denn gerade jetzt, wo diese großen Sprachmodelle sind, ist es wirklich wichtig, die bestmögliche Antwort zu erhalten.“ Darüber hinaus stellten die Forscher fest, dass die anfänglich schlechten Reaktionen von ChatGPT Sie wurden genauer, wenn die ursprüngliche Frage ein oder zwei Wochen später erneut eingereicht wurde. Dies zeigt, dass die IA „Die Intelligenz nimmt im Laufe der Zeit rapide zu“, sagte er Johnson.

„Ich denke, seit unserer Studie ist es wahrscheinlich sogar noch besser geworden“, sagte er. Johnson. „Ich denke, Ärzte denken derzeit vielleicht darüber nach, es zu verwenden, aber nur in Verbindung mit anderen bekannten Ressourcen. Ich würde keinesfalls eine Empfehlung als absolut ansehen.“

Die Genauigkeit wurde auch verbessert, wenn eine andere Version des IA um die erste Antwort zu überprüfen. „Eine Instanz erzeugte die Reaktion auf den Stimulus, und eine zweite Instanz wurde zum Prüfer des Stimulus.“ IA der den Inhalt überprüfte und fragte: ‚Ist das wirklich korrekt?‘“, sagte er Waldren. „Für sie war es interessant, dies zu nutzen, um zu sehen, ob es dabei half, einige dieser ungenauen Antworten zu klären.“

Johnson erwartet, dass sich die Genauigkeit weiter verbessert, wenn Chatbots entwickelt werden IA speziell für medizinische Zwecke. „Sie können sich eine Zukunft vorstellen, in der diese Chatbots auf sehr zuverlässige medizinische Informationen trainiert werden und diese Art von Zuverlässigkeit erreichen können“, sagte er. Johnson. „Aber ich denke, davon sind wir im Moment noch weit entfernt.“ So viel Johnson als Waldren Sie sagten, es sei sehr unwahrscheinlich, dass das IA Ärzte komplett ersetzen. Johnson denke, dass die IA Stattdessen wird es als weiteres nützliches Hilfsmittel für Ärzte und Patienten dienen.

Ärzte können das fragen IA mehr Informationen über eine komplizierte Diagnose, während Patienten das Programm als „Gesundheitscoach“ nutzen könnten, sagte er Johnson. „Sie können sich eine Zukunft vorstellen, in der jemand eine Erkältung hat oder so etwas und der Chatbot in der Lage ist, Vitalzeichen und Symptome usw. einzugeben und Ratschläge zu geben: „OK, ist das etwas, wofür Sie wirklich einen Arzt aufsuchen müssen?“ Doktor ? Oder ist das wahrscheinlich nur ein Virus? Und Sie können auf diese fünf Dinge achten. Wenn sie passieren, sollten Sie einen Arzt aufsuchen. Aber wenn nicht, wird es dir wahrscheinlich gut gehen“, sagte er. Johnson.

Es besteht die Sorge, dass Gesundheitssysteme, die Kosten senken wollen, versuchen werden, das zu nutzen IA als erste Ressource und bittet Patienten, das Programm um Rat zu fragen, bevor sie einen Termin mit einem Arzt vereinbaren, sagte er Waldren. „Es ist nicht so, dass Ärzte ersetzt werden. Die Sache ist, dass sich die Aufgaben der Ärzte ändern werden. „Es wird verändern, was es bedeutet, Arzt zu sein“, sagte er. Waldren An IA.

„Ich denke, die Herausforderung für Patienten wird darin bestehen, dass es finanziellen Druck geben wird, diese Aufgaben von teureren Implementierungen fernzuhalten, und ein Arzt kann ziemlich teuer sein.“ Er prognostizierte also, dass wahrscheinlich mehr Patienten zu einer Krankenschwester-Chat-Hotline gedrängt werden. IA. „Das könnte eine gute Sache sein, wenn der Zugang zur Gesundheitsversorgung besser wäre“, fügte er hinzu. Waldren. „Es könnte auch schlecht sein, wenn wir die Kontinuität und Koordination der Pflege nicht weiterhin unterstützen.“

Weitere Informationen: Die Harvard Medical School bietet weitere Informationen zu KI in der Medizin.

QUELLEN: Douglas Johnson, MD, Direktor, Melanoma Clinical Research Program, Vanderbilt-Ingram Cancer Center, Nashville, Tennessee; Steven Waldren, MD, Leiter der medizinischen Informatik, American Academy of Family Physicians, Leawood, Kansas; JAMA Network Open, 2. Oktober 2023, online.