Ruchika Talwar: Hallo allerseits. Willkommen zurück im Health Policy Center of Excellence von UroToday. Ich freue mich, dass Yash Shaw, ein Medizinstudent an der Jefferson University, und Mihir Shah, ein Urologe an der Jefferson University, beide in Philadelphia, dabei sein werden. Sie werden einige ihrer jüngsten Arbeiten vorstellen, die mit Patienten zu tun haben Lehrmaterialien und der Einsatz von KI, insbesondere chatgpt. Vielen Dank, dass Sie heute hier bei uns sind.
Mihir Shah: Danke, dass Sie uns haben.
Yash Shaw: In Ordnung. Hallo, Dr. Talwar. Vielen Dank, dass Sie uns haben. Deshalb trug unser Projekt den Titel „Utility of Artificial Intelligence in Patient Educational Materials for Men's Sexual Health“. Nur um Ihnen einige Hintergrundinformationen zu geben: In den letzten Jahren haben Patienten aufgrund der sich verbessernden Technologie und all der verschiedenen Plattformen, die herausgekommen sind, immer häufiger soziale Medien und schließlich auch KI genutzt. Und gerade in diesem Bereich ist es angesichts der Stigmatisierung, die sexuelle Gesundheit umgibt, ein sensibles und unangenehmes Thema, über das Patienten sich manchmal unwohl fühlen, wenn sie es mit ihrem Arzt oder anderen Menschen in der Gemeinschaft besprechen. Deshalb versuchen die Leute oft, zuerst online zu gehen, um erste Antworten zu erhalten. Leider haben viele, viele Studien über viele, viele Jahre hinweg gezeigt, dass Online-Bildungsinformationen für Patienten fast immer über dem Leseniveau der sechsten Klasse liegen, was sowohl vom NIH als auch vom AMA empfohlen wird.
Und das ist offensichtlich ein Problem, denn wenn es Materialien gibt, die entweder von Ärzten oder in sozialen Medien usw. erstellt wurden und die Patienten möglicherweise nicht verstehen können, nützt ihnen das nicht wirklich viel. Daher waren wir neugierig, ob KI diese Herausforderung vielleicht bewältigen könnte. Seit der Einführung von KI-Chatbots gab es in den letzten Jahren mehrere Studien, die diese Plattform für ärztliche Aufgaben nutzten. Deshalb habe ich hier einige davon aufgelistet, aber es gibt Studien, die die Verwendung nur bei der routinemäßigen Dokumentation von Papierkram, in jüngerer Zeit sogar bei der klinischen Entscheidungsfindung und bei der Unterstützung von Entscheidungen auf der Grundlage von Leitlinien belegen. Dinge wie Radiologie und Pathologie werden offensichtlich nicht unbedingt in der Klinik eingesetzt, aber es gibt Studien, die zeigen, dass sie Potenzial haben.
Unsere Studie bestand also erneut darin, herauszufinden, ob Patienten dies auch zu ihrem Vorteil nutzen können. Deshalb haben wir versucht, die von ChatGPT erstellten Ressourcen zu analysieren und sie mit den bereits verfügbaren Ressourcen der von der AUA unterstützten Urology Care Foundation für sechs Männergesundheitsthemen zu vergleichen. Also haben wir diese zuerst analysiert und dann separat die ChatGPT-Antworten angepasst, indem wir den Befehl „Erkläre es mir, als wäre ich in der sechsten Klasse“ hinzugefügt haben, basierend auf dieser offiziellen Richtlinie und Zielvorgabe. Und wir haben ein paar verschiedene Analysen verwendet, um zu sehen, wie die Antworten ausfielen. Deshalb habe ich diese sechs Formeln aufgelistet, die validiert sind, um die Lesbarkeit zu verstehen. Dabei geht es im Grunde darum, wie einfach es für jemanden ist, etwas Geschriebenes zu verstehen. Und dann verwendeten wir auch eine validierte Likert-Skala, um die Qualität, die wir als Genauigkeit und Vollständigkeit definierten, von zwei unabhängigen Urologen zu analysieren. Ich werde es also an Dr. Shah weiterleiten, der über unsere Erkenntnisse sprechen kann.
Mihir Shah: Die Ergebnisse waren also interessant, stimmten aber mit dem überein, was wir über die im Internet verfügbaren Informationen wissen, nämlich dass die meisten Dinge, die da draußen sind, nicht dem Leseniveau der Sechstklässler entsprechen. Wenn Sie also das Material der Urology Care Foundation verglichen, war es für die Patienten tatsächlich über alle Themen und Formeln hinweg besser lesbar als das ChatGPT.
Und hier können Sie den Boxplot sehen, der uns das für alle Lesbarkeitstests zeigt. Darüber hinaus waren die ChatGPT-Antworten tatsächlich länger. Sie waren ausführlicher und verwendeten viel komplexere Wörter. Wenn wir ChatGPT jedoch dazu aufforderten, die Lesbarkeit auf das Niveau der sechsten Klasse anzupassen, schnitt es tatsächlich ziemlich gut ab und konnte die Komplexität der Sprache nach unten anpassen, sodass sie für den Patienten besser lesbar war. Und schließlich zeigte sich bei der unabhängigen Überprüfung durch die beiden Urologen, dass die Materialien der Urology Care Foundation und ChatGPT in Bezug auf Qualität und Genauigkeit tatsächlich gleich gut abschnitten.
Daher sind beide Materialien recht hochwertig und präzise. Allerdings schnitt die Urology Care Foundation beim Aufnehmen und Lesen des Materials besser ab als ChatGPT. Allerdings können Sie ChatGPT tatsächlich die Lesebewertung anpassen lassen, wodurch die Leistung tatsächlich besser wird und die Lesbarkeit verbessert wird. Zusammenfassend haben wir festgestellt, dass ChatGPT-Schulungen zwar von vornherein weniger zugänglich sind, beide jedoch über Daten von guter Qualität verfügen. Und angesichts der aktuellen KI-Landschaft denke ich, dass es für die Zukunft viel Potenzial hat, wenn wir Material erstellen können, das besser lesbar ist, insbesondere mit ChatGPT oder anderen Chatbots, dann könnte es diesen Patienten möglicherweise die Tür zu exzellenten Ergebnissen öffnen Zugriff auf qualitativ hochwertige Daten, die auf Knopfdruck gut lesbar sind. Und was den Zielstoff angeht, sollte er sich wirklich auf eine Klasse zwischen der sechsten und achten Klasse konzentrieren, damit ein durchschnittlicher Amerikaner den Stoff aufnehmen und leicht lesen kann.
Ruchika Talwar: Danke euch beiden. Dies ist eine wirklich interessante Studie, und ich denke, sie hebt mehrere bemerkenswerte Punkte hervor, die nicht nur für die von Ihnen analysierten und bewerteten Materialien, sondern für medizinische Materialien im Allgemeinen relevant sind. Zunächst einmal ist es eine großartige Erinnerung daran, dass wir, wenn Kliniker sich dafür entscheiden, Dinge wie ChatGPT oder andere Quellen künstlicher Intelligenz bei der Erstellung ihrer eigenen Patientenmaterialien zu verwenden, sicherstellen müssen, dass diese Materialien auf dem Leseniveau der sechsten Klasse sind, weil ich Ich denke, dass wir dabei möglicherweise nicht so sorgfältig vorgehen. Aber das unterstreicht wirklich die Tatsache, dass nur weil wir es verstehen, das sicher nicht bedeutet, dass unsere Patienten es verstehen werden.
Und obwohl KI eine Zeitersparnis darstellt, die stärker genutzt werden sollte, müssen wir sie bewusst einsetzen. Und ein weiterer Punkt, den ich für wichtig halte, ist, dass Patienten bei urologischen Problemen, wie Sie sie angesprochen haben, oft das Internet nutzen, bevor sie sich an ihren Arzt wenden, oder dass es bestimmte Fragen gibt, die sie möglicherweise nicht gerne stellen Büroumgebung. Daher ist es sogar richtig, dies als eine Option darzustellen. Jetzt verfügen wir über die Daten, die uns zeigen, dass die Genauigkeit den Standards der offiziellen Materialien der Urology Care Foundation entsprach. Wir können unseren Patienten sogar sagen, wenn in der Beratung Dinge auftauchen, die wir heute nicht angesprochen haben, es ist eine verlässliche Quelle. Ich denke, das sind zwei wichtige Punkte. Mihir, ich bin neugierig, haben Sie das bisher in Ihrer Praxis umgesetzt?
Mihir Shah: Ich muss also ehrlich sein, das habe ich nicht getan, und das lag zum Teil daran, dass wir immer noch versuchten herauszufinden, was uns die Daten zeigen würden, bevor wir direkt einstiegen. Jetzt habe ich offensichtlich damit herumgespielt, ich Ich habe die App auf meinem Handy, und viele von euch haben vielleicht damit herumgespielt und ihr habt gesehen, dass die Antworten schnell sind, aber oft ziemlich langwierig. Daher denke ich, dass es wirklich hilfreich wäre, einige Leitlinien oder Stellungnahmen unserer Vereinigung wie der AUA oder anderer Gesellschaften zu haben, die uns Orientierung geben, wie wir dies wirklich in die klinische Praxis integrieren können. Aber ich sage Patienten, wenn sie mich fragen: „Hey, ich habe das nachgeschlagen und ChatGPT hat mir das gesagt“, dann sage ich oft, eigentlich ist die Qualität des Materials ziemlich gut und man kann es als Ressource verwenden, aber wenn Es ist zu schwer zu verstehen. Hier finden Sie eine Möglichkeit, die Zugänglichkeit für sich selbst zu verbessern, oder natürlich können Sie sich auch an uns wenden und uns die Fragen stellen.
Ruchika Talwar: Ja. Ein weiterer wichtiger Punkt war, dass die Materialien der Urology Care Foundation selbst nicht dem empfohlenen Leseniveau entsprachen. Ich bin also neugierig, Yash. Glauben Sie, dass ChatGPT vielleicht eine Möglichkeit sein wird, bei der Patienten sogar Dinge, die sie nicht verstehen, kopieren und einfügen und fragen können, was den Chatbot dazu veranlasst, zu sagen: „Erklären Sie mir das bitte in einfacheren Worten.“ Erzählen Sie mir ein wenig darüber, wie Sie sich vorstellen können, dass dies in der Patientenversorgung umgesetzt wird.
Yash Shaw: Nein, du hast völlig recht. Das war also eine Sache, über die wir in unserer Diskussion gesprochen haben. Die Urology Care Foundation ist kein Einzelfall. Fast jede Studie, in der von Patienten oder Ärzten verfasstes Material für ein beliebiges Fachgebiet untersucht wurde, hat ergeben, dass es in der Regel über dem empfohlenen Wert liegt. Und ich denke, es ist wirklich schwierig, weil man vertrauenswürdige medizinische Experten braucht, um diese Informationen zu verfassen, und es ist für diese Leute wirklich schwer zu verstehen, was der durchschnittliche Patient möglicherweise versteht oder nicht. Ich denke also, dass genau das, was Sie gesagt haben, das Erste und wahrscheinlich Einfachste ist, was Patienten auch jetzt noch tun können, wie Sie es angedeutet haben. Also, kopieren Sie den Inhalt und fragen Sie einfach den Chatbot, erkläre mir das bitte in der X-Klasse.
Ich denke, das Einzige, was wir dort tun könnten, wäre, weitere Studien durchzuführen, um herauszufinden, was die beste Aufforderung ist. In unserer Studie hatten wir also nur diese eine Eingabeaufforderung und sie lieferte ziemlich gute Ergebnisse, aber das war nur eine Eingabeaufforderung, die wir uns ausgedacht haben, und ich bin sicher, dass wir sie verbessern können. Ich denke, das ist der erste Schritt, aber mit Blick auf die Zukunft denke ich, dass Ärzte sogar damit beginnen könnten. Wenn Sie also eine neue Ressource schreiben, können Sie sie damit umformulieren, bevor Sie sie online stellen, oder letztendlich, wenn wir sie wirklich entwickeln, sogar patientenspezifische Ressourcen erstellen. Online-Artikel können also wirklich hilfreich sein, aber die Krankheit oder das Problem jedes Menschen ist ein wenig anders. Und wenn wir sehr schnell wirklich personalisierte Lehrmaterialien erstellen können, wäre das meiner Meinung nach das ultimative Ziel.
Ruchika Talwar: Ja, ich denke, da sind keine Grenzen gesetzt, und ich denke, in den nächsten Jahren werden wir wirklich erleben, wie dieser und andere Aspekte der KI in die Art und Weise, wie wir Patienten versorgen, implementiert werden. Zum Schluss, Mihir, frage ich Sie: Was sind Ihrer Meinung nach die aus Ihren Daten resultierenden Botschaften für die urologische Gemeinschaft? Wie sollten wir diese Erkenntnisse nutzen, um über die Integration von ChatGPT in Materialien zur Patientenaufklärung nachzudenken?
Mihir Shah: Ja, also denke ich, dass die erste Erkenntnis darin besteht, dass selbst das Material, das wir als Urologen über die Urology Care Foundation vorlegen, über das Leseniveau hinausgeht. Deshalb denke ich, dass wir sehr darauf achten müssen, den Patienten dort abzuholen, wo er ist. Und für einen Laien müssen wir wirklich in der Lage sein, die Details auf einem niedrigeren Klassenniveau zu erklären. Und deshalb denke ich, dass KI uns hier wirklich helfen kann. Aber die Herausforderung wird darin bestehen, dass es sich um einen Chatbot handelt, der also ein offenes Ende hat, also welche Fragen angemessen sind, und dass sie halluzinieren können, und das ist gut dokumentiert. Daher denke ich, dass es der beste nächste Schritt nach vorn sein könnte, einige Richtlinien oder eine Reihe grundlegender Fragen zu haben, die der Reihe nach gestellt werden sollten und die wir jetzt analysiert haben, da wir versuchen, möglicherweise unser eigenes Material oder Material für Patienten zu generieren, wo dies hilfreich sein könnte , wo wir das standardisieren, und so wissen wir zumindest, dass sie wahrscheinlich nicht in Halluzinationen geraten oder an einen Ort geraten, an dem wir den Daten, die sie erhalten, nicht wirklich vertrauen können.
Die andere Sache ist, dass die Daten derzeit zumindest bis 2021 begrenzt sind und nicht wirklich auf die medizinische Verwendung ausgerichtet sind. Wenn wir es also in Zukunft nutzen können, um es auf medizinische oder urologische Zwecke auszurichten, dann könnte es sogar den Zugang für unsere Patienten verbessern und verbessern. Und letztendlich sind, wie Sie angedeutet haben, keine Grenzen gesetzt, aber ich denke, dass es der nächstbeste Schritt wäre, darüber nachzudenken, wie man es standardisieren und patientenfreundlicher gestalten kann.
Ruchika Talwar: Ja, ja, und ich denke, im Laufe der Zeit müssen hier viele ethische Überlegungen berücksichtigt werden, denn bei so vielen Möglichkeiten werden wir uns tatsächlich an Orten wiederfinden, an denen der Chatbot, wie Sie sagten, möglicherweise keine genauen Informationen liefert , oder es kann sein, dass bestimmte Dinge über eine bestimmte Patientensituation überlagert oder angenommen werden. Ich stimme also voll und ganz zu. Alles wirklich wichtige Punkte, und ich danke Ihnen beiden, dass Sie heute hier bei uns sind und Ihr Fachwissen zu diesem Thema teilen. Ich weiß, dass es für unser Publikum wirklich relevant ist, und wir sind gespannt, was Sie alle für zukünftige Arbeiten in diesem Bereich auf Lager haben. Und an unser Publikum: Wir hoffen wie immer, dass Sie uns weiterhin bei der Hervorhebung wichtiger gesundheitspolitischer Artikel auf UroToday begleiten. Bis zum nächsten Mal.
