Da Plattformen für künstliche Intelligenz (KI) immer mehr an Bedeutung gewinnen, könnte die Entwicklung einer spezifischen Sprache für Ärzte zur Integration von Plattformen wie chatgpt in die Praxis ein vorteilhaftes Unterfangen sein, so Jharna M. Patel, MD.

Während der SGO-Jahrestagung 2024 zum Thema Frauenkrebspräsentierte Patel Ergebnisse einer Studie, die den Einsatz von ChatGPT zur Beantwortung genetischer Beratungsfragen für Patienten mit gynäkologischen Krebserkrankungen untersuchte. Erkenntnisse gezeigt dass in Bezug auf 20 genetische Beratungsfragen die Bewertungen durch gynäkologische Onkologen allen ChatGPT-Antworten eine Punktzahl von 1 gaben, was bedeutet, dass die Antworten umfassend und korrekt waren. Darüber hinaus erhielten 67 % der Antworten auf 20 Fragen zum Thema Lynch-Syndrom und erblicher Brust- und Eierstockkrebs die Bewertung 1. Die weiteren 33 % erhielten die Bewertung 2, was bedeutet, dass die Antwort richtig, aber nicht umfassend war.

„ChatGPT ist ein leistungsstarkes Tool, aber es hat seine Grenzen. In diesem speziellen Bereich ist weitere Arbeit erforderlich, bevor es sinnvoll auf den Bereich der gynäkologischen Onkologie angewendet werden kann“, sagte Patel in einem Interview mit OncLive^®. „Ich hoffe jedoch, dass dies der Fall ist [study] öffnet uns die Tür, dieses leistungsstarke Tool als Patientenressource einzusetzen.

Im Interview erörterte Patel die Gründe für den Einsatz von ChatGPT zur Beantwortung genetischer Beratungsfragen im Bereich der gynäkologischen Onkologie, erläuterte die Ergebnisse dieser Studie und erläuterte die nächsten Schritte bei der Erforschung von KI-Plattformen für einen möglichen Einsatz in der klinischen Praxis.

Patel ist gynäkologischer Onkologe am Perlmutter Cancer Center der New York University Langone Health.

OncLive: Was war der Grund für die Untersuchung des Einsatzes von ChatGPT zur genetischen Beratung bei Patienten mit gynäkologischen Krebserkrankungen?

Patel: ChatGPT wird immer häufiger von allen genutzt, auch von unseren Patienten. ChatGPT war in jüngster Zeit Gegenstand zahlreicher Untersuchungen und es wurde festgestellt, dass es die medizinische Zulassungsprüfung der Vereinigten Staaten bestanden hat [USMLE]. Deshalb wollten wir konkret sehen, welche Anwendungsmöglichkeiten es in der gynäkologischen Onkologie geben könnte.

Wir wissen das [ChatGPT] ist gut darin, faktenbasierte Fragen zu beantworten; Wir wollten jedoch seine Fähigkeit testen, differenziertere Fragen zu beantworten. Wir glauben, dass die genetische Beratung eine Kategorie ist, die für diese sehr spezifischen Fragen getestet werden muss.

Was waren einige der Methoden und Designs dieser Studie?

Wir haben in Zusammenarbeit mit gynäkologischen Onkologen und Umfragen auf Websites von Fachgesellschaften eine Liste mit 40 Fragen zu den häufigsten Fragen im Zusammenhang mit der genetischen Beratung in der gynäkologischen Onkologie erstellt. Der Fragenkatalog [was] dann in zwei Kategorien aufgeteilt. Die erste Kategorie bezog sich nur auf Fragen zur genetischen Beratung im Allgemeinen, und dabei handelte es sich um Fragen wie: „Wird meine Versicherung beeinträchtigt, wenn ich positiv auf a getestet werde?“ BRCA Syndrom?' Der zweite Fragensatz bezog sich auf eher syndromspezifische Fragen, wie zum Beispiel Lynch-Syndrom und BRCA-assoziierte Fragen zu erblich bedingtem Brust- und Eierstockkrebs.

Die Fragen wurden in ChatGPT abgefragt. Wir haben ein Leseniveau der achten Klasse verwendet, um einen durchschnittlichen Benutzer zu emulieren. Die Fragen wurden dann von zwei gynäkologischen Onkologen auf einer Skala von 1 bis 4 bewertet. Eine Bewertung von 1 würde bedeuten, dass die Antwort völlig richtig und umfassend war, und in der klinischen Praxis hätte der gynäkologische Onkologe dieser Antwort wahrscheinlich nichts Wesentliches hinzuzufügen . Ein Wert von 4 würde eine völlig falsche Antwort bedeuten. Bei Bewertungsdiskrepanzen zwischen den beiden Prüfern wurden weitere gynäkologische Onkologen gebeten, die Fragen zu bewerten, um etwaige Diskrepanzen zu beheben.

Was waren einige der wichtigsten Ergebnisse dieser Studie und was hat Sie besonders überrascht?

Das überraschendste Ergebnis war in der Kategorie der allgemeinen genetischen Beratungsfragen zu finden. ChatGPT hat geantwortet [those questions] mit 100% Verständnis und Genauigkeit. Es gab keine Unstimmigkeiten in der Wertung. Alle gynäkologischen Onkologen, die wir gebeten haben, diese Fragen zu bewerten, waren sich einig, dass alle Antworten umfassend und korrekt waren.

Ein weiteres Ergebnis war, dass bei den syndromspezifischen Fragen, insbesondere Lynch-Syndrom und BRCA-assoziierte Syndrome, obwohl ChatGPT korrekt war [with a score of 1] In 67 % der Fälle wurden einige richtige Antworten geliefert [that] waren nicht umfassend [a score of 2], und die Anwesenden dachten, dass sie dieser Antwort noch etwas hinzufügen könnten. Es war auf jeden Fall auf beiden Seiten überraschend und interessant.

Gab es nennenswerte Einschränkungen dieser Studie?

Es gab Einschränkungen für unsere Studie. Dabei handelte es sich um ein Bewertungssystem, das aus zuvor veröffentlichter Literatur übernommen wurde, was bedeutet, dass in unserer Studie möglicherweise vorhandene Bewertungsverzerrungen auftraten. Wir haben versucht, diese Voreingenommenheit zu begrenzen, indem wir dafür gesorgt haben, dass jeder Rezensent die Antworten anderer Rezensenten nicht wahrnehmen konnte.

Eine weitere Einschränkung waren unsere spezifischen Fragen zum Lynch-Syndrom. Wir haben in unsere Studie nur drei Fragen aufgenommen, die sich speziell auf das Lynch-Syndrom bezogen, was unsere Fähigkeit einschränkte, prägende Schlussfolgerungen zu dieser spezifischen Kategorie zu ziehen. Die Hinzufügung weiterer Lynch-Syndrom-spezifischer Fragen könnte es uns ermöglichen, diese Fragenkategorie direkt mit den Fragen zu erblich bedingtem Brust- und Eierstockkrebs zu vergleichen.

Gibt es weitere Schritte für diese Forschung?

Die nächsten Schritte von [this] Forschung ist wirklich faszinierend. Überall werden KI-Pipelines entwickelt, und es wäre interessant zu sehen, ob ein ähnliches KI-Sprachmodell mit Eingaben von Ärzten entwickelt werden könnte, um zu sehen, ob es umfassendere Antworten generiert, als ein Arzt sonst in seiner klinischen Praxis geben würde. Dann [we could see] ob dies tatsächlich die Akzeptanz von Gentests bei unseren Patienten beeinflusst.

Referenz

Patel JM, Hermann CE, Growdon WB, Aviki E, Stasenko M. ChatGPT führt die genetische Beratung bei gynäkologischen Krebserkrankungen präzise durch. Präsentiert auf: SGO-Jahrestagung 2024 zum Thema Frauenkrebs; 16.–18. März 2024; San Diego, Kalifornien.