In einer Studie wurde chatgpt, der Chatbot mit künstlicher Intelligenz (KI), auf seine Fähigkeit getestet, Fragen zur genetischen Beratung in der gynäkologischen Onkologie mit Schwerpunkt Eierstockkrebs zu beantworten. Das Tool schnitt gut ab und beantwortete 83 % der von Forschern gestellten Fragen richtig.
Die Forscher gaben der KI 40 Fragen, die Patienten häufig zur genetischen Beratung stellen, und die Ärzte bewerteten dann die Antworten der KI.
Bei Fragen zu genetischen Syndromen schnitt die KI am besten ab und beantwortete alle 20 perfekt. Antworten zu syndromspezifischen Fragen, unter anderem zu BRCA Mutationen und Lynch-Syndrome lieferten eine Genauigkeit von etwa 60 % bis 70 %.
„Es zeigt, dass es Einschränkungen bei dieser Technologie gibt, und zwar während Patienten sie möglicherweise verwenden [ChatGPT]„Wir müssen sie warnen, dass es sich noch nicht um ein Werkzeug handelt, das klinisch angewendet werden kann“, sagte Jharna M. Patel, MD, gynäkologische Onkologie-Stipendiatin an der NYU Langone Health, in einem Interview mit Targeted OncologyTM.
Im Interview besprach Patel die Studie und ihre Ergebnisse, die auf der Konferenz vorgestellt wurden 2024 Gesellschaft für Gynäkologische Onkologie (SGO) Jahresversammlung 2024.
Gezielte Onkologie: Wie sieht die aktuelle Situation der genetischen Beratung bei Eierstockkrebs aus?
Patel: Die aktuelle Situation betrifft jede Patientin, bei der Eierstockkrebs diagnostiziert wird oder bei der der starke Verdacht auf eine Krebserkrankung besteht, die über familiäre Syndrome übertragen werden könnte. Wir empfehlen eine genetische Beratung und Gentests [for those patients]. Gentests können auf zwei Arten durchgeführt werden: Sie können am Gewebetyp selbst durchgeführt werden oder [the patient] wird an einen genetischen Berater verwiesen, der sich etwas eingehender damit befasst [their] Familiengeschichte. Damals, basierend auf [their] Risikobewertung, oder wenn nur die Geschichte preisgegeben wird, dann [the counselors] empfehlen Keimbahntests.
Was war der Hintergrund oder die Begründung der bei SGO vorgestellten Studie?
Wir wissen, dass ChatGPT gut darin ist, faktenbasierte Fragen zu beantworten. Tatsächlich konnte es bestehen [United States Medical Licensing Examination according to] aktuelle Veröffentlichungen. Wir wissen, dass andere medizinische Bereiche die Möglichkeit untersucht haben, in ihren Bereichen Tests durchzuführen [and answer] faktenbasierte Fragen in ihrem Fachgebiet. Wir wollten sehen, ob ChatGPT differenziertere Fragen bewältigen kann. Wie Sie sich vorstellen können, ist die genetische Beratung äußerst differenziert und sehr patientenspezifisch. Das war der Auslöser: Wir wollten sehen, ob wir eine personalisierte Beratung durchführen können [with ChatGPT].
Könnten Sie etwas zur Methodik der Analyse sagen?
Wir haben im Zusammenhang mit dem eine Liste mit 40 Fragen erstellt [gynecologic] Onkologen, und wir haben diese Fragen auch von Websites von Fachgesellschaften übernommen. Damit sollten klinische Fragen und Fragen zur genetischen Beratung nachgeahmt werden, die in der klinischen Praxis am häufigsten vorkommen. Wir haben beschlossen, jede Frage auf einem Leseniveau der achten Klasse zu formulieren, das einem durchschnittlichen US-Benutzer nachempfunden wäre, und haben ChatGPT Version 3.5 verwendet. Obwohl wir wissen, dass es Versionen von ChatGPT gibt, die etwas genauer sein könnten, ist dies die Version, die von der Bevölkerung der Vereinigten Staaten am häufigsten verwendet wird, da es sich um die kostenlose Version handelt. Wir haben ChatGPT zu jeder Frage befragt und die Antworten auf einer Skala von 1 bis 4 aufgezeichnet. Die Onkologen wurden gebeten, zu bewerten, wie umfassend und korrekt die Antworten waren. Eine 1 würde bedeuten, dass wir eine Antwort erhalten, die vollständig umfassend und richtig ist, während eine 4 eine Antwort bedeuten würde, die völlig falsch ist. Wenn es Unstimmigkeiten bei der Bewertung gab, die geklärt werden mussten, werden wir die Fragen an weitere weiterleiten [gynecologic] onkologische Besuche.
Was waren Ihre Erkenntnisse?
Die Fragen sind in zwei Kategorien unterteilt: allgemeine genetische Beratungsfragen vs. syndromspezifische Fragen. In der Kategorie der allgemeinen genetischen Beratung würde dies Fragen umfassen wie: Ist meine Versicherung betroffen, wenn ich positiv auf Syndrome getestet werde? Was ist Kaskadentest? Muss ich meine Familienangehörigen informieren, wenn ich positiv auf etwas getestet wurde? Dies sind nur allgemeine Fragen, und in dieser Fragenkategorie hat ChatGPT die Fragen in 100 % der Fälle richtig und umfassend beantwortet. Jede Antwort erhielt eine Punktzahl von 1; Es gab keine Punktediskrepanzen, die behoben werden mussten. Es war einstimmig zwischen den 2 [gynecologic] Onkologen, dass diese Fragen umfassend und richtig waren.
Die zweite Kategorie von Fragen bezog sich eher auf Syndrome. Dies wurde weiter in zwei verschiedene Kategorien unterteilt: Fragen speziell zum Lynch-Syndrom und Fragen dazu BRCA-assoziierte erbliche Brust- und Eierstockkrebssyndrome. Bei den Lynch-Syndrom-Fragen stellten wir fest, dass die Fragen in zwei Dritteln der Fälle umfassend und richtig beantwortet wurden. Etwa 60 % der Befragten lagen richtig BRCA-Fragen zum erblichen Brust- und Eierstockkrebssyndrom.
Welche Implikationen haben Ihre Ergebnisse für Kliniker und Patienten?
Ärzte müssen verstehen, dass ChatGPT ein Tool ist, das Patienten möglicherweise bereits verwenden. Wie gesagt, obwohl es gut und zu 100 % korrekt war und allgemeine genetische Beratungsfragen beantwortete, war es bei syndromspezifischen Fragen weniger genau. Dies zeigt, dass es bei dieser Technologie Einschränkungen gibt, auch wenn Patienten sie möglicherweise verwenden [ChatGPT]müssen wir sie warnen, dass es sich noch nicht um ein Werkzeug handelt, das klinisch angewendet werden kann.
