11. September 2023
1 Minute gelesen
Herausgegeben von:
Offenlegung: Kung meldet keine relevanten finanziellen Offenlegungen. Die relevanten finanziellen Offenlegungen aller anderen Autoren finden Sie in der Studie.
Die zentralen Thesen:
- chatgpt 3.5 beantwortete 54,3 % der Fragen zur orthopädischen Ausbildungsprüfung richtig, was einem PGY-1-Niveau entspricht.
- ChatGPT 4 beantwortete 76,6 % der Fragen richtig, was einem PGY-5-Niveau entspricht.
ChatGPT beantwortete 54,3 % der Fragen zur orthopädischen Ausbildungsprüfung richtig, eine Note, die den veröffentlichten Ergebnissen zufolge mit der Note eines orthopädischen Assistenzarztes im ersten Studienjahr übereinstimmt.
Forscher der Prisma Health-Midlands University of South Carolina School of Medicine analysierten die Leistung von ChatGPT Version 3.5 und Version 4 bei den orthopädischen Fortbildungsprüfungen 2020, 2021 und 2022 ohne Aufforderung. Sie verglichen den Prozentsatz der richtigen Antworten von ChatGPT mit dem nationalen Durchschnitt der Assistenzärzte für orthopädische Chirurgie auf jeder Postgraduiertenjahrstufe (PGY). Darüber hinaus musste ChatGPT einen Zeitschriftenartikel, ein Buch oder eine Website als verifizierte Quelle für seine Antwort angeben.
ChatGPT 3.5 beantwortete 196 von 360 Fragen (54,3 %) richtig, eine Note, die dem Durchschnitt von PGY-1-Bewohnern entspricht, und zitierte bei 47,2 % der Fragen eine überprüfbare Quelle mit einem durchschnittlichen mittleren Journal Impact Factor von 5,4.
ChatGPT 4 beantwortete 265 von 360 Fragen richtig (73,6 %), eine Note, die dem Durchschnitt der PGY-5-Bewohner entspricht und die bestandene Punktzahl von 67 % für die Teil-I-Prüfung des American Board of Orthopaedic Surgery übertrifft. ChatGPT 4 zitierte bei 87,9 % der Fragen eine überprüfbare Quelle mit einem durchschnittlichen Journal Impact Factor von 5,2.
„Aufgrund der sich schnell ändernden Standards von [artificial intelligence]ist es wichtig, dass orthopädische Chirurgen in die Integration einbezogen werden [artificial intelligence] in dieses Feld einzudringen und es in eine Position zu führen, in der es für eine hervorragende Patientenversorgung eingesetzt werden kann“, schreiben die Forscher in der Studie.
„ChatGPT zeigte vergleichbare Kenntnisse wie orthopädische Assistenzärzte und kann bei weiterer Weiterentwicklung möglicherweise in der orthopädischen medizinischen Ausbildung, der Patientenaufklärung und der klinischen Entscheidungsfindung eingesetzt werden“, schlussfolgerten sie.
