Stanford ist eine dieser Institutionen, die erhebliche Ressourcen für die Erforschung von chatgpt aufwendet, dem auf maschinellem Lernen basierenden Chatbot von OpenAI. Ein Forscherteam der renommierten amerikanischen Universität hat kürzlich eine neue Studie veröffentlicht, in der sie die Leistung des Programms mit der seiner Studenten verglichen.
Dies ist ein beliebter Ansatz, da er eine gute Möglichkeit ist, die Fähigkeit des Programms zu beurteilen, sehr konkrete Beiträge für die Menschheit zu leisten. Beispielsweise haben mehrere Forschungslabore bereits die Einsatzmöglichkeiten von ChatGPT bei Management- oder Rechtsprüfungen untersucht, mit zwar heterogenen, aber oft beeindruckenden Ergebnissen.
Dieses Mal wollte das Team um den Forscher und Krankenhausarzt Eric Strong überprüfen, wozu er im Vergleich zu Medizinstudenten im ersten und zweiten Jahr in Stanford fähig ist. Es handelt sich um einen Kurs auf hohem Niveau, der in allen nationalen Rankings mindestens unter den ersten sieben des Landes liegt.
Von MCQs bis hin zu offenen Fragen
Die Besonderheit dieser Studie besteht darin, dass sie sich auf Fallstudien konzentrierte, die ausschließlich Folgendes umfassten Offene Fragen. Diese Tests, die den Kandidaten einen großen Spielraum bieten, sind viel schwieriger als Multiple Choice.
Mit diesen kann der Chatbot einfach die verschiedenen möglichen Antworten analysieren, um zu erraten, welche die richtige ist. Eine offene Frage hingegen beinhaltet jede Nuance einer komplexen Aussage verstehen. Und vor allem müssen Sie dann eine begründete und schlüssige Antwort formulieren. Es ist eine viel entmutigendere Aufgabe, sowohl für Studenten als auch für Systeme, die auf maschinellem Lernen basieren.
Die Autoren haben den Text zusammengestellt 14 verschiedene Fallstudien. Die Aussagen umfassten einige hundert bis tausend Wörter. Das waren sie auch voller kniffliger Details zu verschiedenen chronischen Krankheiten oder Behandlungen, die für die Lösung des Problems nicht unbedingt wichtig waren. Auf diese Weise werden die Kandidaten dazu gezwungen, im Rahmen der Diagnose die relevanten Elemente herauszufiltern.
Sie übermittelten diese Fallstudien an zufällig ausgewählte Erst- und Zweitsemesterstudenten und dann an die neueste Version von ChatGPT basierend auf GPT-4. Anschließend wurden die Skripte von einer Gruppe erfahrener Lehrer einer Blindbewertung unterzogen.
Mehr bestandene Antworten und eine höhere Durchschnittspunktzahl
Im Durchschnitt schnitten menschliche Kandidaten gut genug ab, um die Prüfung zu bestehen 85 % dieser Fallstudien. Dem Chatbot gelang es seinerseits, es besser zu machen; Seine Antworten überzeugten die Prüfer 93 % Fälle. Und es ging nicht nur darum, noch mehr kaum passable Antworten zu finden. Im Durchschnitt punktete ChatGPT 4,2 Punkte mehr als echte Medizinlehrlinge.
Dieses beeindruckende Ergebnis bedeutet keineswegs, dass der Chatbot nun bereit ist, einen professionellen Praktiker zu ersetzen, ganz im Gegenteil. Andererseits deutet es darauf hin, dass er diese heiklen Fälle immer effizienter angeht.
Welchen Platz hat KI in der Medizin?
Diese Ergebnisse bestärken die Idee, dass manche Studenten dazu verleitet sein könntenVerwenden Sie den Chatbot zum Betrügen. Dies ist ein Thema, das für Pädagogen immer wichtiger wird, wie die Betrugsaffäre an der Universität Lyon zu Beginn des Jahres zeigt.
ChatGPT: Eine halbe Klasse betrügt mit KI, wird aber erwischt
Die Verantwortlichen der Stanford School of Medicine waren sich dieser potenziellen Gefahr bewusst und beschlossen, dies zu tun Sie ändern die Modalitäten ihrer Prüfungen radikal.
Bisher konnten Studierende bei der Beantwortung dieser Fragen auf wissenschaftliche Ressourcen aus dem Internet zurückgreifen. Doch letztes Semester entschied sich die Verwaltung für die Umstellung auf ein altmodisches geschlossenes Modell. Die Schüler müssen jetzt Grund nur auf der Grundlage der Informationen, die sie gespeichert haben während des Jahres.
Dadurch wird die Zahl der Betrugsfälle effektiv reduziert – allerdings gibt es auch eine Kehrseite. Das verhindert, dass Prüfer die Fähigkeit der Kandidaten testen, zuverlässige Quellen zu identifizieren und zu nutzen, um eine fundierte Entscheidung zu treffen — eine grundlegende Fähigkeit bei der Ausübung medizinischer Berufe.
Aus diesem Grund arbeitet Stanford derzeit an einer neuen Aktualisierung des Lehrplans. Das haben sie vorKI-basierte Tools explizit in die Lehrpraxis integrieren. Das erklärte Ziel besteht darin, die Schüler besser vorzubereiten, anstatt sie von einem Werkzeug abzuhalten, das wahrscheinlich eine Weile dauern wird einen immer wichtigeren Platz in der Medizin von morgen einnehmen.
« Wir wollen keine Ärzte ausbilden, die so sehr auf KI angewiesen sind, dass sie nicht einmal lernen können, selbstständig zu argumentieren “, erklärt Alicia DiGiammarino, Leiterin des zweiten Medizinjahres in Stanford und Mitautorin der Studie.
« Aber ich habe noch mehr Angst vor einer Welt, in der Ärzte nicht darin geschult werden, KI richtig einzusetzen. Wir sind noch weit davon entfernt, Ärzte vollständig zu ersetzen, aber wahrscheinlich nur noch wenige Jahre davon entfernt, dass KI in den medizinischen Alltag integriert wird. “, schließt sie.
Der Text der Studie ist verfügbar Hier.
