Basierend auf pharmakologischen MCQs ergab diese Studie, dass die aktuelle Version von chatgpt verbessert werden muss, um als eigenständiges Selbstlerntool verwendet zu werden. Die Gesamtleistung von ChatGPT (76 %) in dieser Studie übertraf die in der vorherigen Literatur angegebenen Bereiche (61,1 %, 95 %-KI 56,1 %–66,0 %). [14]. Seine Leistung kann abhängig von der Anzahl der von jedem Test abgedeckten Probanden, der Anzahl der Optionen pro MCQ sowie der Verteilung der kognitiven Taxonomie der Testelemente variieren. Allerdings kann eine Leistung unter 95 % die Zuverlässigkeit als selbstlernendes Werkzeug einschränken [14]. ChatGPT übertraf koreanische Studenten in Bezug auf die Gesamtgenauigkeit seiner Antworten (76 % gegenüber 55 %), schnitt jedoch trotz seiner vermeintlichen kritischen Denk- und Problemlösungsfähigkeiten bei den MC-Fragen zur Problemlösung schlecht ab (45 %). Dieses Ergebnis legt nahe, dass ChatGPT immer noch nur begrenzt in der Lage ist, kritisches Denken und Argumentationsfähigkeiten auf reale Probleme anzuwenden.

Ein weiteres Problem bei ChatGPT war die Zufälligkeit der generierten Antworten. ChatGPT beantwortete 23,1 % der Testaufgaben bei den Einleitungsaufforderungen inkonsistent. Während Zufälligkeit bei der Generierung kreativer Inhalte oder der Erforschung verschiedener Ideen nützlich sein kann, kann sie bei der Beantwortung sachlicher Fragen ein kritisches Problem darstellen [21]. Eine besonders problematische Form der Zufälligkeit ist die Halluzination, ein Phänomen, bei dem ChatGPT plausibel klingende, aber falsche oder irreführende Informationen generiert [22,23,24,25]. Die Halluzinationen können durch Verzerrungen der Trainingsdaten, fehlende erforderliche Informationen, eingeschränktes Verständnis der realen Welt oder algorithmische Einschränkungen verursacht werden [26]. Die Begründungen für die Antwort und die unterstützenden Verweise waren besonders anfällig für Halluzinationen. Von allen generierten Begründungen waren 22,2 % falsch und enthielten Informationsfehler oder Argumentationsfehler. Generierte URL-Links waren häufig falsch oder nicht verfügbar (191/274, 69,7 %), und einige Autoren konnten nicht gefunden werden (59/350, 16,9 %). Folglich stellte ChatGPT zwar Absätze zu einigen der absatzpflichtigen Eingabeaufforderungen bereit, es war jedoch nicht möglich, deren Richtigkeit zu bewerten, da die meisten Referenzlinks nicht verfügbar waren. Diese schlechte Leistung zeigt eine Schwäche von ChatGPT als eigenständiges Selbstlerntool. Im medizinischen Bereich ist es von entscheidender Bedeutung, sicherzustellen, dass die Informationen korrekt sind, da Fehler oder Ungenauigkeiten schädliche Folgen haben können [27]. Etwaige Ungenauigkeiten und Fehlinformationen in Leitfäden zum Selbststudium können jedoch ohne Referenzen nicht korrigiert werden, was zu einer fehlerhaften Informationsaufnahme führen würde, die sich negativ auf die Lernergebnisse auswirken kann. Das Fehlen geeigneter Referenzen kann den Studierenden auch den Zugang zu zusätzlichen Informationen verwehren, was wiederum ihr Verständnis und Verständnis für das Thema einschränken könnte [28].

Trotz seiner Einschränkungen könnte ChatGPT als Selbstlerntool nützlich sein, wenn es unter Aufsicht verwendet wird [29]. Als Teil der Vorbereitung der Schüler auf die Herausforderungen der Zukunft könnten sie darin geschult werden, sachlich falsche oder irreführende Antworten von ChatGPT kritisch zu bewerten und zu hinterfragen, wie etwa die Rückverfolgung von Beweisen zu den Hauptquellen, um die Behauptungen des Modells zu überprüfen [28]. Beispielsweise können Schüler ChatGPT durch Aufforderungen wie „Erklären Sie Ihren Denkprozess für die Antwort“ oder „Erklären Sie Ihre Gedankenkette für die Antwort“ nach seiner Gedankenkette fragen. [30]. Die Antworten auf diese Aufforderungen können den Schülern helfen, die Argumentation von ChatGPT zu verstehen, kritisch über die zugrunde liegenden Informationen nachzudenken und auf der Grundlage der Erfahrung ihre eigenen Fähigkeiten zum Denken und kritischen Denken zu entwickeln. ChatGPT kann eine ansprechende Art des Lernens sein, aber es ist wichtig, es in Maßen zu verwenden und nicht zuzulassen, dass es unabhängiges Denken ersetzt. Schüler sollten davor gewarnt werden, sich zu sehr auf ChatGPT zu verlassen, da dies ihre höheren kognitiven Fähigkeiten wie Kreativität und Problemlösung beeinträchtigen könnte [31].

Diese Studie leistete einen Beitrag zur bisherigen Literatur, indem sie den Nachweis lieferte, dass die aktuelle Version von ChatGPT nicht als eigenständiges Selbstlerntool geeignet ist, und das Potenzial für die überwachte Nutzung von ChatGPT untersuchte.

Allerdings weist diese Studie auch einige Einschränkungen auf. Erstens wurden in der Studie nur 78 Testelemente verwendet, die aus der K-CBMSE-Pharmakologie abgeleitet waren. Obwohl die Stichprobengröße für die Zwecke dieser Studie ausreichend ist, ist sie immer noch relativ klein und deckt möglicherweise nicht alle Kategorien medizinischer Untersuchungsfragen vollständig ab. Daher könnte die zukünftige Forschung darauf abzielen, einen größeren und vielfältigeren Satz medizinischer Untersuchungsfragen für eine umfassendere Bewertung der Fähigkeiten von ChatGPT zu nutzen. Zweitens lag der Schwerpunkt dieser Studie auf der Untersuchung der Fähigkeit von ChatGPT, medizinische Untersuchungs-MCQs zu bearbeiten, insbesondere solche im Zusammenhang mit der Pharmakologie. Die Ergebnisse dieser Forschung sind möglicherweise nicht unbedingt auf andere Arten von Untersuchungen oder Bereiche übertragbar. Um die Übertragbarkeit der Studienergebnisse zu verbessern, könnten nachfolgende Untersuchungen die Wirksamkeit von ChatGPT bei der Beantwortung von Fragen in anderen Bereichen als der Medizin oder in anderen Antwortformaten wie Aufsätzen untersuchen. Dieser Ansatz würde dazu beitragen, die Verallgemeinerbarkeit der Ergebnisse festzustellen und eine solidere Unterstützung für zukünftige praktische Anwendungen bereitzustellen. Drittens entwickelt sich ChatGPT rasant weiter. Während des Forschungsprozesses wurden erhebliche Fortschritte erzielt, die möglicherweise dazu führen könnten, dass einige Ergebnisse weniger relevant sind. GPT-4 wurde beispielsweise während dieser Forschung veröffentlicht und ist bekanntermaßen deutlich leistungsfähiger als ChatGPT [32]. Viertens könnte die Gesamtleistung von ChatGPT in dieser Studie aufgrund der unausgewogenen Verteilung der kognitiven Taxonomieniveaus in den Testaufgaben überschätzt worden sein. Nur 17,9 % der Testaufgaben sind problemlösend, während 56,4 % Erinnerungsaufgaben sind. Um einen fairen Vergleich zwischen den Studien zu gewährleisten, sollte die Verteilung der Ebenen der kognitiven Taxonomie standardisiert werden. Schließlich gibt es mehrere Schlüsselkomponenten, die zur Wirksamkeit von Lerninstrumenten beitragen können, beispielsweise die Wahrnehmung und Interaktion der Schüler [33, 34]. In dieser Studie wurde die Wirksamkeit von ChatGPT in diesen Dimensionen nicht bewertet.

Die Einführung neuer Technologien wie Internet, mobile Geräte und ChatGPT im Bildungswesen birgt sowohl Chancen als auch Risiken. Die Einführung neuer Technologien wie Internet, mobile Geräte und ChatGPT birgt sowohl Chancen als auch Risiken für die Bildung. Die Technologie der künstlichen Intelligenz (KI) hat das Potenzial, die Bildung zu revolutionieren [35]bietet personalisierte virtuelle Assistenten und adaptive Lernerfahrungen für jeden Schüler [31, 36, 37]. KI-gestützte Systeme können zeitnahes und unmittelbares Feedback, maßgeschneiderte Empfehlungen sowie interaktive und ansprechende Lernaktivitäten bereitstellen [26, 36, 38]. Obwohl einige die Bedrohung durch Plagiate und Fehlinformationen durch ChatGPT fürchten mögen, waren Bemühungen, neue Technologien in der Hochschulbildung zu verbieten, in der Vergangenheit erfolglos. ChatGPT dürfte keine Ausnahme sein [39].

Stattdessen sollten wir ChatGPT und andere Sprachmodelle als selbstlernende Tools nutzen und gleichzeitig versuchen, die damit verbundenen Risiken zu minimieren. Ein möglicher Ansatz besteht darin, Strategien für eine angemessene Betreuung zu entwickeln. Beispielsweise können Studierende ChatGPT bitten, eine Lösung für ein komplexes Problem zu generieren und die Lösung dann zu bewerten, um ihre Machbarkeit oder Wirksamkeit zu bestimmen [30]. Solche Setups würden von den Schülern verlangen, dass sie ihre Fähigkeiten zur Problemlösung einsetzen und kritisch über die verschiedenen Faktoren nachdenken, die an dem Problem beteiligt sind. Auf diese Weise können wir das Lernen der Schüler anregen und sie dazu motivieren, höhere kognitive Fähigkeiten wie kritisches Denken und Problemlösung zu entwickeln. Es sollten auch empirische Studien durchgeführt werden, um zu untersuchen, ob die Verwendung von ChatGPT unter Supervision das kritische Denken und die Fähigkeiten zur Problemlösung wirklich verbessern kann.