Eine aktuelle Studie veröffentlicht in Wissenschaftliche Berichte legt nahe, dass die Leistung von ChatGPT bei der Beantwortung von Prüfungsfragen in verschiedenen Disziplinen wie Informatik, Politik, Ingenieurwesen und Psychologie mit der Leistung eines durchschnittlichen Universitätsstudenten vergleichbar sein oder diese sogar übertreffen könnte. Darüber hinaus ergab die Studie, dass fast 75 % der befragten Studenten ihre Bereitschaft zum Ausdruck brachten, ChatGPT zur Unterstützung bei ihren Aufgaben zu nutzen, ungeachtet der Auffassung vieler Pädagogen, dass die Verwendung von ChatGPT einem Plagiat gleichkommt.

Um zu untersuchen, wie ChatGPT beim Verfassen von Universitätsbewertungen im Vergleich zu Studenten abschneidet, luden Talal Rahwan und Yasir Zaki Fakultätsmitglieder ein, die verschiedene Kurse an der Universität unterrichteten New Yorker Universität Abu Dhabi (NYUAD), um jeweils drei Schülerbeiträge für zehn von ihnen gestellte Bewertungsfragen bereitzustellen.

ChatGPT wurde dann gebeten, drei Antwortsätze auf die zehn Fragen zu erstellen, die dann zusammen mit den von den Schülern verfassten Antworten von drei Bewertern bewertet wurden (die die Quelle der Antworten nicht kannten). Die von ChatGPT generierten Antworten erzielten in 9 von 32 Kursen eine ähnliche oder bessere Durchschnittsnote als die Studierenden. Lediglich in Mathematik- und Wirtschaftskursen übertrafen die Studierenden ChatGPT durchweg. Am deutlichsten übertraf ChatGPT die Studierenden im Kurs „Einführung in die öffentliche Ordnung“, wo die Durchschnittsnote bei 9,56 lag, verglichen mit 4,39 bei den Studierenden.

Die Autoren befragten außerdem 1.601 Personen aus Brasilien, Indien, Japan, den USA und dem Vereinigten Königreich (darunter mindestens 200 Studenten und 100 Lehrkräfte aus jedem Land) dazu, ob ChatGPT zur Unterstützung bei Universitätsaufgaben eingesetzt werden könnte. 74 Prozent der Studierenden gaben an, dass sie ChatGPT bei ihrer Arbeit nutzen würden. Im Gegensatz dazu unterschätzten die Lehrkräfte in allen Ländern den Anteil der Studierenden, die ChatGPT nutzen wollen, und 70 Prozent der Lehrkräfte gaben an, dass sie die Nutzung als Plagiat behandeln würden.

Schließlich berichten die Autoren, dass zwei Tools zur Identifizierung von KI-generiertem Text – GPTZero und AI Text Classifier – die in dieser Forschung generierten ChatGPT-Antworten in 32 Prozent bzw. 49 Prozent der Fälle fälschlicherweise als von einem Menschen verfasst klassifizierten.

Zusammengenommen bieten diese Ergebnisse Erkenntnisse, die als Grundlage für die Politik des Einsatzes von KI-Tools in Bildungseinrichtungen dienen könnten.

Referenz: „Wahrnehmung, Leistung und Erkennbarkeit konversationeller künstlicher Intelligenz in 32 Universitätskursen“ von Hazem Ibrahim, Fengyuan Liu, Rohail Asim, Balaraju Battu, Sidahmed Benabderrahmane, Bashar Alhafni, Wifag Adnan, Tuka Alhanai, Bedoor AlShebli, Riyadh Baghdadi, Jocelyn J. Bélanger, Elena Beretta, Kemal Celik, Moumena Chaqfeh, Mohammed F. Daqaq, Zaynab El Bernoussi, Daryl Fougnie, Borja Garcia de Soto, Alberto Gandolfi, Andras Gyorgy, Nizar Habash, J. Andrew Harris, Aaron Kaufman, Lefteris Kirousis, Korhan Kocak, Kangsan Lee, Seungah S. Lee, Samreen Malik, Michail Maniatakos, David Melcher, Azzam Mourad, Minsu Park, Mahmoud Rasras, Alicja Reuben, Dania Zantout, Nancy W. Gleason, Kinga Makovi, Talal Rahwan und Yasir Zaki, 24 August 2023, Wissenschaftliche Berichte. DOI: 10.1038/s41598-023-38964-3