FZuerst kamen die Schüler, die Hilfe bei ihren Hausaufgaben und Aufsätzen brauchten. Jetzt lockt chatgpt Wissenschaftler an, die unter Druck stehen, Artikel in renommierten wissenschaftlichen Fachzeitschriften zu veröffentlichen.

KI revolutioniert bereits die archaische Welt des wissenschaftlichen Publizierens. Wenn Melissa Kacena, stellvertretende Vorsitzende der orthopädischen Chirurgie an der Indiana University School of Medicine, Artikel überprüft, die zur Veröffentlichung in Fachzeitschriften eingereicht wurden, weiß sie jetzt, dass sie nach Artikeln Ausschau halten muss, die möglicherweise vom KI-Programm geschrieben wurden. „Ich habe jetzt die Faustregel, dass ich die Arbeit ablehne, wenn ich 10 zufällige Referenzen aufrufe, die in der Arbeit zitiert werden, und wenn mehr als eine davon nicht korrekt ist“, sagt sie.

Aber trotz der Fallstricke gibt es auch Versprechen. Das Schreiben von Übersichtsartikeln beispielsweise ist eine Aufgabe, die sich gut für KI eignet: Dabei geht es darum, die bestehende Forschung zu einem Thema zu sichten, die Ergebnisse zu analysieren, eine Schlussfolgerung über den Stand der Wissenschaft zu diesem Thema zu ziehen und neue Erkenntnisse zu gewinnen. ChatGPT kann all diese Dinge gut.

Kacena beschloss herauszufinden, wer besser darin ist, Rezensionsartikel zu schreiben: People oder ChatGPT. Für ihr Studium veröffentlicht in Aktuelle Osteoporose-Berichte, teilte sie neun Studenten und das KI-Programm in drei Gruppen ein und bat jede Gruppe, einen Übersichtsartikel zu einem anderen Thema zu schreiben. Für eine Gruppe bat sie die Schüler, Übersichtsartikel zu den Themen zu schreiben; zum anderen beauftragte sie ChatGPT, Artikel zu denselben Themen zu schreiben; und für die letzte Gruppe gab sie jedem Schüler ein eigenes ChatGPT-Konto und forderte sie auf, mit dem KI-Programm zusammenzuarbeiten, um Artikel zu schreiben. Dadurch konnte sie Artikel vergleichen, die von Menschen, von KI und einer Kombination aus Menschen und KI verfasst wurden. Sie bat Fakultätskollegen und Studenten, jeden Artikel auf Fakten zu überprüfen und verglich die drei Artikeltypen hinsichtlich Genauigkeit, einfacher Lesbarkeit und Verwendung einer angemessenen Sprache.

Mehr lesen: Um im Gesundheitswesen einen echten Unterschied zu machen, muss die KI genauso lernen wie wir

Die Ergebnisse waren aufschlussreich. Die von ChatGPT verfassten Artikel waren leicht zu lesen und sogar besser geschrieben als die der Studenten. Aber bis zu 70 % der zitierten Referenzen waren ungenau: Sie waren entweder zusammenhangslos aus mehreren verschiedenen Studien zusammengeführt oder völlig frei erfunden. Die KI-Versionen waren zudem eher plagiiert.

„Um ehrlich zu sein, war ChatGPT mit einigen seiner falschen Aussagen ziemlich überzeugend“, sagt Kacena. „Es wurde die richtige Syntax verwendet und sie mit den richtigen Anweisungen in einen Absatz integriert, sodass es manchmal keine Warnsignale gab. Nur weil die Fakultätsmitglieder ein gutes Verständnis der Daten hatten oder weil die Studenten alles überprüft hatten, wurden sie entdeckt.“

Die KI-generierten Artikel hatten einige Vorteile. Der Algorithmus verarbeitete alle erforderlichen Daten schneller und effizienter und im Allgemeinen verwendete ChatGPT eine bessere Grammatik als die Schüler. Aber es konnte den Raum nicht immer lesen: Die KI neigte dazu, eine blumigere Sprache zu verwenden, die nicht immer für wissenschaftliche Zeitschriften geeignet war (es sei denn, die Studenten hatten ChatGPT angewiesen, es aus der Perspektive eines Studenten der Naturwissenschaften auf Hochschulniveau zu schreiben).

Mehr lesen: Die 100 einflussreichsten Menschen in der KI

Das spiegelt eine Wahrheit über den Einsatz von KI wider: Sie ist nur so gut wie die Informationen, die sie erhält. Während ChatGPT noch nicht ganz bereit ist, wissenschaftliche Zeitschriftenartikel zu verfassen, könnte es sich mit der richtigen Programmierung und Schulung verbessern und zu einem nützlichen Werkzeug für Forscher werden. „Im Moment ist es an sich noch nicht großartig, aber man kann es zum Laufen bringen“, sagt Kacena. Bei einer Abfrage war der Algorithmus beispielsweise gut darin, Möglichkeiten zu empfehlen, Daten in Zahlen und grafischen Darstellungen zusammenzufassen. „Die Ratschläge dazu waren genau richtig und genau das, was ich getan hätte“, sagt sie.

Je mehr Feedback die Studenten zur Arbeit von ChatGPT gaben, desto besser lernten sie – und das ist das größte Versprechen. In der Studie stellten einige Studenten fest, dass sich das Programm bei der Zusammenarbeit mit ChatGPT beim Verfassen des Artikels weiter verbesserte und bessere Ergebnisse lieferte, wenn sie ihm mitteilten, was es richtig machte und was weniger hilfreich war. Das bedeutet, dass die Behebung von Problemen wie fragwürdigen Referenzen und Plagiaten möglicherweise behoben werden könnte. ChatGPT könnte beispielsweise so programmiert werden, dass Referenzen nicht zusammengeführt werden und jeder wissenschaftliche Zeitschriftenartikel als eigene separate Referenz behandelt wird und das Kopieren aufeinanderfolgender Wörter eingeschränkt wird, um Plagiate zu vermeiden.

Mit mehr Input und einigen Korrekturen glaubt Kacena, dass KI Forschern dabei helfen könnte, den Schreibprozess zu vereinfachen und sogar wissenschaftliche Erkenntnisse zu gewinnen. „Ich denke, ChatGPT wird bleiben, und es wird wirklich wichtig sein, herauszufinden, wie man es besser macht und wie man es auf ethische, gewissenhafte und wissenschaftlich fundierte Weise nutzt“, sagt sie.