Im vergangenen Jahr haben Forscher in mehreren wissenschaftlichen Arbeiten eindeutige Beweise für den Einsatz von KI-Textgeneratoren gefunden.

Und doch haben wir beim illegalen wissenschaftlichen Einsatz von KI-Chatbots möglicherweise nur die Spitze des Eisbergs gesehen.

Autoren wurden dabei erwischt, Werke mit legitim wirkenden wissenschaftlichen Referenzen zu veröffentlichen, die vollständig von KI erfunden wurden. Andere haben nachweislich Textschnipsel aus der chatgpt-Benutzeroberfläche in ihre Arbeit eingefügt.

Eine Mathematikstudie wurde sogar zurückgezogen, nachdem sich herausstellte, dass sie versehentlich die AI-Schnittstellenphrase „Regenerationsantwort“ enthielt, wie in einem Nature-Artikel vom September 2023 berichtet.

Der Einsatz der KI-Textgenerierung ist dann am problematischsten, wenn er nicht transparent gemacht wird. Mit anderen Worten, wenn Dienste möglicherweise gefälscht sind.

Die Frage, wie mit dem Wandel hin zur KI-Textgenerierung umgegangen werden soll, wird seit der Veröffentlichung von ChatGPT Ende 2022 an Universitäten diskutiert.

Trotz des weltweiten Hypes um seine Fähigkeit, Informationen zusammenzufassen und Texte auf der sprachlichen Ebene eines Menschen zu schreiben, sagen Experten, dass Tools wie das zu Microsoft gehörende ChatGPT und Googles Bard noch weit von der menschlichen Intelligenz entfernt sind.

Studie: KI-Detektoren versagen oft

Viele Lehrer setzen ihre Hoffnungen auf Software, die behauptet, KI-Texte erkennen zu können. Bedeutet das das Ende des Betrugs?

Überhaupt nicht, sagt ein Experte.

„Die Hoffnung auf eine einfache Softwarelösung zur Demaskierung von KI-Texten wird sich nicht erfüllen“, sagt Plagiatsforscherin Debora Weber-Wulff von der Berliner HTW.

„Es gibt viele selbsternannte Detektorprogramme, aber sie tun nicht das, was sie sollen.“ Manche Hersteller hätten sogar selbst Mängel und Einschränkungen eingestanden, sagt sie.

Weber-Wulff war an einer Studie beteiligt, für die 14 scheinbare KI-Detektoren getestet wurden. Der Studie zufolge lieferten diese Tools keine verlässlichen Ergebnisse, wenn es um die Frage ging, ob ein Mensch oder eine Maschine einen Text geschrieben hat.

Das Forschungsteam veröffentlichte seine Ergebnisse Ende Dezember im International Journal for Educational Integrity.

„In unsicheren Fällen gehen die Systeme eher von menschlichen Autoren aus“, erklärt Weber-Wulff. „Denn natürlich ist es nicht wünschenswert, dass Menschen zu Unrecht beschuldigt werden. Das wäre auch im Bildungsbereich desaströs.“

Plagiate sind leichter zu beweisen als KI-Einsatz

Als Kernproblem identifiziert die Studie jedoch, dass etwa jeder fünfte mit KI erstellte Text nicht als solcher erkannt wurde. Der Studie zufolge steigt die Rate der von den Programmen nicht erkannten KI-Nutzung weiter an, wenn der KI-Text von Menschen überarbeitet wurde.

Auch die Ergebnisse der Detektoren sind für den Durchschnittsnutzer nicht einfach zu interpretieren: Einige lieferten eine prozentuale Angabe der Wahrscheinlichkeit, dass der Text von einem KI-Tool erstellt wurde.

Da es an konkreten Beweisen mangelte, dürfte es für Universitäten sehr schwierig sein, auf dieser Grundlage ein Fehlverhalten nachzuweisen. „Anders als beim Plagiat ist ein Vergleich des Textes mit dem Original nicht möglich“, sagt Weber-Wulff.

Weber-Wulff sagt, ihr seien Fälle bekannt, in denen Dozenten Verdachtsmomente geäußert und Studierende den Einsatz von KI eingestanden hätten. Sie geht außerdem davon aus, dass KI-Chatbots weit verbreitet sind – oft ohne dass den Studierenden bewusst ist, was sie falsch machen.

In der Studie zu Detektoren stellen die Experten fest, dass die Hochschulen nicht darauf vorbereitet waren, wie schnell und radikal frei zugängliche KI-Tools sich verbessert haben. Und auch der Einsatz einer KI als Hilfe ist nicht immer unethisch.

„Wir müssen sehr genau darüber nachdenken, wie wir Leistung messen“, sagt Weber-Wulff. Das kann bedeuten, dass künftige Aufgaben ganz anders gestellt werden sollten als bisher.

Es müsse Teil der Aufgabe sein, die Studierenden dazu zu bringen, Fehler in den Antworten von KI-Tools zu finden, sagt sie.

Schließlich sind KI-Chatbots kaum mehr als Papageien, sagt Weber-Wulff, da sie nur das nachplappern, was sie gehört haben. Deshalb ist es wichtig, den Studierenden die Standards des wissenschaftlichen Schreibens zu vermitteln, beispielsweise den Zweck von Fußnoten.

Werden KI-Systeme eingesetzt, ist ein transparenter Umgang damit erforderlich. „Und man muss die volle Verantwortung für den ganzen Müll übernehmen, den das System produziert. Keine Ausreden.“