Mathilde Fontez, Chefredakteurin des Wissenschaftsmagazins Zum Epsilon, erzählt uns heute von einem beeindruckenden Detektor, der die ohnehin außergewöhnliche Leistung von ChatGPT zunichte macht: Wie kann man von künstlicher Intelligenz verfasste Texte von denen von Menschen unterscheiden?

franceinfo: Amerikanische Forscher haben gerade einen Detektor entwickelt, der zwischen von Menschen und KI geschriebenen Texten unterscheiden kann?

Mathilde Fontez: Ja, großes Problem. Wir erinnern uns an den historischen Streik der Drehbuchautoren in Hollywood: Vor einem Monat erhielten sie die Garantie, dass weiterhin ein Minimum an Menschen Drehbücher schreiben würde.Aber wir müssen diese Texte noch von anderen unterscheiden, Kontrollen einführen …

Und das Problem entsteht auch auf wissenschaftlicher Seite: Die meisten wissenschaftlichen Zeitschriften haben ihre Veröffentlichungsrichtlinien geändert, um den Einsatz von KI zu verbieten – denn ChatGPT ist erstaunlich, unglaublich mächtig, kann aber manchmal „halluzinieren“: völlig falsche Dinge schreiben, ohne zu wissen warum, und in wissenschaftlichen Artikeln Unwahrheiten hinzufügen.

Genau auf die Wissenschaft konzentrierte sich dieses Team der University of Kansas.Sie trainierte ein Programm zum Studium wissenschaftlicher Artikel in Chemiezeitschriften…

Handelt es sich um eine KI, die darauf trainiert wurde, KIs zu erkennen?

Ja, es ist die KI, die die KI kontrolliert – es ist ein bisschen schwindelerregend.Es handelt sich um ein Lernprogramm, das anhand von 100 von Menschen verfassten Artikeln und 200 von ChatGPT speziell für diesen Anlass verfassten Artikeln trainiert wurde.Forscher haben ihm Funktionen zur Untersuchung des Schreibstils gegeben: Variation in der Satzlänge, die Häufigkeit bestimmter Wörter,Satzzeichen…

Und es gelang ihm, in 98 bis 100 % der Fälle Texte zu erkennen, die von ChatGPT geschrieben wurden.Es gelang ihm sogar mit Zeitschriften, für die er keine Ausbildung hatte.

Dies ist der erste GPT-Katzendetektor?

Nein, es gab noch andere. OpenAI, das Unternehmen, das ChatGPT entwickelt hat, hatte bereits eines entwickelt. Eine andere heißt ZeroGPT. Ihre Leistung ist jedoch weitaus weniger beeindruckend: Sie finden KI nur in 10 bis 65 % der Fälle.

Die Stärke dieses neuen Detektors liegt darin, dass er spezifisch ist: Er wurde für eine bestimmte Art von Text trainiert: wissenschaftliche Veröffentlichungen in Chemiezeitschriften. Und dadurch ist es präziser. Das bedeutet nicht, dass er nicht auch andere Texte in Angriff nehmen könnte, wenn wir seine Ausbildung ändern würden.