• Um die Verwendung von chatgpt zu identifizieren, sind seit Anfang des Jahres viele Detektoren aufgetaucht
• Laut einer Studie der Stanford University haben sie schwerwiegende Vorurteile und können leicht getäuscht werden
• Die Forscher empfehlen einige Änderungen in diesem Bereich

Die Demokratisierung von ChatGPT und seinen Konkurrenten hat einen Bedarf geschaffen. Es ist in der Tat notwendig, die Verwendung von Sprachmodellen zu identifizieren, um Missbrauch zu vermeiden. Im vergangenen Februar hat OpenAI beispielsweise AI Text Classifier eingeführt, ein auf GPT basierendes Tool, das anzeigt, ob ein Text von einer KI oder einem Menschen geschrieben wurde.

Laut einer kürzlich veröffentlichten Studie von Forschern der Stanford University weisen diese Systeme erhebliche Mängel auf. Die Autoren weisen insbesondere auf eine Bevorzugung englischsprachiger Autoren hin. So konnten die Systeme nur die Kopien von in den USA geborenen Viertklässlern identifizieren und von einem Textgenerator unterscheiden.

Detektoren zu manipulierbar?

Ganz anders sieht es bei TOEFL-Studierenden aus, deren Muttersprache nicht Englisch ist. So wurde festgestellt, dass 19 % der von letzteren zurückgegebenen Exemplare von einer KI geschrieben worden waren. Und 97 % der von diesen Studenten geschriebenen Texte wurden von mindestens einem der in dieser Forschung verwendeten Detektoren erfasst.

Wie ist dieses Ergebnis zu erklären? Die Erkennungs-KIs analysieren den Grad der Ratlosigkeit der Schriften. Dies sind eindeutig Variablen, die auf lexikalischem Reichtum, syntaktischer und grammatikalischer Komplexität basieren … So viele Elemente, die von Nicht-Englisch-Sprechern, die zunächst die Grundlagen dieser Sprache erlernen, nicht gut beherrscht werden.

Die Forscher weisen auf eine weitere offensichtliche Einschränkung dieser Detektoren hin: Es ist sehr leicht, sie in die Irre zu führen. Insbesondere reicht es aus, ChatGPT und seine Konkurrenten zu bitten, einen Text viel nachhaltiger und ausführlicher umzuschreiben. In diesem Fall fällt es der Erkennungs-KI deutlich schwerer zu erkennen, ob der Text von einer Maschine oder von einem Menschen erstellt wurde.

Aufgrund dieser Beobachtungen gaben die Forscher einige Empfehlungen ab. Insbesondere ist es ratsam, auf den Einsatz dieser Tools in Schulen zu verzichten, da sie das Risiko einer Bestrafung ausländischer Schüler mit sich bringen und, wie wir gerade gesehen haben, leicht manipuliert werden können.

Wasserzeichen sollten auch auf die von einem Sprachmodell erzeugten Texte angewendet werden. Diese winzigen Hinweise ermöglichen es, zuverlässiger zu bestätigen, dass das Schreiben das Werk einer Maschine und nicht eines Menschen ist. Schließlich müssen sich die Entwickler dieser KIs möglicher Manipulationen bewusst sein und versuchen, diese Umgehungen zu vermeiden.