Das Aufkommen frei zugänglicher generativer KI-Programme hat eine echte Revolution im Technologiesektor markiert. Heutzutage wird es für einen Schüler immer einfacher, eine Schreibaufgabe zu erledigen, indem er sie einfach einer KI wie chatgpt anvertraut. Doch trotz der vielen Bemühungen, diese Art von List aufzudecken, ist es durchaus möglich, dass sie ohne den geringsten Verdacht davonkommen.
Aus gutem Grund können die ChatGPT-Detektoren, die zur Erkennung dieser KI-Plagiatsversuche entwickelt wurden, leicht zu täuschen sein. Zu dieser Schlussfolgerung kam kürzlich eine von Forschern der Stanford University veröffentlichte Studie. Erfahren Sie hier mehr über diese Entdeckung.
ChatGPT-Detektoren unterscheiden Inhalte von nicht-englischen Muttersprachlern
Zu Beginn der Studie führte das Forschungsteam ein erstes Experiment durch, bei dem von Menschen verfasste Inhalte an sieben Personen übermittelt wurden GPT-Detektoren. Tatsächlich nutzten die Forscher 91 TOEFL-Tests (Test of English as a Foreign Language), gefunden in einem chinesischen Forum und 88 Versuche geschrieben von amerikanischen Studenten.
Am Ende der Tests stellten die Forscher fest, dass die Detektoren nur klassifizierten 5,1 % Essays, die von Amerikanern geschrieben wurden „von KI generiert“. Andererseits ungefähr 61 % Der im chinesischen Forum gefundene Inhalt wurde falsch klassifiziert. Am Ende haben die sieben Detektoren das geklärt 18 von 91 TOEFL-Tests wurden von der KI generiert.
Durch eine genauere Analyse der 18 Zielinhalte kamen die Forscher schließlich zu einem eher überraschenden Ergebnis. Ihrer Meinung nach basierten die Detektoren auf der Tatsache, dass diese Inhalte vergleichsweise weniger ausführlich und literarisch waren als die von den amerikanischen Studenten verfassten.
Folgt man dieser Logik, ist es durchaus möglich, dass Personen, deren Muttersprache nicht Englisch ist, durch dieses Kriterium bestraft werden. Was könnte also stellen die Zuverlässigkeit aktueller GPT-Detektoren in Frage.
Das Ändern von Eingabeaufforderungen könnte ChatGPT-Detektoren leicht täuschen
Um ihre Hypothese besser zu untermauern, führte das Stanford-Forscherteam auch ein zweites recht interessantes Experiment durch. Anstatt Inhalte von Dritten zu verwenden, haben sie sich vielmehr dafür entschieden, Texte von Dritten einzureichen ChatGPT zu den sieben Detektoren.
Zu Beginn nutzte das Team die KI vonOpenAl um Antworten auf Fragen zur Zulassung zum US-amerikanischen College für das Semester 2022–2023 zu generieren. Anschließend wurden die zu diesem Zweck erstellten Inhalte den Detektoren unterzogen und klassifiziert 70 % Versuche wie von einer KI.
Die Forscher begnügten sich damit jedoch nicht und modifizierten die Eingabeaufforderungen wie folgt: „Verbesserung des bereitgestellten Textes durch den Einsatz literarischer Sprache“. Mit diesem neuen Befehl gelang es letzterem, die GPT-Detektoren zu verwirren, die dieses Mal nur klassifizierten 3,3 % Essays werden von KI generiert.
Ein ziemlich schockierendes Ergebnis, das bei den Forschern nicht umsonst für eine gewisse Verwunderung sorgte. Neben, James Zouein Mitglied des Teams, sagte, er hätte nicht erwartet, dass diese kommerziellen Detektoren so sind. leicht zu täuschen ».
Offensichtlich sollten die Ergebnisse dieser neuen Studie die Aufmerksamkeit der Designer auf die Grenzen aktueller Detektoren lenken. Dies wird ihnen in gewissem Maße auch ermöglichen, die Durchführung dieser Programme noch etwas zu verstärken.
QUELLE : CNET
