LAWRENCE – Heather Desaire, eine Chemikerin, die maschinelles Lernen in der biomedizinischen Forschung an der University of Kansas einsetzt, hat ein neues Tool vorgestellt, das wissenschaftlichen Text, der von chatgpt, dem Textgenerator für künstliche Intelligenz, generiert wurde, mit einer Genauigkeit von 99 % erkennt.

Die von Experten begutachtete Zeitschrift Cell Reports Physical Science veröffentlichte Forschung zeigt die Wirksamkeit ihrer KI-Erkennungsmethode sowie ausreichend Quellcode, damit andere das Tool replizieren können.

Desaire, der Keith D. Wilner-Lehrstuhl für Chemie an der KU, sagte, dass präzise KI-Erkennungswerkzeuge dringend erforderlich seien, um die wissenschaftliche Integrität zu schützen.

„ChatGPT und alle anderen ähnlichen KI-Textgeneratoren erfinden Fakten“, sagte sie. „Bei wissenschaftlichen Publikationen – Schriften über neue Entdeckungen und die Grenzen des menschlichen Wissens – können wir es uns wirklich nicht leisten, die Literatur mit glaubwürdig klingenden Unwahrheiten zu verunreinigen. Sie würden unweigerlich Eingang in Publikationen finden, wenn häufig KI-Textgeneratoren verwendet würden. Soweit mir bekannt ist, gibt es keinen narrensicheren Weg, diese sogenannten „Halluzinationen“ automatisiert zu finden. Sobald man anfängt, echte wissenschaftliche Fakten mit erfundenem KI-Unsinn zu füllen, der absolut glaubwürdig klingt, werden diese Veröffentlichungen weniger vertrauenswürdig und weniger wertvoll.“

Sie sagte, der Erfolg ihrer Erkennungsmethode hänge davon ab, den Umfang der untersuchten Schriften auf wissenschaftliche Schriften zu beschränken, wie sie üblicherweise in von Experten begutachteten Fachzeitschriften zu finden seien. Dies verbessert die Genauigkeit gegenüber bestehenden KI-Erkennungstools wie dem RoBERTa-Detektor, die darauf abzielen, KI in allgemeineren Schriften zu erkennen.

„Sie können leicht eine Methode entwickeln, um menschliches Schreiben von ChatGPT-Schreiben zu unterscheiden, das sehr genau ist, angesichts des Kompromisses, dass Sie sich darauf beschränken, eine bestimmte Gruppe von Menschen zu berücksichtigen, die auf eine bestimmte Art und Weise schreiben“, sagte Desaire. „Bestehende KI-Detektoren sind in der Regel als allgemeine Werkzeuge konzipiert, die bei jeder Art von Schreiben eingesetzt werden können. Sie sind für ihren beabsichtigten Zweck nützlich, aber bei einer bestimmten Art des Schreibens werden sie nicht so genau sein wie ein Werkzeug, das für diesen spezifischen und engen Zweck entwickelt wurde.“

Desaire sagte, dass Universitätsdozenten, Zuschussgeber und Verlage alle eine präzise Methode benötigen, um KI-Ergebnisse zu erkennen, die als Arbeit eines menschlichen Geistes dargestellt werden.

„Wenn man anfängt, über ‚KI-Plagiat‘ nachzudenken, ist eine Genauigkeit von 90 % nicht gut genug“, sagte Desaire. „Man kann nicht herumlaufen und Menschen beschuldigen, KI heimlich zu nutzen, und sich mit diesen Anschuldigungen häufig irren – Genauigkeit ist von entscheidender Bedeutung. Aber um Genauigkeit zu erreichen, ist der Kompromiss meist die Verallgemeinerbarkeit.“

Desaires Mitautoren stammten alle aus ihrer KU-Forschungsgruppe: Romana Jarosova, wissenschaftliche Assistenzprofessorin für Chemie an der KU; David Huax, Informationssystemanalytiker; und die Doktoranden Aleesa E. Chua und Madeline Isom.

Der Erfolg von Desaire und ihrem Team bei der Erkennung von KI-Texten könnte auf das hohe Maß an menschlicher Einsicht (im Vergleich zur Mustererkennung durch maschinelles Lernen) zurückzuführen sein, die in die Entwicklung des Codes eingeflossen ist.

„Wir haben einen viel kleineren Datensatz und viel mehr menschliche Eingriffe verwendet, um die Hauptunterschiede zu identifizieren, auf die sich unser Detektor konzentrieren sollte“, sagte Desaire. „Um genau zu sein, haben wir unsere Strategie mit nur 64 von Menschen verfassten Dokumenten und 128 KI-Dokumenten als Trainingsdaten aufgebaut. Dies ist möglicherweise 100.000 Mal kleiner als die Größe der Datensätze, die zum Trainieren anderer Detektoren verwendet werden. Menschen beschönigen Zahlen oft. Aber 100.000 Mal – das ist der Unterschied zwischen den Kosten für eine Tasse Kaffee und den Kosten für ein Haus. Wir hatten also diesen kleinen Datensatz, der superschnell verarbeitet werden konnte und alle Dokumente tatsächlich von Menschen gelesen werden konnten. Wir nutzten unser menschliches Gehirn, um nützliche Unterschiede in den Dokumentensätzen zu finden, und verließen uns nicht auf die Strategien zur Unterscheidung von Menschen und KI, die zuvor entwickelt worden waren.“

Tatsächlich sagte der KU-Forscher, dass die Gruppe ihren Ansatz entwickelt habe, ohne sich auf die Strategien früherer Ansätze zur KI-Erkennung zu verlassen. Die resultierende Technik weist Elemente auf, die für den Bereich der KI-Texterkennung völlig einzigartig sind.

„Es ist mir ein wenig peinlich, das zuzugeben, aber wir haben die Literatur zur KI-Texterkennung erst dann konsultiert, als wir ein eigenes Arbeitstool in der Hand hatten“, sagte Desaire. „Wir basierten dabei nicht darauf, wie Informatiker über die Texterkennung denken, sondern nutzten unsere Intuition darüber, was funktionieren würde.“

In einem weiteren wichtigen Aspekt haben Desaire und ihre Gruppe die Methoden umgedreht, die von früheren Teams bei der Entwicklung von KI-Erkennungsmethoden verwendet wurden.

„Bei der Entwicklung der Hauptfunktionen haben wir den KI-Text nicht in den Mittelpunkt gestellt“, sagte sie. „Wir haben den menschlichen Text in den Mittelpunkt gestellt. Die meisten Forscher, die ihre KI-Detektoren bauen, scheinen sich zu fragen: „Wie sieht KI-generierter Text aus?“ Wir fragten: „Wie sieht diese einzigartige Gruppe menschlicher Schriften aus und wie unterscheidet sie sich von KI-Texten?“ Letztlich handelt es sich beim KI-Schreiben um menschliches Schreiben, da die KI-Generatoren aus großen Beständen menschlicher Schrift bestehen, die sie zusammensetzen. Aber KI-Schreiben, zumindest von ChatGPT, ist verallgemeinertes menschliches Schreiben, das aus einer Vielzahl von Quellen stammt.

„Das Schreiben von Wissenschaftlern ist kein verallgemeinertes menschliches Schreiben. Es ist das Schreiben von Wissenschaftlern. Und wir Wissenschaftler sind eine ganz besondere Gruppe.“

Desaire hat den KI-Erkennungscode ihres Teams für Forscher, die ihn weiterentwickeln möchten, vollständig zugänglich gemacht. Sie hofft, dass andere erkennen, dass KI und KI-Erkennung für Menschen erreichbar sind, die sich jetzt vielleicht nicht als Computerprogrammierer betrachten.

„ChatGPT ist wirklich ein so radikaler Fortschritt und wurde so schnell von so vielen Menschen angenommen, dass dies wie ein Wendepunkt in unserer Abhängigkeit von KI zu sein scheint“, sagte sie. „Aber die Realität ist, dass ein Oberstufenschüler mit etwas Anleitung und Anstrengung das schaffen könnte, was wir getan haben.

„Es gibt riesige Möglichkeiten für Menschen, sich mit KI zu befassen, auch wenn sie keinen Abschluss in Informatik haben. Keiner der Autoren unseres Manuskripts hat einen Abschluss in Informatik. Ein Ergebnis, das ich mir von dieser Arbeit wünschen würde, ist: „Menschen, die sich für KI interessieren, wissen, dass die Hürden bei der Entwicklung echter und nützlicher Produkte wie unseres nicht so hoch sind. Mit ein wenig Wissen und etwas Kreativität können viele Menschen in diesem Bereich einen Beitrag leisten.“

Bildnachweis: Pexels