William Quarterman, ein Student an der University of California in Davis, wurde des Betrugs beschuldigt. Sein Professor sagte, er habe chatgpt verwendet, um eine Geschichtsprüfung abzulegen. Dieser Vorwurf wurde durch GPTZero untermauert, eines der vielen neuen Tools, die entstanden sind, um zu versuchen, die Nutzung generativer KI-Systeme durch Studenten zu erkennen.

Quarterman schwor jedoch seine Unschuld, und das tat er auch später vom Haken lassen nachdem er das Protokoll der von ihm vorgenommenen Änderungen in einem google-Dokument vorgelegt hatte.

Der Fall wirft einen Streitpunkt über die Verwendung algorithmischer Schreibdetektoren auf – Tests der Software haben einen hohen Prozentsatz an „falsch positiven Ergebnissen“ ergeben – und es gibt nun Beispiele für Fälle, in denen sich Anschuldigungen, dass Schüler KI verwendet hätten, als unbegründet erwiesen oder waren später fallen gelassen.

Einige ärgern sich über den Begriff „falsch positiv“ – und argumentieren, dass der Begriff einen falschen Eindruck erwecken kann, da die von diesen Detektoren ausgelösten Flaggen als Beginn einer Konversation und nicht als Beweis dienen sollen. Akademische Integritätswächter weisen auch darauf hin, dass die Anklage wegen Betrugs abgewiesen werden muss bedeutet nicht Es liegt kein Fehlverhalten vor, nur dass es nicht bewiesen wurde. Google Docs könnte in Zukunft ein wichtiges Instrument sein, um die Urheberschaft von Studenten festzustellen, denen Plagiate vorgeworfen werden, argumentiert Derek Newton, Autor des Newsletters zur akademischen Integrität The Cheat Sheet.

Unabhängig davon ist das Problem auf dem Radar der Erkennungsdienste selbst.

Als EdSurge im Dezember eine Führungskraft bei Turnitin interviewte, dem in Kalifornien ansässigen Softwareentwickler, der künstliche Intelligenz einsetzt, um Plagiate in studentischen Aufgaben zu erkennen, hatte das Unternehmen seinen Chatbot-Plagiatsdetektor noch nicht auf den Markt gebracht. Dennoch, argumentierte Eric Wang, Vizepräsident für künstliche Intelligenz, Erkennung würde kein Problem sein. Und die versprochene Genauigkeit hat es geschafft abgesehen von früheren Detektoren.

In der Praxis hat es sich als etwas heikel erwiesen.

Das liegt laut Turnitin zum Teil daran, dass Lehrkräfte nicht sicher sind, wie sie diese Informationen interpretieren oder was sie dagegen tun können, wenn Tools erkennen, dass Schüler KI zur Unterstützung ihrer Arbeit eingesetzt haben.

Ein Teil der Schwierigkeit scheint jedoch auch in Fällen aufzutreten, in denen KI-Unterstützung in kleineren Teilen des Gesamtaufsatzes erkannt wird, so das Unternehmen anerkannt Ende Mai in seinem ersten öffentlichen Update seit der Einführung seines Erkennungstools. In Fällen, in denen die Technologie erkennt, dass weniger als 20 Prozent eines Dokuments von KI geschriebenes Material enthält, ist sie laut Turnitin anfälliger für die Ausgabe falsch positiver Ergebnisse als bisher angenommen. Unternehmensvertreter machten keine genauen Angaben zur Zunahme falsch positiver Ergebnisse. Das Unternehmen gibt an, dass es von nun an neben den Ergebnissen ein Sternchen anzeigen wird, wenn sein Tool feststellt, dass ein Dokument weniger als 20 Prozent KI-Text enthält.

Dennoch sorgt das Unbehagen über unzutreffende Anschuldigungen bei Dozenten und Administratoren für Bedenken hinsichtlich der KI-Schrifterkennung. Und sogar Wang von Turnitin sagte EdSurge im März dass die Spuren, die das Unternehmen derzeit erfasst, im Zuge der technischen Weiterentwicklung möglicherweise nicht mehr so ​​zuverlässig sein werden.

Doch als EdSurge kürzlich bei Wang nachfragte, ob die Fehlalarme Turnitin zusätzliche Sorgen bereiteten, sagte er, dass das Phänomen nicht der Fall sei, betonte aber gleichzeitig die Verlässlichkeit der Ergebnisse des Unternehmens.

Der Versuch, den Spagat zwischen der Vermittlung der Verwendung eines großen Sprachmodells wie ChatGPT als wertvollem Werkzeug und der Vermeidung von Betrug zu bewältigen, sei Neuland für die Bildung, sagt Wang – und argumentiert gleichzeitig, dass diese Werkzeuge auch dann testbar bleiben, wenn sie sich weiterentwickeln.