chatgpt, ein Chatbot mit generativer künstlicher Intelligenz (KI), scheint auf den ersten Blick fließend Japanisch zu sprechen, seine japanischen Texte sind jedoch weiterhin zu 100 Prozent von den von Menschen geschriebenen unterscheidbar, so die Forscher.
Für ihre Studie, die am 9. August in einer Fachzeitschrift veröffentlicht wurde, griffen sie auf Stilmerkmale strafrechtlicher Ermittlungen zurück.
Es besteht die Sorge, dass ChatGPT unehrlich zum Verfassen von Universitätsaufsätzen, wissenschaftlichen Arbeiten und anderen Berichten missbraucht werden könnte.
Es wurde berichtet, dass mit ChatGPT generierte englischsprachige Forschungsarbeiten mit hoher Genauigkeit von von Menschen verfassten unterschieden werden können, es wurde jedoch keine ähnliche Studie in Bezug auf japanische Texte durchgeführt.
Wataru Zaitsu, außerordentlicher Professor für Kriminalpsychologie an der Mejiro-Universität in Tokio, und Jin Mingzhe, ein speziell ernannter Professor für Datenwissenschaft an der Kyoto University of Advanced Science, übernahmen die Aufgabe.
Das Paar verglich 72 bestehende japanische wissenschaftliche Arbeiten zur Psychologie mit 144 Texten, die von zwei Versionen von ChatGPT generiert wurden, nachdem es angewiesen wurde, die Arbeiten unter den gleichen Titeln dieser Artikel zu verfassen.
Die Forscher verglichen vor allem stilistische Merkmale, darunter die Platzierung von Kommas und die Reihenfolge der Wortarten.
Die Studie ergab, dass in ChatGPT-generierten Texten häufiger ein Komma nach dem Postpositionspartikel „wa“ verwendet wurde und dass das Präfix „hon“, das „die Gegenwart“ bedeutet, häufiger vorkam als in „der gegenwärtige Artikel“, sagten sie .
Auf der Grundlage dieser Merkmale könnte ein KI-Klassifikator mit einer Genauigkeit von 100 Prozent zwischen ChatGPT-generierten und von Menschen geschriebenen japanischen Texten unterscheiden, sagten die Forscher.
Die Studienergebnisse blieben bei GPT-4 gleich, der neuesten Version des Chatbots, von dem angenommen wird, dass er leistungsfähiger bei der Generierung von Texten ist.
Zuvor war Zaitsu als leitender Forscher im Kriminalpolizeilabor der Präfekturpolizei Toyama tätig.
Er sagte, die Analysetechnik in der Forschung mit Kommas und Wortarten stütze sich auf eine Methode, die in strafrechtlichen Ermittlungen untersucht wurde, um die Urheberschaft von Notizen, Briefen und anderen Schriften zu identifizieren oder zu authentifizieren.
„Mit ChatGPT generierte japanische Texte erscheinen mir natürlich, aber wenn man sich auf Daten verlässt, kann man sie ohne große Schwierigkeiten von von Menschen geschriebenen Texten unterscheiden“, sagte Zaitsu. „Das ist einfacher, als zwischen Texten zu unterscheiden, die von verschiedenen Menschen geschrieben wurden.“
Zaitsu fügte hinzu, dass andere textgenerierende KI-Chatbots japanische Texte produzieren, die denen von Menschen ähnlicher sind, und hofft daher, weiterhin Methoden zu ihrer Unterscheidung zu untersuchen.
Die Forschungsarbeit wurde im Wissenschaftsjournal „Plos One“ veröffentlicht (https://doi.org/10.1371/journal.pone.0288453).
