Seit dem Start von ChatGPT und seinen Konkurrenten sind die Meinungen über den KI-Chatbot geteilt. Während einige dies für lebenswichtig und zeitsparend halten, sind einige andere besorgt darüber, dass Menschen KI verwenden, um Fehlinformationen zu verbreiten und Arbeiten zu plagiieren. OpenAI, das Unternehmen hinter dem viralen KI-Bot ChatGPT und dem Text-zu-Bild-Generator DALL-E, hat ein neues KI-Klassifizierungstool veröffentlicht, um KI-geschriebenen Text zu identifizieren. Bei einem Beamten Pressemitteilung, OpenAI beschreibt, wie der Klassifikator trainiert wurde, seine Einschränkungen und andere Metriken. Schauen Sie sich alle Details unten an.

Der Klassifikator von OpenAI unterscheidet KI-Text von menschlichem Schreiben

In einer kürzlich veröffentlichten Pressemitteilung erläuterte das Unternehmen, wie dieses neue KI-Klassifizierungstool Menschen bei der Identifizierung von KI-Texten helfen soll. Das Tool tut dies, indem es Eingaben von Benutzern erhält und es dann durch seine trainierten Daten laufen lässt, um es als KI- oder von Menschen generierte Inhalte zu klassifizieren.

Der KI-Klassifikator ist ein Sprachmodell und wurde auf einem Datensatz trainiert, der umfasst Paare aus menschlichem und KI-geschriebenem Text zum selben Thema. OpenAI stellt fest, dass menschliche Daten aus verschiedenen Quellen gesammelt wurden, von denen sie glauben, dass sie von Menschen geschrieben wurden. Dieser Text wurde in Eingabeaufforderungen und Antworten unterteilt, auf deren Grundlage der KI-Text generiert wurde, um einen vollständigen Datensatz zu sammeln.

Der KI-Klassifikator ist noch nicht vollständig zuverlässig

Während das neue Tool unser Leben (insbesondere Lehrer und Professoren) in Bezug auf KI erleichtern soll, hat das Unternehmen dies klar zum Ausdruck gebracht AI Classifier ist nicht vollständig zuverlässig und fehleranfällig. In den internen Auswertungen des Unternehmens identifizierte der Classier 26 % der von KI geschriebenen Texte korrekt als „wahrscheinlich KI-geschrieben“.

Außerdem wurden 9 % des menschlichen Textes fälschlicherweise als KI-geschrieben identifiziert. Obwohl die Fehlerspanne ziemlich gering ist, ist es offensichtlich, dass der Klassifikator nicht narrensicher ist. Darüber hinaus erwähnt OpenAI, dass es bei kurzen Texten unter 1.000 Zeichen unzuverlässig ist.

„Unser Klassifikator hat eine Reihe wichtiger Einschränkungen. Es sollte nicht als primäres Entscheidungsinstrument verwendet werden, sondern als Ergänzung zu anderen Methoden zur Bestimmung der Quelle eines Textes.“OpenAI

Das Tool weist einige andere Einschränkungen auf, darunter die Unterstützung nur für englische Eingaben, Schwierigkeiten bei vorhersagbaren Texten und eine schlechte Kalibrierung außerhalb seiner Trainingsdaten. Aus all diesen und weiteren Gründen sollte dieser neue KI-Klassifikator noch nicht als primäres Entscheidungsfindungstool verwendet werden. Im Laufe der Zeit können wir jedoch Verbesserungen erwarten, da mehr Daten zugeführt werden.

Wie schneidet OpenAI Classifier in unseren Tests ab?

Der KI-Textklassifizierer von OpenAI (Website-Link) ist ein kostenloses Online-Tool. Also haben wir uns entschieden, es für eine kurze Runde zu drehen, und es funktioniert so gut, wie Sie es in diesem Stadium erwarten würden. Ich habe verschiedene Artikel mittlerer Länge von unserer Website getestet. Dazu gehörten Nachrichtenartikel und Feature-Artikel. Nachdem wir den Text eingefügt und das Tool ausgeführt hatten, erhielten wir die Antwort „Der Klassifikator hält den Text für sehr unwahrscheinlich, dass er von KI generiert wurde.“

Um zu testen, wie gut es funktioniert, ließ ich ChatGPT eine Kurzgeschichte schreiben und benutzte den Classifier, um zu sehen, ob es erkennen konnte, dass die Geschichte von seinem eigenen KI-Geschwister geschrieben wurde. Zum Glück gab es die Antwort, dass der Text „wahrscheinlich KI-generiert“ sei. Ich habe dasselbe mit einigen anderen Texten wie The Merchant of Venice von Shakespeare versucht, und die KI hat eine unwahrscheinliche KI-Beteiligung festgestellt.

Wie oben erwähnt, sollte der OpenAI-Klassifikator mit zunehmendem Datensatz besser werden. Aber auch bis dahin steht es Ihnen frei, das Tool zu verwenden und Spaß damit zu haben. Was halten Sie also von KI-Textdetektoren? Glauben Sie, dass sie im Jahr 2023 eine Notwendigkeit sind? Lassen Sie Ihre zwei Cent in den Kommentaren unten fallen.