Auf Twitter ist ein ungewöhnlicher und alarmierender Trend zu beobachten: ein spürbarer Anstieg von Bot-Konten, die chatgpt zum Beantworten von Tweets verwenden, insbesondere im Verteidigungs- und Sicherheitsbereich.

Diese Bots, die sich oft als Verteidigungsanalysten oder -experten ausgeben, antworten auf etablierte Konten und paraphrasieren die ursprünglichen Tweets, um Glaubwürdigkeit und Vertrauen aufzubauen.

Diese ausgefeilte Strategie wirft ernsthafte Bedenken hinsichtlich der Möglichkeit von Desinformation und Manipulation auf; Was ist das Endziel?

Entlarvung der Bots

Das UK Defense Journal hat eine Reihe von Antworten auf unsere Tweets beobachtet, die diesen Trend veranschaulichen. Obwohl diese Antworten scheinbar echt sind, werden sie von Bots generiert, die ChatGPT verwenden.

Hier ein paar Beispiele:

• Jonas Klein (@CareFromDD): „Großbritannien stärkt MLRS und verleiht der europäischen Verteidigung strategische Tiefe.“
• Hugo Scott (@globalsecnexus): „Die Verschiebung der Seemacht in Fujian ist für die Verteidigungsanalyse des Vereinigten Königreichs von entscheidender Bedeutung.“
• Gabriel Scott (@GScotCyberOps): „Wichtige Einblicke in die 2040-Strategie des RN für die Sicherheit im Vereinigten Königreich auf der #SPC2024.“
• ArcticAnalyst (@arctictactician): „Royal Navy nutzt VR für das Training und verbessert so Taktiken für die moderne Kriegsführung.“
• Henry Sibley (@deftechhenry): „Werftproteste: Fehlgeleitet oder Strategiedefizit? Der Verteidigungssektor ist von entscheidender Bedeutung.“

Bei diesen Konten handelt es sich offenbar um Personen, die mit ihren Benutzernamen stark im Verteidigungssektor tätig sind, was ihren Antworten einen Hauch von Legitimität verleiht. Die Subtilität und Relevanz ihrer umschriebenen Antworten machen es schwierig, sie als automatisiert zu identifizieren.

Die Forschung hinter dem Trend

Aktuelle Forschungen von Kai-Cheng Yang und Filippo Menczer am Indiana University Observatory on Social Media haben Licht in diese Frage gebracht.

Sie identifizierten ein Twitter-Botnetz mit dem Namen „fox8“, das etwas Ähnliches tat, wenn auch für ein anderes Publikum. Es umfasst über 1.140 Konten, die ChatGPT verwenden, um menschenähnliche Inhalte zu generieren. Diese Bots fördern Krypto, Blockchain und andere Arten von Inhalten.

Großbritannien verbessert MLRS und verleiht der europäischen Verteidigung strategische Tiefe.

— Jonas Klein (@CareFromDD) 11. Mai 2024

Die Entdeckung dieses Botnetzes sei nicht das Ergebnis fortschrittlicher forensischer Tools gewesen, sagen die beiden, sondern vielmehr ein kreativer Ansatz zur Erkennung von maschinengeneriertem Text. Die Forscher nutzten die API von Twitter, um über einen Zeitraum von sechs Monaten zwischen Oktober 2022 und April 2023 nach dem Begriff „als KI-Sprachmodell“ zu suchen.

Dieser Satz ist eine häufige Antwort, die ChatGPT generiert, wenn es auf Eingabeaufforderungen stößt, die gegen seine Nutzungsrichtlinien verstoßen. Durch die gezielte Analyse dieses sich selbst offenbarenden Textes konnten die Forscher eine beträchtliche Anzahl von Tweets und Accounts identifizieren, die Muster aufwiesen, die auf maschinelle Generierung hinweisen.

Die Verschiebung der Seemacht in Fujian ist für die Verteidigungsanalyse des Vereinigten Königreichs von entscheidender Bedeutung.

— Hugo Scott (@globalsecnexus) 11. Mai 2024

Nachdem diese Konten identifiziert worden waren, analysierten die Forscher ihre Beziehungen und stellten fest, dass das Fox8-Netzwerk offenbar drei „Nachrichten“-Websites bewarb, die wahrscheinlich alle von demselben anonymen Eigentümer kontrolliert wurden. Diese Websites und die damit verbundenen Tweets konzentrierten sich hauptsächlich auf Krypto, Blockchain und NFTs, was auf eine koordinierte Anstrengung hindeutet, die Meinungen in diesen Bereichen zu beeinflussen.

Um ihre Ergebnisse weiter zu validieren, verwendeten die Forscher Tools zur Erkennung von Sprache, die von großen Sprachmodellen generiert wurde, auf den Korpus von Tweets aus dem Fox8-Botnetz. Leider hatten diese Tools, darunter der OpenAI-eigene Detektor und GPTZero, Schwierigkeiten, die Tweets genau als maschinengeneriert zu klassifizieren. Dies deutet darauf hin, dass die aktuellen Erkennungsmethoden noch nicht ausgereift genug sind, um KI-generierte Inhalte in freier Wildbahn zuverlässig zu identifizieren, was die Schwierigkeit unterstreicht, diese neue Welle digitaler Manipulation zu bekämpfen.

Die Royal Navy nutzt VR für das Training und verbessert so die Taktiken für die moderne Kriegsführung.

— ArcticAnalyst (@arctictactician) 12. Mai 2024

Trotz dieser Herausforderungen stellten die Forscher fest, dass das Verhalten der Bot-Konten, wahrscheinlich aufgrund ihrer automatisierten Natur, einem „einzigen Wahrscheinlichkeitsmodell“ folgte, das ihre Aktivitätstypen und -häufigkeiten bestimmte. Das bedeutet, dass das Muster, wann diese Bots neue Tweets posten, antworten oder Inhalte teilen, bis zu einem gewissen Grad vorhersehbar ist. Das Erkennen solcher Muster könnte für die Entwicklung effektiverer Erkennungsmethoden für automatisierte Konten von entscheidender Bedeutung sein.

Herausforderungen bei der Erkennung

Trotz der Komplexität der Bots bleibt ihre Erkennung eine große Herausforderung. Tools wie der Detektor von OpenAI und GPTZero hatten nur begrenzten Erfolg bei der Unterscheidung von Bot-generierten Inhalten von menschlichen Tweets. Diese Schwierigkeit entsteht, weil die Reaktionen der Bots stark kontextbezogen und menschenähnlich sind, wodurch herkömmliche Erkennungsmethoden weniger effektiv sind.

Werftproteste: Fehlgeleitet oder Strategiedefizit? Der Verteidigungssektor ist von entscheidender Bedeutung.

— Henry Sibley (@deftechhenry) 10. Mai 2024

Die Forscher warnen, dass fox8 wahrscheinlich nur die Spitze des Eisbergs sei. Möglicherweise sind bereits ausgefeiltere Botnetze im Einsatz, die fortschrittliche KI-Funktionen nutzen, um Informationen autonom zu verarbeiten, Entscheidungen zu treffen und mit APIs und Suchmaschinen zu interagieren.

Dieses Potenzial für einen autonomen Betrieb stellt eine ernsthafte Bedrohung für den öffentlichen Diskurs dar.

Ein Cybersicherheitsexperte, der namentlich nicht genannt werden möchte, äußerte ernsthafte Bedenken hinsichtlich der Auswirkungen dieses Trends. „Die Verwendung von ChatGPT durch diese Konten und ihre Fähigkeit, menschliche Interaktionen mit solcher Genauigkeit nachzuahmen, macht sie besonders gefährlich, ja sogar schändlich.“Mir wurde gesagt.

Implikationen und Bedenken

Sam Altman, CEO von OpenAI, äußerte zuvor Bedenken hinsichtlich des Risikos, dass KI-Systeme zur Beeinflussung von Wahlen eingesetzt werden, und nannte dies einen seiner „Bereiche, die ihm größte Sorge bereiten“. Da im Jahr 2024 in mehreren Demokratien Wahlen anstehen, kann die Dringlichkeit, Richtlinien und Instrumente zu entwickeln, um diesen Bedrohungen entgegenzuwirken, gar nicht genug betont werden.

Dieser Trend dürfte sich verstärken.