Justin Hendrix ist CEO und Herausgeber von Tech Policy Press.

Wenn es darum geht, sich die Schäden generativer KI-Systeme vorzustellen, ist das Potenzial solcher Technologien für Desinformation und politische Manipulation vielleicht am offensichtlichsten. Bei einer Anhörung vor dem Justizunterausschuss des Senats im Mai bezeichnete Sam Altman, CEO von OpenAI, das Risiko, dass Systeme wie chatgpt zur Wahlmanipulation genutzt werden könnten, als „einen meiner Bereiche, die mir größte Sorge bereiten“. In ein Papier In der im Januar veröffentlichten Studie wiesen Forscher von OpenAI, Stanford und Georgetown auf „die Aussicht auf hochgradig skalierbare – und vielleicht sogar äußerst überzeugende – Kampagnen derjenigen hin, die versuchen, die öffentliche Meinung heimlich zu beeinflussen.“

Jetzt haben die Forscher Kai-Cheng Yang und Filippo Menczer vom Indiana University Observatory on Social Media einen vorab gedruckten Artikel veröffentlicht, in dem sie „ein Twitter-Botnetz beschreiben, das offenbar ChatGPT verwendet, um menschenähnliche Inhalte zu generieren“. Die Gruppe von 1.140 Konten, die die Forscher „fox8“ nannten, scheint Krypto-/Blockchain-/NFT-bezogene Inhalte zu fördern. Die Konten wurden nicht mit ausgefeilten forensischen Tools entdeckt – die Erkennung von maschinengeneriertem Text ist für Maschinen immer noch schwierig –, sondern durch die Suche nach „selbstrengendem“ Text, der möglicherweise „versehentlich von LLM-gestützten Bots gepostet wurde, ohne dass ein geeigneter Filtermechanismus vorhanden war“. .“

Mithilfe der Twitter-API durchsuchten die Forscher Twitter im Zeitraum von sechs Monaten zwischen Oktober 2022 und April 2023 nach dem Begriff „als KI-Sprachmodell“. Dieser Satz ist eine häufige Antwort, die von ChatGPT generiert wird, wenn es eine Aufforderung erhält, die gegen seine Nutzungsrichtlinien verstößt . Dabei entstand eine Menge Tweets und Accounts, anhand derer die Forscher Zusammenhänge erkennen konnten. Das fox8-Netzwerk bewarb offenbar drei „Nachrichten“-Websites, die wahrscheinlich alle von demselben anonymen Eigentümer kontrolliert werden.

Als die Forscher Tools zur Erkennung von Sprache, die von einem großen Sprachmodell generiert wurde, auf den Korpus von Tweets aus dem Fox8-Botnetz anwendeten, waren die Ergebnisse enttäuschend. Obwohl es einige nützliche Signale sendete, stufte der Detektor von OpenAI Tweets aus dem Botnetz als von Menschen generiert ein. Ein anderes Tool, GPTZero, konnte ebenfalls nicht vorhersagen, dass es sich um das Produkt einer Maschine handelte. Die Forscher sehen im Tool von OpenAI einiges vielversprechend; Aber es ist der Herausforderung, von OpenAI-Systemen in freier Wildbahn generierten Text zu identifizieren, noch nicht gewachsen.

Es gibt etwas Hoffnung. Die Forscher stellen fest, dass das Verhalten der Konten im Botnetz, wahrscheinlich aufgrund ihrer Automatisierung, einem „einzigen probabilistischen Modell folgt, das ihre Aktivitätstypen und -häufigkeiten bestimmt“. Ob sie also einen neuen Tweet veröffentlichen, antworten oder einen Tweet teilen und wann sie sich an einer solchen Aktivität beteiligen, entspricht einem beobachtbaren Muster. Die Suche nach solchen Mustern – die auch für andere automatisierte Konten gelten – kann dabei helfen, von LLMs betriebene Konten zu identifizieren.

Diese Hoffnung sollte jedoch durch die Tatsache gedämpft werden, dass Propagandisten gerade erst damit beginnen, diese mittlerweile allgemein verfügbaren Werkzeuge zu nutzen. Die Forscher warnen, dass „fox8 wahrscheinlich die Spitze des Eisbergs ist: Die Betreiber anderer LLM-basierter Bots sind möglicherweise nicht so nachlässig.“ Sie weisen darauf hin, dass „neue Forschungsergebnisse darauf hindeuten, dass LLMs die Entwicklung autonomer Agenten erleichtern können, die in der Lage sind, offengelegte Informationen unabhängig zu verarbeiten, autonome Entscheidungen zu treffen und Tools wie APIs und Suchmaschinen zu nutzen.“ Kein Wunder, dass Sam Altman „ein bisschen Angst“ vor dem hat, was er baut.

„Die Zukunft, über die sich viele Sorgen gemacht haben, ist bereits da“, sagte einer der Autoren des Papiers, Kai-Cheng Yang. in einem Tweet. Da im Jahr 2024 in zahlreichen Demokratien auf der ganzen Welt Wahlen anstehen, wird die Zeit knapp, um Maßnahmen zu ergreifen, die den Einsatz solcher Systeme zur Wahlmanipulation eindämmen.

Justin Hendrix ist CEO und Herausgeber von Tech Policy Press, einem neuen gemeinnützigen Medienunternehmen, das sich mit der Schnittstelle von Technologie und Demokratie beschäftigt. Zuvor war er Geschäftsführer des NYC Media Lab. Er war über ein Jahrzehnt bei The Economist tätig, unter anderem als Vizepräsident für Geschäftsentwicklung und Innovation. Er ist außerordentlicher Forschungswissenschaftler und außerordentlicher Professor an der NYU Tandon School of Engineering. Die hier geäußerten Meinungen sind seine eigenen.

Verwandt