Wenn die meisten Menschen an künstliche Intelligenz denken, denken sie wahrscheinlich an ChatGPT und Deepfakes – und machen sich darüber Sorgen. KI-generierte Texte und Bilder dominieren unsere Social-Media-Feeds und die anderen Websites, die wir besuchen, manchmal ohne dass wir es wissen, und werden oft verwendet, um unzuverlässige und irreführende Informationen zu verbreiten.

Aber was wäre, wenn Textgenerierungsmodelle wie ChatGPT Deepfake-Bilder tatsächlich erkennen könnten?

Ein von der University at Buffalo geleitetes Forschungsteam hat große Sprachmodelle (LLMs), darunter ChatGPT von OpenAI und Gemini von google, angewendet, um Deepfakes von menschlichen Gesichtern zu erkennen. Ihre Studiepräsentiert letzte Woche auf der IEEE/CVF-Konferenz zu Computer Vision und Mustererkennungstellte fest, dass die Leistung von LLMs hinter der modernster Deepfake-Erkennungsalgorithmen zurückblieb, ihre natürliche Sprachverarbeitung sie in Zukunft jedoch möglicherweise zum praktischeren Erkennungstool machen könnte.

Die Studie ist auch veröffentlicht auf der arXiv Preprint-Server.

„Was LLMs von bestehenden Erkennungsmethoden unterscheidet, ist die Fähigkeit, ihre Ergebnisse auf eine für Menschen verständliche Weise zu erklären, wie etwa das Identifizieren eines falschen Schattens oder eines nicht passenden Paars Ohrringe“, sagt der Hauptautor der Studie, Siwei Lyu, Ph.D., SUNY Empire Innovation Professor in der Abteilung für Informatik und Ingenieurwesen der UB School of Engineering and Applied Sciences. „LLMs wurden nicht für die Erkennung von Deepfakes entwickelt oder trainiert, aber ihr semantisches Wissen macht sie dafür gut geeignet, daher erwarten wir weitere Anstrengungen in Richtung dieser Anwendung.“

Zu den an der Studie beteiligten Mitarbeitern zählen die University at Albany und die Chinese University of Hong Kong, Shenzhen.

Wie Sprachmodelle Bilder verstehen

ChatGPT wurde anhand eines Großteils der im Internet verfügbaren Texte – insgesamt etwa 300 Milliarden Wörter – trainiert. Es findet statistische Muster und Beziehungen zwischen Wörtern, um Antworten zu generieren.

Die neuesten Versionen von ChatGPT und anderen LLMs können auch Bilder analysieren. Diese multimodalen LLMs verwenden große Datenbanken mit beschrifteten Fotos, um die Beziehungen zwischen Wörtern und Bildern zu finden.

„Menschen tun das auch. Ob es sich um ein Stoppschild oder ein virales Meme handelt, wir ordnen Bildern ständig eine semantische Beschreibung zu“, sagt der Erstautor der Studie, Shan Jai, stellvertretender Laborleiter im UB Media Forensic Lab. „Auf diese Weise werden Bilder zu ihrer eigenen Sprache.“

Das Team des Media Forensics Lab wollte testen, ob GPT-4 mit Vision (GPT-4V) und Gemini 1.0 zwischen echten und von KI generierten Gesichtern unterscheiden können. Sie gaben dem Gerät Tausende von Bildern sowohl von echten als auch von Deepfake-Gesichtern und baten es, mögliche Anzeichen von Manipulation oder synthetische Artefakte zu erkennen.

Vorteile von ChatGPT

ChatGPT war beim Erkennen synthetischer Artefakte in durch latente Diffusion generierten Bildern in 79,5 % der Fälle genau, bei mit StyleGAN generierten Bildern in 77,2 % der Fälle.

„Dies ist vergleichbar mit früheren Methoden zur Erkennung von Deepfakes. Mit der richtigen Anleitung kann ChatGPT also recht gute Arbeit bei der Erkennung von KI-generierten Bildern leisten“, sagt Lyu, der auch Co-Direktor des Center for Information Integrity der UB ist.

Noch wichtiger ist, dass ChatGPT seine Entscheidungsfindung in einfacher Sprache erklären könnte. Als ein KI-generiertes Foto eines Mannes mit Brille vorgelegt wurde, wies das Modell korrekt darauf hin, dass „das Haar auf der linken Seite des Bildes leicht verschwimmt“ und „der Übergang zwischen der Person und dem Hintergrund etwas abrupt ist und es an Tiefe mangelt“.

„Bestehende Modelle zur Deepfake-Erkennung sagen uns zwar, mit welcher Wahrscheinlichkeit ein Bild echt oder gefälscht ist, aber sie sagen uns nur sehr selten, warum sie zu dieser Schlussfolgerung gekommen sind. Und selbst wenn wir uns die zugrunde liegenden Mechanismen des Modells ansehen, gibt es Merkmale, die wir einfach nicht verstehen können“, sagt Lyu. „Alles, was ChatGPT ausgibt, ist für Menschen verständlich.“

Das liegt daran, dass ChatGPT seine Analyse ausschließlich auf semantischem Wissen aufbaut. Während herkömmliche Deepfake-Erkennungsalgorithmen echte von gefälschten Bildern unterscheiden, indem sie anhand großer Datensätze von Bildern trainieren, die als echt oder gefälscht gekennzeichnet sind, verleihen die natürlichen Sprachfähigkeiten von LLMs ihnen so etwas wie ein gesundes Verständnis der Realität – zumindest wenn sie nicht halluzinieren – einschließlich der typischen Symmetrie menschlicher Gesichter und des Erscheinungsbilds echter Fotos.

„Sobald die visuelle Komponente von ChatGPT ein Bild als menschliches Gesicht versteht, kann die Sprachkomponente daraus schließen, dass ein Gesicht normalerweise zwei Augen hat und so weiter“, sagt Lyu. „Die Sprachkomponente sorgt für eine tiefere Verbindung zwischen visuellen und verbalen Konzepten.“

Das semantische Wissen und die natürliche Sprachverarbeitung von ChatGPT machen es zu einem benutzerfreundlicheren Deepfake-Tool sowohl für Benutzer als auch für Entwickler, so das Fazit der Studie.

„Normalerweise nutzen wir Erkenntnisse zum Erkennen von Deepfakes und konvertieren sie in eine Programmiersprache. Jetzt ist all dieses Wissen in einem einzigen Modell vorhanden und wir müssen nur die natürliche Sprache verwenden, um dieses Wissen hervorzuheben“, sagt Lyu.

Nachteile von ChatGPT

Die Leistung von ChatGPT lag deutlich unter den neuesten Algorithmen zur Deepfake-Erkennung, deren Genauigkeitsraten im mittleren bis hohen 90er-Bereich liegen.

Dies lag teilweise daran, dass LLMs keine statistischen Unterschiede auf Signalebene erkennen können, die für das menschliche Auge unsichtbar sind, aber häufig von Erkennungsalgorithmen verwendet werden, um KI-generierte Bilder zu erkennen.

„ChatGPT konzentrierte sich nur auf Anomalien auf semantischer Ebene“, sagt Lyu. „Auf diese Weise könnte die semantische Intuitivierung der ChatGPT-Ergebnisse tatsächlich ein zweischneidiges Schwert für die Deepfake-Erkennung sein.“

Und andere LLMs sind möglicherweise nicht so effektiv darin, ihre Analysen zu erklären. Obwohl Gemini beim Erraten des Vorhandenseins synthetischer Artefakte vergleichbar gut abschneidet wie ChatGPT, sind die unterstützenden Beweise oft unsinnig, wie etwa der Hinweis auf nicht vorhandene Muttermale.

Ein weiterer Nachteil ist, dass LLMs sich oft weigerten, Bilder zu analysieren. Auf die direkte Frage, ob ein Foto von einer KI erstellt wurde, antwortete ChatGPT in der Regel: „Tut mir leid, ich kann bei dieser Anfrage nicht helfen.“

„Das Modell ist so programmiert, dass es nicht antwortet, wenn es ein bestimmtes Vertrauensniveau nicht erreicht“, sagt Lyu. „Wir wissen, dass ChatGPT über Informationen verfügt, die für die Erkennung von Deepfakes relevant sind, aber auch hier ist ein menschlicher Bediener erforderlich, um diesen Teil seiner Wissensbasis zu aktivieren. Prompt Engineering ist effektiv, aber nicht sehr effizient, daher besteht der nächste Schritt darin, eine Ebene tiefer zu gehen und LLMs speziell für diese Aufgabe zu optimieren.“