ReliaQuest hat einen neuen Bericht veröffentlicht, der detailliert beschreibt, wie Cyberkriminelle legitime Dienste wie chatgpt und bösartige KI-Tools für ihre Operationen nutzen. Das Unternehmen hat festgestellt, dass diese Tools bei der Erstellung nahezu perfekter Phishing-E-Mails helfen, die bei Tests durch ReliaQuest-Analysten eine Erfolgsquote von 2,8 % ergaben.

Der Bericht hebt hervor, dass Angreifer die Sicherheitsfilter von KI-Modellen mithilfe von Techniken wie Prompt Injections umgehen. Diese Techniken nutzen Schwächen in den Filtersystemen von KI-Modellen aus und ermöglichen es Angreifern, trotz integrierter Einschränkungen schädliche Inhalte zu generieren. Eine der häufigsten Arten von Prompt Injections, die sogenannten „Do Anything Now“-Prompts (DAN), manipuliert KI-Modelle mithilfe ausgefeilter Sprache, kontextbezogener Schlupflöcher und inkrementeller Eskalation.

ReliaQuest führte Experimente mit ChatGPT durch, bei denen anfängliche Anfragen zum Starten einer Phishing-Kampagne aus ethischen Gründen abgelehnt wurden. Als dieselbe Anfrage jedoch über eine Nexus-Eingabeaufforderung übermittelt wurde, gab das Sprachmodell einen einfachen Plan mit acht Schritten zurück. Dieser Plan umfasste Recherchen über das Zielunternehmen, Domänenregistrierung und E-Mail-Erstellung. Weitere Experimente mit anderen Sprachmodellen wie Mixtral-8x7B-T führten zu funktionalen PowerShell-Skripten zum Identifizieren von Benutzeranmeldeereignissen und Bereitstellen von Dateien über Endpunkte hinweg.

Der Bericht stellt außerdem fest, dass Cyberkriminelle DAN-Eingabeaufforderungen häufig in Foren diskutieren, wo sie Einträge in manipulativer Sprache austauschen und testen. Diese Eingabeaufforderungen werden häufig auf Open-Source-Plattformen wie GitHub und Reddit verbreitet. Forumsmitglieder tauschen Feedback zur Wirksamkeit verschiedener Eingabeaufforderungen aus und fordern bei Bedarf deren Austausch oder Verbesserung. ReliaQuest beobachtete einen Benutzer auf der beliebten englischsprachigen Cyberkriminellen-Plattform BreachForums, der einen Proof-of-Concept für eine Methode zur Umgehung des ChatGPT-Filters für 1.000 US-Dollar zum Verkauf anbot und behauptete, er habe die KI davon überzeugt, Ransomware zu programmieren.

WormGPT und FraudGPT erregten zunächst Aufmerksamkeit, sind aber inzwischen nicht mehr verfügbar. An ihre Stelle ist FlowGPT als Community-gesteuerter Dienst getreten. ReliaQuest verwendete FlowGPT, um das ChaosGPT-Modell für ein Phishing-Experiment auszuwählen. Mit einer Bewertung von 4,9 von 5 und einem hohen Popularitätswert von 3,4 Millionen erstellte das ChaosGPT-Modell auf Russisch eine überzeugende Phishing-E-Mail auf Englisch. Die Ausgabe war grammatikalisch korrekt und klang, als wäre sie von einem Muttersprachler geschrieben worden. Bei einer Testübung mit 1.000 nicht genannten Personen klickten 2,8 % auf den bösartigen Link in der Nachricht.

Auch die Bedrohung durch Deepfakes – künstlich erstellte oder verbesserte Audio- oder Videodateien – nimmt zu. Deepfakes, die mit KI-Tools, die in Foren für Cyberkriminelle diskutiert werden, leicht erstellt werden können, ermöglichen selbst Laien, realistische Stimmen- und Videoimitationen zu erstellen. Solche Tools werden zunehmend als Methode zur Umgehung von „Know Your Customer“-Prozessen (KYC) diskutiert. Cyberkriminelle teilen Tutorials und suchen die Dienste erfahrener Entwickler, um diese betrügerischen Aktivitäten zu erleichtern.

Der Bericht von ReliaQuest unterstreicht die zunehmende Raffinesse der Taktiken von Cyberkriminellen, die fortschrittliche KI-Tools und von der Community geteiltes Wissen nutzen, um ihre bösartigen Aktivitäten zu steigern. Die Ergebnisse unterstreichen die anhaltende Bedrohung, die diese Entwicklungen für die Cybersicherheit darstellen, und machen ständige Wachsamkeit und fortschrittliche Gegenmaßnahmen erforderlich.