Microsoft und OpenAI gaben am Mittwoch bekannt, dass Fancy Bear, Kimsuky und drei weitere staatlich geförderte Bedrohungsakteure chatgpt im Rahmen ihrer Cyberkriminalitätsoperationen genutzt haben.

Große Sprachmodelle (LLMs), darunter ChatGPT, wurden von russischen, nordkoreanischen, iranischen und chinesischen nationalstaatlichen Hackergruppen für die Skripterstellung und Phishing-Hilfe, Schwachstellenforschung, Zielaufklärung, Erkennungsumgehung und mehr genutzt, wie in a beschrieben Blogeintrag von Microsoft Threat Intelligence.

Mit diesen Bedrohungsgruppen verbundene OpenAI-Konten wurden aufgrund des gemeinsamen Informationsaustauschs mit Microsoft gekündigt, teilte das Unternehmen in einer entsprechenden Stellungnahme mit Beitrag im OpenAI-Blog.

„Die Priorität von Microsoft und OpenAI ist der Schutz von Plattformen und Kunden. In diesem Zusammenhang untersuchen Sicherheitsteams das Verhalten von Konten, IP-Adressen und anderen Infrastrukturen, um die Methoden und Fähigkeiten der Angreifer kennenzulernen. Dazu kann das Blockieren bösartiger Verbindungen und die Einleitung der Sperrung bösartiger Konten und Dienste gehören, die von Angreifern genutzt werden und gegen die Nutzungsbedingungen der Anbieter verstoßen.“ Sherrod DeGrippo, Director of Threat Intelligence Strategy bei Microsoft, teilte SC Media in einer E-Mail mit.

Fancy Bear nutzt KI zur Aufklärung im Krieg zwischen Russland und der Ukraine

Microsoft hat die folgenden fünf nationalstaatlichen Bedrohungsakteure identifiziert, die ChatGPT nutzen: der von Russland unterstützte Forest Blizzard (Fancy Bear), der von Nordkorea unterstützte Emerald Sleet (Kimsuky), der vom Iran unterstützte Crimson Sandstorm (Imperial Kitten) und der von China unterstützte Charcoal Typhoon ( Aquatischer Panda) und Lachstaifun (Maverick Panda).

„Microsoft Threat Intelligence nutzt branchenweit anerkannte Best Practices zur Zuordnung von Bedrohungsakteuren“, sagte DeGrippo. „Diese Aktivität wurde im Rahmen der Signale beobachtet, die Microsoft normalerweise zur Zuordnung im Rahmen unserer Microsoft Threat Intelligence-Funktion verwendet. Wir haben eng mit Open AI zusammengearbeitet, um Vertrauen in unsere Ergebnisse aufzubauen.“

Fancy Bear, eine produktive Cyberspionagegruppe, die mit dem russischen Militärgeheimdienst GRU in Verbindung steht, wurde beim Einsatz von LLMs beobachtet, um Aufklärung im Zusammenhang mit Radarbildtechnologie und Satellitenkommunikationsprotokollen durchzuführen, die laut Microsoft möglicherweise mit Russlands Militäroperationen in der Ukraine in Zusammenhang stehen.

Die Gruppe, die auch als APT28 oder STRONTIUM bekannt ist, hat während des gesamten Konflikts aggressiv die kritische Infrastruktur der Ukraine und ihrer Verbündeten ins Visier genommen, unter anderem durch Angriffe auf Energieanlagen und Kampagnen, bei denen Microsoft Outlook Zero-Days ausgenutzt wurde.

Fancy Bear wurde außerdem von Microsoft-Bedrohungsforschern beobachtet, die LLMs zur Unterstützung bei Skriptaufgaben wie Dateimanipulation und Multiprocessing verwendeten und möglicherweise bestimmte Vorgänge automatisieren wollten.

„Microsoft hat das Engagement von Forest Blizzard beobachtet [Fancy Bear] die repräsentativ für einen Gegner waren, der die Anwendungsfälle einer neuen Technologie erforschte“, erklärte das Threat-Intelligence-Team. „Wie bei anderen Gegnern wurden alle mit Forest Blizzard verbundenen Konten und Vermögenswerte deaktiviert.“

Spear-Phishing, Coding-Hilfe, Übersetzung beliebter Einsatzmöglichkeiten von KI durch Bedrohungsakteure

Microsoft stellte fest, dass die identifizierten Bedrohungsakteure offenbar die Fähigkeiten von LLMs „erforschen und testen“ und dass die Forscher keine nennenswerten Cyberangriffe entdeckt haben, die diese Form der generativen KI nutzen.

„Die Aktivitäten dieser Akteure stimmen mit früheren Red-Team-Bewertungen überein, die wir in Zusammenarbeit mit externen Cybersicherheitsexperten durchgeführt haben. Dabei kam heraus, dass GTP-4 nur begrenzte, inkrementelle Fähigkeiten für böswillige Cybersicherheitsaufgaben bietet, die über das hinausgehen, was mit öffentlich verfügbarer Nicht-KI bereits erreichbar ist.“ angetriebene Werkzeuge“, erklärte OpenAI in seinem Beitrag.

Bei dieser „frühen“ Bewertung der LLM-Nutzung durch Bedrohungsakteure gehörten laut Microsoft die Generierung von Phishing- und Spear-Phishing-Inhalten, die Optimierung und Fehlerbehebung von Skriptaufgaben, die Unterstützung bei der Sprachübersetzung und allgemeine Forschung zu den beliebtesten Aktivitäten, die beobachtet wurden.

Kimsuky, auch bekannt als Velvet Chollima, ist ein von Nordkorea gesponserter Bedrohungsakteur, der in Spear-Phishing-Kampagnen häufig Denkfabriken, akademische Einrichtungen und Nachrichtenorganisationen ins Visier nimmt und sich als Forscherkollegen, Akademiker oder Journalisten ausgibt, um Informationen zu sammeln. Erst im Dezember 2023 wurde die Gruppe bei der Durchführung einer Spear-Phishing-Kampagne zur Verbreitung von Malware-Hintertüren gesichtet.

Kimsuky hat LLMs verwendet, um Spear-Phishing-Inhalte zu erstellen, potenzielle Ziele mit Fachwissen über Nordkoreas Atomwaffenprogramm zu recherchieren, Skripting-Aufgaben durchzuführen und Schwachstellen wie die Microsoft Office-Schwachstelle „Follina“ zu untersuchen (CVE-2022-30190), laut Microsoft.

Crimson Sandstorm ist mit dem Korps der Islamischen Revolutionsgarden (IRGC), einem Zweig des iranischen Militärs, verbunden und verbreitet benutzerdefinierte .NET-Malware wie IMAPLoader durch Watering-Hole- und Spear-Phishing-Angriffe.

Microsoft-Forscher fanden heraus, dass Crimson Sandstorm LLMs nutzte, um zu versuchen, Code zu entwickeln, der der Erkennung in infizierten Systemen entgeht, Codeschnipsel zur Unterstützung bei Aufgaben wie Web Scraping und Remote-Server-Interaktion zu generieren und Phishing-E-Mails zu generieren. Zu diesen E-Mails gehörte eine, die sich als eine internationale Entwicklungsagentur ausgab, und eine andere, die prominente Feministinnen ins Visier nahm, um sie auf eine von Angreifern kontrollierte Feminismus-Website zu locken, schrieben die Forscher.

Zwei staatlich geförderte chinesische Angreifer, Charcoal Typhoon und Salmon Typhoon, wurden dabei beobachtet, wie sie „Erkundungsaktionen“ im Zusammenhang mit LLMs durchführten. Beispielsweise wurde gesehen, dass Salmon Typhoon LLMs wie eine Suchmaschine nutzte und eine Reihe von Themen recherchierte, darunter globale Geheimdienste, namhafte Einzelpersonen, andere Bedrohungsakteure und „Themen von strategischem Interesse“.

Charcoal Typhoon, auch bekannt als ControlX, RedHotel und BRONZE UNIVERSITY, führte im Jahr 2023 Cyberangriffe in mehr als einem Dutzend Ländern durch, darunter in den Vereinigten Staaten, Taiwan und Indien, und kompromittierte zuvor einen US-Bundesstaat und COVID-19-Forschungseinrichtungen. Der LLM-Einsatz umfasste Bemühungen, möglicherweise komplexe Cyber-Operationen zu automatisieren, Kommunikationen in verschiedene Sprachen für potenzielles Social Engineering zu übersetzen und bei Post-Compromise-Aktivitäten wie der Erlangung tieferen Systemzugriffs und der Ausführung erweiterter Befehle zu helfen.

Salmon Typhoon verwendete LLMs auch für Übersetzungen, insbesondere im Zusammenhang mit technischen Dokumenten und Computerbegriffen, und versuchte, das Modell zur Entwicklung von Schadcode zu verwenden, wurde jedoch von den Filtern des Modells blockiert, sagte Microsoft.

Microsoft identifiziert 9 neue LLM-bezogene Bedrohungstaktiken

Im Rahmen der Forschung von Microsoft wurden neun spezifische Taktiken, Techniken und Verfahren (TTPs) von Bedrohungsakteuren im Zusammenhang mit LLMs klassifiziert.

„Angesichts des schnellen Wachstums der KI und des zunehmenden Einsatzes von LLMs im Cyber-Betrieb arbeiten wir weiterhin mit MITRE zusammen, um diese LLM-bezogenen Taktiken, Techniken und Verfahren (TTPs) in die zu integrieren MITRE ATT&CK Rahmen bzw ATLAS™ (Adversarial Threat Landscape for Artificial-Intelligence Systems) Wissensdatenbank“, sagte DeGrippo in einer E-Mail zu SC Media.

Die von Microsoft abgebildeten TTPs sind:

SC Media wandte sich an OpenAI, um weitere Informationen über die Nutzung von ChatGPT durch Bedrohungsakteure zu erhalten. Ein OpenAI-Sprecher lehnte es ab, weitere Informationen bereitzustellen, die über die Angaben im Blogbeitrag des Unternehmens hinausgingen.