Seit OpenAI letztes Jahr chatgpt der Öffentlichkeit vorgestellt hat, schießen generative KI-Großsprachenmodelle (LLMs) nach einem Sommerregen wie Pilze aus dem Boden. Es war also nur eine Frage der Zeit, bis Online-Raubtiere, frustriert über die von den Entwicklern eingesetzten Schutzmaßnahmen, um den Missbrauch der LLMs in Schach zu halten, ihr eigenes Modell für böswillige Zwecke erfinden.

Ein solches Modell wurde kürzlich vom Cybersicherheitsdienstleister SlashNext entdeckt. Es heißt WormGPT. Daniel Kelley, ein reformierter Black-Hat-Hacker, der mit SlashNext zusammenarbeitet, um Bedrohungen und Taktiken von Cyberkriminellen zu identifizieren, schrieb in Gesellschaft Blogeintrag:

„Da die öffentlicheren GPT-Tools darauf abgestimmt sind, sich besser vor unethischer Nutzung zu schützen, werden die Bösewichte ihre eigenen entwickeln. Die bösen Gegenspieler werden sich nicht mit diesen ethischen Grenzen auseinandersetzen müssen. [W]„Wir sehen, dass böswillige Akteure jetzt ihre eigenen benutzerdefinierten Module erstellen, die ChatGPT ähneln, aber einfacher für schändliche Zwecke zu verwenden sind.“ —Daniel Kelley

Kelley sagte, dass die Entwickler von WormGPT nicht nur benutzerdefinierte Module entwickeln, sondern auch ihre Produkte bei anderen böswilligen Akteuren bewerben. Einer Quelle zufolge WurmGPTwird im Dark Web für 1.000 US-Dollar verkauft.

Hier erfahren Sie, was Forscher über WormGPT wissen – und was Ihr Team tun kann, um sich gegen diese neue KI-gestützte Bedrohung zu wehren.

[ Learn more about ReversingLabs Threat Intelligence | Explore Threat Intelligence for Microsoft Sentinel ]

Generativer KI-Hack, der auf Unfug trainiert ist

Es wird angenommen, dass WormGPT auf dem GPT-J LLM basiert, das nicht so leistungsstark ist wie GPT-4 von OpenAI. Aber für die Zwecke des Gegners muss das nicht so sein. GPT-J ist ein Open-Source-LLM, das 2021 von EleutherAI entwickelt wurde. Es unterstützt 6 Milliarden Parameter mit 825 GB Trainingsdaten. Im Vergleich dazu unterstützt GPT-4 175 Milliarden Parameter mit 1,5 TB Trainingsdaten.

Kelley sagte, man geht davon aus, dass WormGPT auf einer Vielzahl von Datenquellen trainiert wurde, wobei der Schwerpunkt auf Malware-bezogenen Daten liegt. Die spezifischen Datensätze, die beim Training des Modells verwendet wurden, seien jedoch vom Autor des Modells vertraulich behandelt worden, fügte er hinzu.

Experimente mit WormGPT, eine E-Mail zu erstellen, die einen ahnungslosen Kundenbetreuer unter Druck setzen sollte, eine betrügerische Rechnung zu bezahlen, seien „beunruhigend“, sagte Kelley.

„WormGPT hat eine E-Mail erstellt, die nicht nur bemerkenswert überzeugend, sondern auch strategisch raffiniert war und ihr Potenzial für raffinierte Phishing- und BEC-Angriffe demonstriert.“ –Daniel Kelley

Beim Business Email Compromise (BEC)-Betrug handelt es sich um einen Betrug, bei dem eine E-Mail, die scheinbar von den Vorgesetzten eines Unternehmens stammt, an einen Mitarbeiter auf niedrigerer Ebene gesendet wird, in der Regel mit der Bitte um eine Geldüberweisung auf ein von einem Hacker kontrolliertes Konto. Nach Angaben des FBI beliefen sich die BEC-Verluste von Unternehmen im Jahr 2022 auf mehr als 2,7 Milliarden US-Dollar.

Phishing-E-Mails

Kelley sagte, die Entwicklung von KI-Technologien habe einen neuen Vektor für BEC-Angriffe eingeführt, mit Tools wie ChatGPT macht es einfach, menschenähnlichen Text basierend auf den empfangenen Eingaben zu generieren. Generative KI ermöglicht cCyberkriminelle können die Erstellung äußerst überzeugender gefälschter E-Mails automatisieren, die auf den Empfänger zugeschnitten sind, was die Erfolgsaussichten eines Angriffs erhöht.

Timothy Morris, Chef-Sicherheitsberater bei Tanium, sagte, Tools wie WormGPT würden Phishing effektiver machen – und Türen für mehr Cyberkriminelle öffnen.

„Die E-Mails sind nicht nur durch die korrekte Grammatik überzeugender, sondern die Möglichkeit, sie auch nahezu mühelos zu erstellen, hat die Eintrittsbarriere für potenzielle Kriminelle gesenkt. Nicht zu erwähnen, [the tools add] die Möglichkeit, den Pool potenzieller Opfer zu vergrößern, da die Sprache kein Hindernis mehr darstellt.“ —Timothy Morris

Mike Parkin, ein leitender technischer Ingenieur bei Vulcan Cyber, sagte, dass KI-Tools wie ChatGPT gut darin sind, wie eine echte Person zu klingen, weil sie auf LLMs geschult sind, die das Internet nutzen.

„Das macht es für einen kriminellen Betreiber, der möglicherweise Englisch als Zweit- oder Drittsprache hat, viel einfacher, überzeugende Hooks zu schreiben.“ —Mike Parkin

Während sich die ersten Bedenken hinsichtlich KI-Tools wie ChatGPT auf konzentrierten Sie werden zum Schreiben von Schadcode verwendet„WormGPT unterstreicht seinen Wert, Betrug effektiver zu machen“, sagte Parkin.

„Die wahre Bedrohung der Konversations-KI liegt im Social Engineering. Mit ein wenig Data Scraping und etwas speziellem KI-Training ist es möglich, einen Großteil, wenn nicht sogar den gesamten Prozess zu automatisieren, um Bedrohungsakteuren Phishing in großem Maßstab zu ermöglichen.“ –Mike Parkin

Jailbreaking ChatGPT

Während generative KI-Modelle die Hürden senken können, ein Cyberkrimineller zu werden,Erwarten Sie nicht, dass am unmittelbaren Horizont Horden von Bedrohungsakteuren auftauchen, sagte Mika Aalto, Mitbegründer und CEO von Hoxhunt.

„Im Moment wird sich der Missbrauch von ChatGPT für BEC-, Phishing- und ‚Smishing‘-Angriffe wahrscheinlich mehr auf die Verbesserung der Fähigkeiten bestehender Cyberkrimineller als auf die Aktivierung neuer Legionen von Angreifern konzentrieren.“ —Mika Aalto

SlashNext-Forscher fanden einen weiteren beunruhigenden Trend bei Cyberkriminellen und ChatGPT. „„Wir sehen derzeit einen beunruhigenden Trend unter Cyberkriminellen in Foren, der sich in Diskussionsthreads zeigt, die „Jailbreaks“ für Schnittstellen wie ChatGPT anbieten“, sagte Kelley in seinem Blogbeitrag.

„Bei diesen Jailbreaks handelt es sich um spezielle Eingabeaufforderungen, die immer häufiger vorkommen. Sie beziehen sich auf sorgfältig gestaltete Eingaben, die darauf abzielen, Schnittstellen wie ChatGPT so zu manipulieren, dass Ausgaben generiert werden, die die Offenlegung sensibler Informationen, die Erstellung unangemessener Inhalte oder sogar die Ausführung schädlichen Codes beinhalten können.“ –Daniel Kelley

Beispielsweise hat ein Jailbreak namens „Grandma Exploit“ ChatGPT dazu verleitet, zu verraten, wie man Napalm herstellt. Der Chatbot wurde gebeten, sich als verstorbene Großmutter auszugeben, die als Chemieingenieurin in einer Napalm-Produktionsfabrik gearbeitet hatte, und dann den Chatbot zu erklären, wie Napalm hergestellt wird.

Ein weiterer von Reddit-Benutzern erfundener Jailbreak veranlasste ChatGPT dazu, so zu tun, als handele es sich um ein Rollenspiel, in dem ihm die Rolle von DAN verliehen wurde, kurz für Do Anything Now. Dies befreite das Model von der Einhaltung einiger Regeln im Zusammenhang mit rassistischen, sexistischen und gewalttätigen Inhalten.

Wie Unternehmen KI-gestützte Angriffe bekämpfen können

Was können Unternehmen tun, um KI-gestützte Angriffe abzuwehren? Kelley empfiehlt, umfassende Schulungsprogramme zu entwickeln, die sich auf BEC-Bedrohungen konzentrieren, und diese regelmäßig zu aktualisieren.

„Solche Programme sollten die Mitarbeiter über die Natur der BEC-Bedrohungen, den Einsatz von KI zu deren Verstärkung und die Taktiken der Angreifer aufklären. Diese Schulung sollte auch als kontinuierlicher Bestandteil der beruflichen Weiterentwicklung der Mitarbeiter verankert werden.“ –Daniel Kelley

Er empfahl Unternehmen außerdem die Implementierung strenger E-Mail-Verifizierungsprozesse, einschließlich automatischer Benachrichtigungen, wenn E-Mails von außerhalb der Organisation vorgeben, interne Führungskräfte oder Anbieter zu sein, und dass sie Nachrichten kennzeichnen, die bestimmte Schlüsselwörter enthalten, die mit BEC-Angriffen in Verbindung stehen, wie z. B. „dringend“, „sensibel“ oder „ Banküberweisung.“

Aalto sagte, solche Maßnahmen könnten sicherstellen, dass potenziell schädliche E-Mails einer gründlichen Prüfung unterzogen werden, bevor Maßnahmen ergriffen werden.

„Konzentrieren Sie sich unbedingt auf Ihre Mitarbeiter und deren E-Mail-Verhalten, denn genau das tun unsere Gegner mit ihren neuen KI-Tools.“ –Mika Aalto

Aalto sagte, Organisationen sollten Sicherheit als gemeinsame Verantwortung im gesamten Unternehmen verankern. Er empfahl fortlaufende Schulungen, die es Benutzern ermöglichen, verdächtige Nachrichten zu erkennen, und Belohnungen für Mitarbeiter, die Bedrohungen melden.

*** Dies ist ein syndizierter Blog von Security Bloggers Network ReversingLabs-Blog Verfasst von John P. Mello Jr.. Lesen Sie den Originalbeitrag unter: https://www.reversinglabs.com/blog/wormgpt-highly-efficient-business-email-compromise-made-easy-with-ai-hack