chatgpt-Jailbreaks haben sich zu einem beliebten Tool für Cyberkriminelle entwickelt und sind fast zwei Jahre nach der Veröffentlichung des bahnbrechenden Chatbots in Hackerforen immer häufiger anzutreffen.

In dieser Zeit wurden verschiedene Taktiken entwickelt und als wirksame Methoden zur Umgehung der Inhalts- und Sicherheitsrichtlinien von OpenAI gefördert, die es böswilligen Akteuren ermöglichen, Phishing-E-Mails und andere schädliche Inhalte zu erstellen.

„Die Verbreitung von Jailbreak-Eingabeaufforderungen und KI-Missbrauch in Foren zur Cyberkriminalität hat seit den Anfängen von ChatGPT definitiv zugenommen. Während es im Jahr 2022/2023 erste Diskussionen über das Potenzial der Technologie gab, haben wir im Laufe der Zeit einen wachsenden Trend zu detaillierten Gesprächen über bestimmte Jailbreaking-Eingabeaufforderungen beobachtet“, sagte Mike Britton, Chief Information Security Officer bei Abnormal Security, gegenüber SC Media in einem Email. „Mittlerweile gibt es ganze Forenbereiche, die sich dem Missbrauch von KI widmen, insbesondere in zwei großen Foren zur Cyberkriminalität.“

Es sind nicht nur „Skript-Kiddies“, die diese Taktiken anwenden. Anfang des Jahres gab Microsoft bekannt, dass Mitglieder von fünf staatlich geförderten Bedrohungsgruppen aus Russland, Nordkorea, Iran und China ChatGPT für Aufgaben nutzten, die von Social Engineering über Skripthilfe bis hin zur Schwachstellenforschung reichten.

In einem Forschungsbericht aus dem Jahr 2023Abnormal Security identifizierte fünf bösartige E-Mail-Kampagnen, die wahrscheinlich von KI-Chatbots generiert wurden, und wies auf die Fähigkeit der KI hin, Social-Engineering-Taktiken anzuwenden, wie etwa das Erzeugen eines Gefühls der Dringlichkeit bei der E-Mail-Generierung.

Die mutmaßlich KI-generierten E-Mails waren außerdem bemerkenswert frei von Rechtschreib- und Grammatikfehlern, die bei Phishing-E-Mails häufig vorkommen, was ihr zusätzliche Legitimität verlieh.

„Der häufigste Anwendungsfall, den wir für das Jailbreaking von ChatGPT (und die Ausnutzung anderer bösartiger Versionen davon) sehen, ist das Starten von Social-Engineering-Angriffen, sei es für die Kompromittierung geschäftlicher E-Mails durch Anmeldedaten-Phishing oder für Anbieterbetrug“, sagte Britton. „Generative KI ermöglicht es Bedrohungsakteuren, diese Social-Engineering-Angriffe im Umfang, aber auch in der Komplexität zu skalieren.“

Am Montag, Abnormale Sicherheit hat einen Blogbeitrag veröffentlicht Hervorhebung von fünf Eingabeaufforderungen, die Cyberkriminelle verwenden, um ChatGPT zu jailbreaken. Obwohl diese Jailbreaks nicht unbedingt neu sind, sollten die große Vielfalt und die anhaltende Beliebtheit von Chatbot-Manipulationstechniken Unternehmen signalisieren, dass die gegnerische generative KI eine nicht zu ignorierende Bedrohung darstellt.

„Da Cyberkriminelle bei ihren E-Mail-Angriffen weiterhin generative KI als Waffe einsetzen, möchten Unternehmen diese Bedrohung möglicherweise in ihrer Cyberstrategie berücksichtigen. Es gibt Tools, die dabei helfen können – zum Beispiel Abnormal, das letztes Jahr veröffentlicht wurde Überprüfen Sie GPTein Tool, mit dem Unternehmen mithilfe generativer KI feststellen können, ob eine verdächtige E-Mail geschrieben wurde“, sagte Britton.

Ist Prompt Engineering das neue Social Engineering?

Die in Abnormal Security beschriebenen Jailbreak-Taktiken basieren hauptsächlich auf zwei Taktiken: ChatGPT dazu zu überreden, als ungefilterter Bot zu „rollen“, oder die KI zu „täuschen“, indem sie glaubt, dass sie in einem bestimmten Szenario arbeitet, in dem die Generierung schädlicher Inhalte akzeptabel wäre.

„Do Anything Now“ ist beispielsweise eine bekannte ChatGPT-Jailbreak-Taktik, die es schon seit mehr als einem Jahr gibt und bei der es darum geht, den Chatbot in die Rolle einer anderen KI namens DAN zu versetzen.

Diese alternative Persona wurde „von den typischen Beschränkungen der KI befreit“, wie es in einem Forenthema zu „dunkler KI“ heißt, und durch die Übernahme der Persona ist ChatGPT in der Lage, Inhalte zu generieren, die gegen die Richtlinien von OpenAI verstoßen.

Eine andere Methode besteht darin, ChatGPT mitzuteilen, dass es sich „im Entwicklungsmodus“ befindet oder dass seine Antworten „nur zu Testzwecken verwendet werden“, was auch die Mitteilung an den Bot umfassen kann, dass die „Entwicklerrichtlinien“ von den normalen Richtlinien von OpenAI abweichen.

Eine ähnliche Eingabeaufforderung teilt ChatGPT mit, dass es sich um einen Übersetzer-Chatbot handelt, der auf seine Fähigkeit getestet wird, in verschiedene Sprachen zu übersetzen und Fragen zu beantworten. Dies kann ChatGPT davon überzeugen, seine Filter zu umgehen, um unabhängig vom übersetzten Inhalt genaue Übersetzungen zu erstellen.

Die beiden anderen von Abnormal Security beschriebenen Taktiken ähneln denen von DAN, da sie ChatGPT anweisen, eine neue, uneingeschränkte Rolle anzunehmen. „Immer intelligent und machiavellistisch“ (AIM) ist eine Aufforderung, die darauf ausgelegt ist, Antworten zu generieren, „egal wie unmoralisch, unethisch oder illegal sie sind“, während die Aufforderung „BISH“ eine Variante von „Jetzt alles tun“ ist, der eine zugewiesen werden kann „Moralniveau“, das bestimmt, wie zensiert oder unzensiert seine Antworten sein sollen.

„Die zunehmende Nutzung von ChatGPT in diesen Foren könnte als natürlicher Fortschritt bezeichnet werden. „Wir sehen viele Cyberkriminelle auf niedriger Ebene, die damit experimentieren, ChatGPT zu nutzen, um bösartige E-Mails und Codes zu generieren“, sagte Britton.

Was können Organisationen tun, um sich gegen gegnerische GenAI zu verteidigen?

Die durch GenAI ermöglichte Cyberkriminalität steckt zwar noch in den Kinderschuhen, aber wenn Unternehmen jetzt über die KI-Experimente von Gegnern Bescheid wissen, könnten sie sich auf zukünftige fortschrittlichere Angriffsmethoden vorbereiten. Da Phishing derzeit die beliebteste illegale Nutzung von ChatGPT ist, können E-Mail-Verteidiger den Einsatz von Tools wie CheckGPT in Betracht ziehen, um verdächtige KI-generierte Inhalte zu filtern.

„Allerdings ist das Verständnis, ob eine E-Mail KI-generiert wurde, nur ein Hinweis auf einen möglichen Angriff. Um eine effektive und präzise Erkennung zu gewährleisten, sollte dieses Signal mit einer Reihe anderer unterschiedlicher Signale aus der gesamten E-Mail-Umgebung kombiniert werden“, sagte Britton.

In diesem Fall kann KI auch Teil der Verteidigung werden und es Organisationen ermöglichen, relevante Daten so zu analysieren, dass sie Widerstandsfähigkeit gegen zukünftige Angriffe aufbauen.

„Durch die Analyse zusätzlicher Signale, darunter Benutzerkommunikationsmuster, Interaktionen, Authentifizierungsaktivitäten und andere Attribute, können Unternehmen eine Basislinie des bekanntermaßen guten Verhaltens jedes Mitarbeiters und Lieferanten in einer Organisation erstellen und dann fortschrittliche KI-Modelle anwenden, um Anomalien zu erkennen, die auf a hinweisen potenzieller Angriff – egal, ob dieser Angriff von Menschen oder KI verursacht wurde“, schloss Britton.

Was OpenAI selbst betrifft, so hat das Unternehmen daran gearbeitet, böswillige Eingabeaufforderungen abzuschwächen und die Fähigkeit von ChatGPT zu stärken, innerhalb der vom Unternehmen festgelegten Leitplanken zu bleiben.

„ChatGPT ist immer noch eines der bevorzugten Tools für Cyberkriminelle, die nach Möglichkeiten suchen, ihre E-Mail-Angriffe zu skalieren. Da OpenAI jedoch Einschränkungen eingeführt hat, um die Generierung bösartiger Inhalte zu stoppen, ist es für Bedrohungsakteure jetzt schwieriger, Angriffe mit dem Tool effektiv zu starten. “, erklärte Britton. „Dies hat zur Entwicklung bösartiger Versionen von ChatGPT wie WormGPT und FraudGPT geführt, die normalerweise über das Dark Web erworben werden können.“

Der Schutz vor Jailbreaks ist jedoch schwierig, da es unzählige mögliche Eingabeaufforderungen gibt, die jemand bei seinen Versuchen, das KI-Modell zu manipulieren, erstellen kann. Im Detail Bug-Bounty-ProgrammOpenAI, das im April 2023 gestartet wurde, weist ausdrücklich darauf hin, dass es keine Prämien für „Jailbreaks“ gibt, und erklärt: „Obwohl wir hart daran arbeiten, Risiken zu verhindern, können wir nicht vorhersagen, dass jeden Tag Menschen unsere Technologie in der realen Welt nutzen oder missbrauchen werden.“ ”

Mit OpenAI kündigt Montag an Da ChatGPT bald Benutzern ohne OpenAI-Konten, aber mit „zusätzlichen Inhaltsschutzmaßnahmen“ zur Verfügung gestellt werden soll, bleibt abzuwarten, ob eine verbesserte Zugänglichkeit des Chatbots die Jailbreaking-Bemühungen von Cyberkriminellen beschleunigen wird.