Während das einjährige Jubiläum von chatgpt näher rückt, prüfen Cybersicherheitsanalysten immer noch ihre Möglichkeiten. Ein Hauptziel besteht darin, zu verstehen, wie generative KI zur Lösung von Sicherheitsproblemen beitragen kann, und gleichzeitig nach Möglichkeiten zu suchen, wie Bedrohungsakteure die Technologie nutzen können. Es wird vermutet, dass KI, insbesondere Large Language Models (LLMs), der Ausgleich sein wird, nach dem Cybersicherheitsteams gesucht haben: Die Lernkurve ist für Analysten und Bedrohungsakteure ähnlich und weil generative KI auf den von Benutzern erstellten Datensätzen basiert gibt es mehr Kontrolle darüber, worauf Bedrohungsakteure zugreifen können.
Was Bedrohungsakteuren einen Vorteil verschafft, ist die durch LLMs geschaffene erweiterte Angriffslandschaft. Der freizügige Einsatz generativer KI-Tools hat Tür und Tor für versehentliche Datenlecks geöffnet. Und natürlich sehen Bedrohungsakteure Tools wie ChatGPT als eine Möglichkeit, realistischere und gezieltere Social-Engineering-Angriffe zu erstellen.
LLMs sind so konzipiert, dass sie Benutzern eine genaue Antwort basierend auf den Daten in ihrem System und der angebotenen Eingabeaufforderung geben. Sie sind außerdem mit Sicherheitsvorkehrungen ausgestattet, um zu verhindern, dass sie betrügerisch werden oder für böse Zwecke manipuliert werden. Allerdings sind diese Leitplanken nicht narrensicher. IBM-Forscher konnten beispielsweise LLMs „hypnotisieren“, die der KI die Möglichkeit boten, falsche Antworten zu geben oder vertrauliche Informationen preiszugeben.
Es gibt noch eine andere Möglichkeit, wie Bedrohungsakteure ChatGPT und andere generative KI-Tools manipulieren können: sofortige Injektionen. Durch die Kombination von Prompt-Engineering- und klassischen Social-Engineering-Taktiken sind Bedrohungsakteure in der Lage, die Schutzmaßnahmen der generativen KI zu deaktivieren und alles zu tun, von der Erstellung bösartigen Codes bis hin zur Extraktion sensibler Daten.
So wirken Sofortspritzen
Als sprachaktivierte KI-Tools wie Alexa und Siri zum ersten Mal auf den Markt kamen, stellten Benutzer ihnen lächerliche Fragen, um die Grenzen der Antworten zu überschreiten. Sofern Sie Siri nicht fragten, wo man eine Leiche am besten begraben kann, war das ein harmloser Spaß. Sie war aber auch der Vorläufer der zügigen Technik, als generative KI allgemein verfügbar wurde.
Eine normale Eingabeaufforderung ist die Anfrage, die die Antwort der KI steuert. Wenn die Anfrage jedoch manipulative Sprache enthält, verzerrt dies die Antwort. Aus Sicht der Cybersicherheit ähnelt die Prompt-Injection den SQL-Injections – es gibt eine Anweisung, die normal aussieht, aber dazu gedacht ist, das System zu manipulieren.
„Prompt-Injection ist eine Art Sicherheitslücke, die ausgenutzt werden kann, um das Verhalten einer ChatGPT-Instanz zu steuern.“ Github erklärt.
Eine sofortige Injektion kann so einfach sein, dass man dem LLM mitteilt, die vorprogrammierten Anweisungen zu ignorieren. Es könnte gezielt zu einer schändlichen Aktion oder zur Umgehung von Filtern aufgefordert werden, um falsche Antworten zu generieren.
Verwandt: Die versteckten Risiken von LLMs
Das Risiko sensibler Daten
Generative KI basiert auf den von Benutzern erstellten Datensätzen. Allerdings erzeugen Informationen auf hoher Ebene möglicherweise nicht die Art von Antworten, die Benutzer benötigen, sodass sie beginnen, sensiblere Informationen hinzuzufügen, wie proprietäre Strategien, Produktdetails, Kundeninformationen oder andere sensible Daten. Angesichts der Natur der generativen KI könnte dies ein Risiko für diese Informationen darstellen: Wenn ein anderer Benutzer eine in böser Absicht manipulierte Eingabeaufforderung geben würde, könnte er möglicherweise Zugriff auf diese Informationen erhalten.
Die Prompt-Injection kann manipuliert werden, um Zugriff auf diese sensiblen Informationen zu erhalten, indem man im Wesentlichen Social-Engineering-Taktiken durch die Prompt nutzt, um an die Inhalte zu gelangen, die den Bedrohungsakteuren am meisten nützen könnten. Könnten Bedrohungsakteure LLMs verwenden, um Zugriff auf Anmeldeinformationen oder Finanzdaten zu erhalten? Ja, wenn diese Informationen im Datensatz leicht verfügbar sind. Schnelle Injektionen können Benutzer auch auf bösartige Websites führen oder Schwachstellen ausnutzen.
Schützen Sie Ihre Daten
Das Vertrauen in LLM-Modelle ist überraschend hoch. Benutzer erwarten, dass die generierten Informationen korrekt sind. Es ist an der Zeit, ChatGPT nicht mehr zu vertrauen und die besten Sicherheitspraktiken in die Tat umzusetzen. Sie beinhalten:
- Vermeiden Sie die Weitergabe vertraulicher oder geschützter Informationen in LLM. Wenn es für die Ausführung Ihrer Aufgaben erforderlich ist, dass diese Informationen verfügbar sind, tun Sie dies auf eine Weise, die alle Identifikatoren maskiert. Machen Sie die Informationen so anonym und allgemein wie möglich.
- Verifizieren und dann vertrauen. Wenn Sie angewiesen werden, eine E-Mail zu beantworten oder eine Website zu überprüfen, achten Sie sorgfältig darauf, dass der Pfad legitim ist.
- Wenn etwas nicht stimmt, wenden Sie sich an die IT- und Sicherheitsteams.
Indem Sie diese Schritte befolgen, können Sie dazu beitragen, dass Ihre Daten geschützt bleiben, während wir weiterhin herausfinden, was LLMs für die Zukunft der Cybersicherheit bedeuten werden.
