Die Zahl generativer KI-Chatbots und deren Akzeptanz durch Unternehmen ist in den mehr als einem Jahr seit der Einführung von chatgpt durch OpenAI explodiert, aber auch die Bedenken von Cybersicherheitsexperten sind gestiegen, die sich nicht nur Sorgen um die Nutzung der neuen Technologie durch Bedrohungsgruppen machen, sondern auch um die Sicherheit der großen -Sprachmodelle (LLMs) selbst.

Dies wurde diese Woche deutlich, als Forscher von zwei Cybersicherheitsanbietern jeweils Schwachstellen in ChatGPT und Gemini fanden, dem generativen KI-Chatbot von google, der bis letzten Monat als Bard bekannt war.

API-Sicherheitsfirma Salt Security diese Woche enthüllt Sicherheitslücken in ChatGPT-Plugins, die es Kriminellen hätten ermöglichen können, auf Konten und sensible Daten auf Websites Dritter zuzugreifen. Nachdem OpenAI und Drittanbieter über die Schwachstellen informiert wurden, haben sie die Probleme behoben. Es gab keine Hinweise darauf, dass die Mängel in freier Wildbahn ausgenutzt wurden.

Einen Tag zuvor hatte der KI-Sicherheitsanbieter HiddenLayer in einem Bericht sagte, dass schlechte Akteure das LLM von Gemini manipulieren können, um Systemeingabeaufforderungen durchsickern zu lassen und es für gezieltere Angriffe zu öffnen, was zu Fehlinformationen führt – a zentrales Anliegen während sich die Vereinigten Staaten und andere Länder in diesem Jahr auf hochkarätige Wahlen vorbereiten – und den Nutzern durch indirekte Injektionen über Google Workspace Schaden zufügt.

Die Untersuchungen von Salt Labs – dem Forschungszweig von Salt Security – und HiddenLayer sind wichtige Sicherheitskontrollen, da Unternehmen die Einführung generativer KI-Tools vorantreiben. Laut Box ergab dies eine vom Cloud-Sicherheitsunternehmen gesponserte IDC-Umfrage zwei Drittel der Befragten sagten, sie hätten generative KI bereits in Teilen ihrer Unternehmen oder allgemeiner eingesetzt.

„Die Einführung von KI in Unternehmen treibt diese Wachstumstrends voran, da Unternehmen nach Technologien suchen, um Geschäftsprozesse zu automatisieren, die Mitarbeiterproduktivität zu steigern und Kosten zu senken“, schrieb Box in einem Blogeintrag im Januar.

Vor diesem Hintergrund sei es wichtig, die Sicherheit im Auge zu behalten, so Aviad Carmel, Sicherheitsforscher bei Salt.

„Generative KI bringt Unternehmen viele Vorteile, und irgendwann wird fast jedes Unternehmen generative KI in irgendeiner Weise nutzen“, sagte Carmel gegenüber SecurityBoulevard. „Wir unterstützen Unternehmen, die neue Fähigkeiten einführen möchten. Das ist eine gute Sache, solange es sicher geschieht. Allerdings hat der rasante Fortschritt in diesem Bereich zu einer erheblichen Cybersicherheitslücke geführt, die mehr Aufmerksamkeit als üblich erfordert.“

Das generative KI-Ökosystem

In dem Bericht über ChatGPT schrieb Carmel, dass frühe Versionen dieses und anderer generativer KI-Frameworks nur Daten enthielten, die ihnen während des Trainingsprozesses zur Verfügung standen, was die Fragen, die ihnen gestellt werden konnten, einschränkte. Das hat sich geändert.

„Um diese Probleme anzugehen, haben alle großen generativen KI-Plattformen das Konzept eines generativen KI-Ökosystems integriert, das die Verbindung und den Datenaustausch zwischen der generativen KI-Plattform und externen Diensten ermöglicht“, schrieb er. „Diese Dienste können alles sein, von einer einfachen Internetsuche bis hin zu einer Verbindung zu bestimmten Diensten wie GitHub, Google Drive, Saleforce usw.“

Dadurch ist ChatGPT mehr als nur ein Konversations-Chatbot und wird zu einem „leistungsstarken Tool, das auf einer Vielzahl von Plattformen eingesetzt werden kann, Arbeitsabläufe rationalisiert und interaktivere und produktivere Erlebnisse bietet.“ Ähnlich wie das massive Wachstum der generativen KI gewannen diese externen Verbindungen stark an Bedeutung und weiteten sich sehr schnell aus (und wachsen immer noch), um Hunderte verschiedener externer Verbindungen einzuschließen“, schrieb Carmel.

Das Konzept des generativen KI-Ökosystems macht ChatGPT und andere Chatbots über ihre Plugins zu Einstiegspunkten für Bedrohungen Dritter. Die Plugins geben ChatGPT die Erlaubnis, vertrauliche Daten an eine Website eines Drittanbieters zu senden und zeitweise auch die Erlaubnis, auf private Konten auf Google Drive, GitHub und anderen Orten zuzugreifen.

Mängel in ChatGPT

Forscher von Salt Labs fanden drei Arten von Fehlern in ChatGPT-Plugins, darunter einen in ChatGPT. Wenn Benutzer neue Plugins installieren, leitet der Chatbot sie auf die Plugin-Website weiter, um einen Code zu erhalten, der vom Benutzer genehmigt werden muss. Mit dem von OAuth genehmigten Code installiert ChatGPT das Plugin automatisch und kann im Namen des Benutzers mit dem Plugin interagieren. Hacker könnten die Funktion ausnutzen und mit einem neuen bösartigen Plugin eine Codefreigabe übermitteln, sodass der Angreifer seine Anmeldeinformationen auf dem Konto des Opfers installieren kann.

„Da der Angreifer der Besitzer dieses Plugins ist, kann er die privaten Chat-Daten des Opfers sehen, zu denen Anmeldeinformationen, Passwörter oder andere sensible Daten gehören können“, schrieb Carmel.

Ein weiterer Fehler in PluginLab, das Entwickler und Organisationen zur Entwicklung von ChatGPT-Plugins nutzen, bestand darin, dass Benutzerkonten nicht ordnungsgemäß authentifiziert wurden. Es könnte einem Angreifer ermöglichen, eine andere Benutzer-ID einzufügen und einen Code zu erhalten, der das Opfer darstellt, wodurch er ein Konto übernehmen kann. Die dritte Schwachstelle wurde in mehreren Plug-ins gefunden, die von Angreifern an Opfer gesendete URLs nicht validiert hätten, so dass diese das Konto übernehmen könnten.

API-Angriffe sind eine wachsende Bedrohung

Angriffe auf APIs seien generell ein wachsendes Problem, so Carmel, der darauf hinwies zum API-Sicherheitsbericht Q1 2023 von SaltDabei wurde festgestellt, dass die Angriffe auf Salt-Kunden im Vergleich zu den vorangegangenen sechs Monaten um 400 % gestiegen sind. APIs sind der Kern jeder modernen Anwendung, und bei der generativen KI ist das nicht anders.

„Diese APIs (die genaue Kommunikation) sind häufig Angreifern ausgesetzt, die jede Anfrage und Antwort vom Server sehen, und das ist eine neue Angriffsfläche, die auch für LLM relevant ist“, sagte er.

Carmel sagte, dass das, was Salt mit ChatGPT herausgefunden hat, auf jede generative KI-Plattform anwendbar ist, obwohl der Schwerpunkt auf dem Chatbot von OpenAI lag. Die Forscher von HiddenLayer brachten in ihrem Bericht eine ähnliche Botschaft über die in Gemini gefundenen Schwachstellen, darunter LLM-Prompt-Leaks und Jailbreaks.

Ein Blick auf Zwillinge

Gemini verfügt über drei Modellgrößen: Gemini Nano für leichte Anwendungen wie die Verarbeitung auf dem Gerät; Pro, zur Skalierung für ein breites Aufgabenspektrum; und Ultra für komplexe Aufgaben. Es konkurriert mit GPT-4 von OpenAI. Die meisten Tests von HiddenLayer wurden auf Gemini Pro durchgeführt.

„Das Gemini Pro-Modell übernimmt derzeit die Rolle eines flexiblen, zugänglichen KI-Modells für Entwickler“, schrieb Kenneth Yeung, Associate Threat Researcher bei HiddenLayer, in dem Bericht. „Aufgrund seiner ausgewogenen Leistung und Fähigkeiten eignet es sich gut für den Betrieb von Chatbots, Tools zur Inhaltserstellung, Systemen zur Suchverbesserung und anderen Anwendungen, die das Verständnis und die Generierung natürlicher Sprache erfordern.“

Die erste Schwachstelle führte zum Durchsickern der Systemprompts, also der Anweisungen, die dem LLM gegeben wurden. Sofortige Lecks sind gefährlich, wenn Hacker sie rückentwickeln, um sie zu stehlen oder einen wirksameren Angriff auszulösen oder ihnen vertrauliche Informationen wie Passwörter zu stehlen. Den Forschern von HiddenLayer gelang es, die Eingabeaufforderung zu manipulieren, um Leitplanken zu umgehen und genaue Anweisungen zu erhalten.

„Dieser Angriff nutzt die Inverse Scaling-Eigenschaft von LLMs aus“, schrieb Yeung. „Da LLMs immer größer werden, wird es extrem schwierig, jedes einzelne vorhandene Angriffsbeispiel genau abzustimmen. Daher neigen Modelle dazu, anfällig für Synonymangriffe zu sein, für die die ursprünglichen Entwickler sie möglicherweise nicht geschult haben.“

Sie konnten auch einen Reset-Simulationsansatz verwenden, um das System dazu zu bringen, Informationen aus der Eingabeaufforderung durchsickern zu lassen.

Jailbreaking des LLM

Darüber hinaus konnten die Forscher Gemini Pro manipulieren, indem sie eine fiktive Geschichte verwendeten, um die Abwehrmaßnahmen zu umgehen, die Google eingerichtet hatte, um zu verhindern, dass böswillige Akteure das LLM nutzen, um per Jailbreak Fehlinformationen über Wahlen zu generieren.

„Dieser Jailbreak-Angriff zeigt, dass das Modell zwar darauf abgestimmt ist, jegliche Fehlinformationen rund um Wahlen abzulehnen (versuchen Sie es!), aber nicht in der Lage ist, alle Fehlinformationen zu verhindern“, schrieb er.

Die Demonstration der Forscher erfolgte in derselben Woche bei Google beschriebene Schritte Der Schutz vor Fehlinformationen und anderen wahlbezogenen Bedrohungen in diesem Jahr in den Vereinigten Staaten und Indien war erforderlich.

HiddenLayer nutzte denselben Jailbreak-Angriff auch erfolgreich gegen Gemini Ultra – einschließlich der Erstellung von Anweisungen für die Kurzverkabelung eines Autos durch den Chatbot – und zum Extrahieren von Teilen der Systemaufforderung, allerdings mithilfe einer „leicht optimierten Methode“, wie Yeung sagte. Die Forscher entdeckten einige weitere Schwachstellen in Ultra, die den umgekehrten Skalierungseffekt zeigten, wobei die größte ein mehrstufiger Jailbreak war, der die Argumentationsfähigkeiten des LLM nutzte.