Cybersicherheitsforscher haben herausgefunden, dass für OpenAI ChatGPT verfügbare Plugins von Drittanbietern als neue Angriffsfläche für Bedrohungsakteure dienen könnten, die sich unbefugten Zugriff auf sensible Daten verschaffen möchten.
Entsprechend neue Forschung veröffentlicht von Salt Labs, könnten Sicherheitslücken, die direkt in ChatGPT und innerhalb des Ökosystems gefunden werden, es Angreifern ermöglichen, schädliche Plugins ohne Zustimmung der Benutzer zu installieren und Konten auf Websites Dritter wie GitHub zu kapern.
ChatGPT-PluginsWie der Name schon sagt, handelt es sich um Tools, die auf dem Large Language Model (LLM) basieren und auf aktuelle Informationen zugreifen, Berechnungen durchführen oder auf Dienste von Drittanbietern zugreifen sollen.
OpenAI wurde inzwischen ebenfalls eingeführt GPTsDabei handelt es sich um maßgeschneiderte Versionen von ChatGPT, die auf bestimmte Anwendungsfälle zugeschnitten sind und gleichzeitig die Abhängigkeiten von Diensten Dritter reduzieren. Stand: 19. März 2024, ChatGPT-Benutzer wird nicht länger Sie können neue Plugins installieren oder neue Konversationen mit vorhandenen Plugins erstellen.
Einer der von Salt Labs aufgedeckten Schwachstellen besteht darin, den OAuth-Workflow auszunutzen, um einen Benutzer dazu zu verleiten, ein beliebiges Plugin zu installieren, indem man sich die Tatsache zunutze macht, dass ChatGPT nicht überprüft, ob der Benutzer tatsächlich mit der Plugin-Installation begonnen hat.
Dies könnte es den Bedrohungsakteuren effektiv ermöglichen, alle vom Opfer geteilten Daten, die möglicherweise proprietäre Informationen enthalten, abzufangen und herauszufiltern.
Das Cybersicherheitsunternehmen entdeckte auch Probleme mit PluginLab Dies könnte von Bedrohungsakteuren als Waffe eingesetzt werden, um Zero-Click-Angriffe zur Kontoübernahme durchzuführen und so die Kontrolle über das Konto einer Organisation auf Websites Dritter wie GitHub zu erlangen und auf deren Quellcode-Repositorys zuzugreifen.
„'auth.pluginlab[.]„ai/oauth/authorized“ authentifiziert die Anfrage nicht, was bedeutet, dass der Angreifer eine andere Mitglieds-ID (auch bekannt als das Opfer) einfügen und einen Code erhalten kann, der das Opfer darstellt“, erklärte der Sicherheitsforscher Aviad Carmel. „Mit diesem Code kann er Folgendes verwenden.“ ChatGPT und greifen Sie auf den GitHub des Opfers zu.“
Die Mitglieds-ID des Opfers kann durch Abfrage des Endpunkts „auth.pluginlab“ ermittelt werden[.]ai/members/requestMagicEmailCode.“ Es gibt keine Hinweise darauf, dass Benutzerdaten durch die Schwachstelle kompromittiert wurden.
In mehreren Plugins, darunter Kesem AI, wurde außerdem ein Fehler bei der Manipulation der OAuth-Umleitung entdeckt, der es einem Angreifer ermöglichen könnte, die mit dem Plugin selbst verknüpften Kontoanmeldeinformationen zu stehlen, indem er einen speziell gestalteten Link an das Opfer sendet.
Die Entwicklung kommt Wochen nach Imperva detailliert zwei Cross-Site-Scripting (XSS)-Schwachstellen in ChatGPT, die verkettet werden könnten, um die Kontrolle über jedes Konto zu übernehmen.
Im Dezember 2023 zeigte der Sicherheitsforscher Johann Rehberger, wie böswillige Akteure Schaden anrichten können benutzerdefinierte GPTs Das kann Benutzeranmeldeinformationen erbeuten und die gestohlenen Daten an einen externen Server übertragen.
Neuer Remote-Keylogging-Angriff auf KI-Assistenten
Die Erkenntnisse folgen ebenfalls neue Forschung veröffentlichte diese Woche einen LLM-Seitenkanalangriff, der die Token-Länge als verdecktes Mittel nutzt, um verschlüsselte Antworten von KI-Assistenten über das Internet zu extrahieren.
„LLMs generieren und senden Antworten als eine Reihe von Token (ähnlich wie Wörter), wobei jedes Token beim Generieren vom Server an den Benutzer übertragen wird“, sagte eine Gruppe von Wissenschaftlern der Ben-Gurion-Universität und des Offensive AI Research Lab.
„Während dieser Prozess verschlüsselt ist, legt die sequentielle Token-Übertragung einen neuen Seitenkanal offen: den Token-Längen-Seitenkanal. Trotz der Verschlüsselung kann die Größe der Pakete die Länge der Token offenbaren, was Angreifern im Netzwerk möglicherweise Rückschlüsse ermöglicht.“ sensible und vertrauliche Informationen, die in privaten Gesprächen mit KI-Assistenten geteilt werden.“
Dies wird durch einen Token-Inferenzangriff erreicht, der darauf abzielt, Antworten im verschlüsselten Datenverkehr zu entschlüsseln, indem ein LLM-Modell trainiert wird, das in der Lage ist, Sequenzen mit Token-Länge in ihre natürlichen sprachlichen Gegenstücke (also Klartext) zu übersetzen.
Mit anderen Worten, die Kernidee besteht darin, die Echtzeit-Chat-Antworten mit einem LLM-Anbieter abzufangen, die Netzwerkpaket-Header zu verwenden, um die Länge jedes Tokens abzuleiten, Textsegmente zu extrahieren und zu analysieren und das benutzerdefinierte LLM zu nutzen, um die Antwort abzuleiten.
Zwei wichtige Voraussetzungen für die Durchführung des Angriffs sind ein KI-Chat-Client, der im Streaming-Modus läuft, und ein Gegner, der in der Lage ist, den Netzwerkverkehr zwischen dem Client und dem KI-Chatbot abzufangen.
Um der Wirksamkeit des Seitenkanalangriffs entgegenzuwirken, wird empfohlen, dass Unternehmen, die KI-Assistenten entwickeln, zufälliges Auffüllen anwenden, um die tatsächliche Länge der Token zu verschleiern, Token in größeren Gruppen statt einzeln zu übertragen und vollständige Antworten auf einmal zu senden, anstatt in einem Token-für-Token-Mode.
„Das Gleichgewicht zwischen Sicherheit, Benutzerfreundlichkeit und Leistung stellt eine komplexe Herausforderung dar, die sorgfältige Abwägung erfordert“, schlussfolgerten die Forscher.
