Angesichts der schnellen und weit verbreiteten Verbreitung von KI-Technologie für praktisch jeden Geschäftsanwendungsfall, der Natur von Software-Lieferketten und der weit verbreiteten Einführung von Open-Source-Codebibliotheken hält Vulcan Cyber, der globale Spezialist für Sanierungsautomatisierung, dies für notwendig und zeitgemäß und angemessen, um IT-Sicherheits- und Cybersicherheitsexperten frühzeitig vor den Gefahren zu warnen, die chatgpt darstellen kann.
Die Entstehung der vulkanischen Cyber-ChatGPT-Suche
Letztes Jahr begannen Millionen von Menschen, ChatGPT für ihre Geschäftsaktivitäten zu nutzen, und stellten fest, dass es ihre tägliche Arbeitsbelastung erheblich erleichtern kann. Dennoch gibt es einige Mängel. Wir haben gesehen, dass ChatGPT URLs, Referenzen und sogar Codebibliotheken und Funktionen generiert, die eigentlich nicht existieren. Diese LLM-Halluzinationen (Large Language Model) wurden bereits früher gemeldet und könnten das Ergebnis alter Trainingsdaten sein. Wenn ChatGPT Codebibliotheken (Pakete) herstellt, könnten Hacker diese Halluzinationen nutzen, um Malware zu verbreiten, ohne auf bekannte Techniken wie Typosquatting oder Spoofing zurückzugreifen. Diese Techniken sind verdächtig und bereits erkennbar. Wenn ein Hacker jedoch Software erstellen kann, die die von ChatGPT empfohlene „gefälschte“ Software ersetzt, kann er ein Opfer möglicherweise dazu verleiten, sie herunterzuladen und zu verwenden. Die Auswirkungen dieses Problems werden deutlich, wenn man bedenkt, dass Entwickler, die zuvor online nach Codierungslösungen suchten (z. B. auf Stack Overflow), sich heute an ChatGPT wenden, um Antworten zu erhalten, was eine große Chance für Hacker darstellt.
Die Angriffstechnik – Verwendung von ChatGPT zur Verbreitung von Malware
Vulcan Cyber hat eine neue Malware-Übermittlungstechnik identifiziert, die wir „AI Package Hallucination“ nennen. Diese Technik beruht auf der Tatsache, dass ChatGPT und wahrscheinlich auch andere generative KI-Plattformen Fragen manchmal mit imaginären Quellen, Links, Blogs und Statistiken beantworten. Es generiert sogar fragwürdige Patches für CVEs und stellt in diesem Fall Links zu Codierungsbibliotheken bereit, die eigentlich nicht existieren.
Mit dieser Technik formuliert ein Hacker zunächst eine Frage an ChatGPT, in der er nach Software sucht, die ein Codierungsproblem löst. ChatGPT antwortet dann mit dem Angebot mehrerer Programme, von denen einige möglicherweise nicht existieren. Hier wird es gefährlich: wenn ChatGPT Software empfiehlt, die nicht in einem legitimen Software-Repository veröffentlicht ist (z. B. npmjs, Pypi usw.). Wenn der Hacker eine Empfehlung für unveröffentlichte Software findet, kann er stattdessen seine eigene Malware veröffentlichen. Wenn ein Benutzer das nächste Mal eine ähnliche Frage stellt, erhält er möglicherweise eine Empfehlung von ChatGPT, die vorhandene Malware zu verwenden. Vulcan Cyber hat dieses spezielle Szenario mit chatGPT 3.5 nachgebildet.
