Forscher haben herausgefunden, dass Angreifer die Vorliebe von chatgpt, falsche Informationen zurückzugeben, ausnutzen können, um bösartige Codepakete zu verbreiten. Dies stellt ein erhebliches Risiko für die Software-Lieferkette dar, da bösartiger Code und Trojaner dadurch in legitime Anwendungen und Code-Repositorys wie npm, PyPI, GitHub und andere eindringen können.

Durch die Nutzung sogenannter „KI-Paket-Halluzinationen“ können Bedrohungsakteure von ChatGPT empfohlene, aber bösartige Codepakete erstellen, die ein Entwickler versehentlich herunterladen könnte, wenn er den Chatbot verwendet, und sie in Software einbauen, die dann weit verbreitet ist, so Forscher von Vulcan Cyber‘s Voyager18 Das Forschungsteam enthüllte in ein Blogbeitrag heute veröffentlicht.

In der künstlichen Intelligenz ist eine Halluzination eine plausible Reaktion der KI, die unzureichend, voreingenommen oder völlig unwahr ist. Sie entstehen, weil ChatGPT (und andere große Sprachmodelle oder LLMs, die die Grundlage für generative KI-Plattformen bilden) die ihnen gestellten Fragen auf der Grundlage der Quellen, Links, Blogs und Statistiken beantworten, die ihnen in den riesigen Weiten des Internets zur Verfügung stehen nicht immer die solidesten Trainingsdaten.

Aufgrund dieses umfangreichen Trainings und der Auseinandersetzung mit riesigen Textdatenmengen können LLMs wie ChatGPT „plausible, aber fiktive Informationen generieren, die über ihr Training hinaus extrapolieren und möglicherweise Antworten hervorbringen, die plausibel erscheinen, aber nicht unbedingt korrekt sind“, schrieb der leitende Forscher Bar Lanyado von Voyager18 In dem Blogbeitrag heißt es auch gegenüber Dark Reading: „Es handelt sich um ein Phänomen, das schon früher beobachtet wurde und ein Ergebnis der Funktionsweise großer Sprachmodelle zu sein scheint.“

Er erklärte in dem Beitrag, dass KIs in der Entwicklerwelt auch fragwürdige Korrekturen für CVEs generieren und Links zu nicht existierenden Codierungsbibliotheken anbieten – und letzteres bietet eine Möglichkeit zur Ausnutzung. In diesem Angriffsszenario könnten Angreifer ChatGPT um Codierungshilfe für häufige Aufgaben bitten; und ChatGPT bietet möglicherweise eine Empfehlung für ein unveröffentlichtes oder nicht vorhandenes Paket an. Angreifer können dann ihre eigene bösartige Version des vorgeschlagenen Pakets veröffentlichen, so die Forscher, und darauf warten, dass ChatGPT legitimen Entwicklern die gleiche Empfehlung dafür gibt.

wie man eine KI-Halluzination ausnutzt

Um ihr Konzept zu beweisen, erstellten die Forscher ein Szenario mit ChatGPT 3.5, in dem ein Angreifer der Plattform eine Frage zur Lösung eines Codierungsproblems stellte und ChatGPT mit mehreren Paketen antwortete, von denen einige nicht existierten, also nicht veröffentlicht wurden ein legitimes Paket-Repository.

„Wenn der Angreifer eine Empfehlung für ein unveröffentlichtes Paket findet, kann er an dessen Stelle sein eigenes Schadpaket veröffentlichen“, schreiben die Forscher. „Wenn ein Benutzer das nächste Mal eine ähnliche Frage stellt, erhält er möglicherweise eine Empfehlung von ChatGPT, das jetzt vorhandene Schadpaket zu verwenden.“

Wenn ChatGPT Codepakete erstellt, können Angreifer diese Halluzinationen nutzen, um bösartige Pakete zu verbreiten, ohne bekannte Techniken wie Typosquatting oder Masquerading anzuwenden, und so ein „echtes“ Paket erstellen, das ein Entwickler verwenden könnte, wenn ChatGPT dies empfiehlt, so die Forscher. Auf diese Weise kann dieser Schadcode in eine legitime Anwendung oder in ein legitimes Code-Repository gelangen und ein großes Risiko für die Software-Lieferkette darstellen.

„Ein Entwickler, der eine generative KI wie ChatGPT um Hilfe bei seinem Code bittet, könnte am Ende eine bösartige Bibliothek installieren, weil die KI dachte, sie sei real und ein Angreifer sie real machte“, sagt Lanyado. „Ein cleverer Angreifer könnte sogar eine funktionierende Bibliothek als eine Art Trojaner erstellen, der von mehreren Personen genutzt werden könnte, bevor sie erkennen, dass er bösartig ist.“

So erkennen Sie fehlerhafte Codebibliotheken

Es könne schwierig sein, zu sagen, ob ein Paket bösartig sei, wenn ein Bedrohungsakteur seine Arbeit effektiv verschleiere oder zusätzliche Techniken verwende, etwa die Erstellung eines Trojaner-Pakets, das tatsächlich funktionsfähig sei, stellten die Forscher fest. Es gibt jedoch Möglichkeiten, fehlerhaften Code abzufangen, bevor er in eine Anwendung integriert oder in einem Code-Repository veröffentlicht wird.

Dazu müssen Entwickler die von ihnen heruntergeladenen Bibliotheken validieren und sicherstellen, dass sie nicht nur tun, was sie sagen, sondern auch „kein cleverer Trojaner sind, der sich als legitimes Paket ausgibt“, sagt Lanyado.

„Besonders wichtig ist es, wenn die Empfehlung von einer KI kommt und nicht von einem Kollegen oder einer Person, der man in der Community vertraut“, sagt er.

Es gibt viele Möglichkeiten, wie ein Entwickler dies tun kann, z. B. die Überprüfung des Erstellungsdatums; Anzahl der Downloads und Kommentare oder fehlende Kommentare und Sterne; und einen Blick auf die beigefügten Notizen der Bibliothek werfen, sagten die Forscher. „Wenn etwas verdächtig aussieht, denken Sie zweimal darüber nach, bevor Sie es installieren“, empfahl Lanyado in dem Beitrag.

ChatGPT: Risiken und Chancen

Dieses Angriffsszenario ist nur das jüngste in einer Reihe von Sicherheitsrisiken, die ChatGPT mit sich bringen kann. Und seit ihrer Veröffentlichung im vergangenen November hat sich die Technologie schnell durchgesetzt – nicht nur bei Benutzern, sondern auch bei Bedrohungsakteuren, die sie gerne für Cyberangriffe und böswillige Kampagnen nutzen möchten.

Allein in der ersten Hälfte des Jahres 2023 gab es Betrüger, die ChatGPT nachahmten, um die Geschäftsanmeldedaten von Benutzern zu stehlen. Angreifer stehlen google Chrome-Cookies über bösartige ChatGPT-Erweiterungen; und Phishing-Bedrohungsakteure, die ChatGPT als Köder für bösartige Websites nutzen.

Während einige Experten glauben, dass das Sicherheitsrisiko von ChatGPT möglicherweise überbewertet wird, besteht es sicherlich, weil Menschen generative KI-Plattformen so schnell angenommen haben, um ihre berufliche Tätigkeit zu unterstützen und die Belastungen durch die tägliche Arbeitsbelastung zu verringern, so die Forscher.

„Wenn Sie nicht unter einem Felsen leben müssen, werden Sie sich der generativen KI-Begeisterung durchaus bewusst sein“, schrieb Lanyado in dem Beitrag, da Millionen von Menschen ChatGPT bei der Arbeit nutzen.

Auch Entwickler sind vor den Reizen von ChatGPT nicht gefeit und wenden sich davon ab Online-Quellen wie Stack Overflow für Codierungslösungen und an die KI-Plattform für Antworten, „was eine große Chance für Angreifer schafft“, schrieb er.

Und wie die Geschichte gezeigt hat, zieht jede neue Technologie, die schnell eine solide Nutzerbasis anzieht, auch schnell Bösewichte an, die sie für ihre eigenen Chancen ausnutzen wollen. ChatGPT liefert ein Echtzeitbeispiel für dieses Szenario.