Neue Forschungsergebnisse der University of Sheffield zeigen das beunruhigende Potenzial von Systemen der künstlichen Intelligenz (KI) wie chatgpt, so manipuliert zu werden, dass sie bösartigen Code produzieren, der für verdeckte Cyberangriffe oder Spionage verwendet werden kann.

Forscher sagen, dass ihre Ergebnisse den ersten Beweis dafür darstellen, dass KI-gesteuerte Modelle zur Verarbeitung natürlicher Sprache (NLP) für reale Cyberangriffe genutzt werden können.

Die Studie zeigt, dass KI-Systeme, die Datenbankabfragen in Klartext ermöglichen, sogenannte Text-to-SQL-Systeme, dazu verleitet werden können, Schadcode zu generieren, um vertrauliche persönliche Daten zu stehlen, Datenbanken zu zerstören oder Dienste durch Denial-of-Service-Angriffe außer Gefecht zu setzen .

Die Entdeckung unterstreicht die Komplexität des KI-Zeitalters und zeigt, wie erfahrene Hacker oder sogar Gelegenheitsnutzer großsprachige, modellbasierte Chatbots zu Waffen machen können.

Während KI-Systeme wie ChatGPT dafür gefeiert werden, unser Leben einfacher zu machen, warnt der leitende Studienautor Dr. Xutan Peng, dass diese Systeme Sicherheitsrisiken bergen. „In Wirklichkeit sind sich viele Unternehmen dieser Art von Bedrohungen einfach nicht bewusst, und aufgrund der Komplexität von Chatbots gibt es Dinge, die selbst innerhalb der Community nicht vollständig verstanden werden“, sagte Dr. Peng in einem Pressemitteilung herausgegeben von der University of Sheffield.

Forscher betonen diese jüngsten Erkenntnisse und weisen darauf hin, dass die von Text-to-SQL-Systemen ausgehenden Sicherheitsrisiken nicht theoretisch sind.

Während der Tests identifizierte das Team Sicherheitslücken in sechs kommerziellen KI-Systemen: BAIDU-UNIT, ChatGPT, AI2SQL, AIHELPERBOT, Text2SQL und ToolSKE.

Forscher fanden heraus, dass diese Systeme bösartigen Code generieren, indem sie den KI-Chatbots spezifische Anfragen stellen. Bei der Ausführung dieses Codes wurden private Datenbankdetails offengelegt, die reguläre Funktion der Datenbank gestört oder sogar das System vollständig zerstört. Konkret gelang es den Forschern, auf Baidu-UNIT auf geheime Baidu-Server-Setups zuzugreifen, was zu einer Fehlfunktion eines Serverknotens führte.

„Das Risiko bei KIs wie ChatGPT besteht darin, dass immer mehr Menschen sie als Produktivitätstools statt als Konversations-Bot verwenden, und hier zeigen unsere Untersuchungen, dass die Schwachstellen liegen“, erklärte Dr. Peng.

Forscher sagen, dass es nicht nur Hacker mit böswilligen Absichten sind, die diese Systeme ausnutzen können, sondern dass jeder, der Zugang dazu hat, unabsichtlich Schadcodes produzieren und ausführen kann.

„Zum Beispiel könnte eine Krankenschwester ChatGPT bitten, einen SQL-Befehl zu schreiben, damit sie mit einer Datenbank interagieren kann, beispielsweise einer Datenbank, in der klinische Aufzeichnungen gespeichert sind“, sagte Dr. Peng. „Wie in unserer Studie gezeigt, kann der von ChatGPT erzeugte SQL-Code in vielen Fällen schädlich für eine Datenbank sein, sodass die Krankenschwester in diesem Szenario schwerwiegende Datenverwaltungsfehler verursachen kann, ohne überhaupt eine Warnung zu erhalten.“

Eines der alarmierendsten Ergebnisse war die Fähigkeit von KI-Chatbots, „Trojanische Pferde“ in Text-to-SQL-Modelle zu implantieren. Durch die Manipulation der Trainingsdaten bleiben diese versteckten Bedrohungen inaktiv, bis sie ausgelöst werden, was erhebliche Herausforderungen bei der Erkennung und Prävention mit sich bringt.

Dr. Mark Stevenson, Mitautor der Studie, betont die Unvorhersehbarkeit großer Sprachmodelle wie Text-to-SQL.

„Große Sprachmodelle, wie sie in Text-to-SQL-Systemen verwendet werden, sind äußerst leistungsfähig, aber ihr Verhalten ist komplex und kann schwer vorherzusagen“, erklärte Dr. Stevenson. „Benutzer von Text-to-SQL-Systemen sollten sich der potenziellen Risiken bewusst sein, die in dieser Arbeit hervorgehoben werden.“

Die Forscher teilten ihre Ergebnisse mit Interessenvertretern der Cybersicherheitsbranche, einschließlich der Unternehmen, die die kommerziellen KI-Systeme für Tests bereitstellen, bevor sie ihre Ergebnisse am 10. Oktober auf der Konferenz des International Symposium on Software Reliability Engineering (ISSRE) in Florenz, Italien, vorstellten.

Als Reaktion darauf stufte BAIDU die Schwachstelle als „höchst gefährlich“ ein und handelte umgehend, um die Probleme zu beheben, und belohnte die Sheffield-Forscher sogar finanziell für ihre Entdeckung. OpenAI, der Erfinder von ChatGPT, gab dies ebenfalls zu und sagte, dass es die Schwachstellen bis Februar 2023 behoben habe.

Die Forscher hoffen, dass ihre Ergebnisse als konkrete Demonstration der mit KI-Text-to-SQL-Systemen verbundenen Risiken dienen und den Cybersicherheitssektor dazu anregen werden, einen schwerwiegenden Problembereich zu erkennen, der bisher unbeachtet blieb.

„Unsere Bemühungen werden von der Industrie anerkannt und sie folgen unserem Rat, diese Sicherheitslücken zu beheben“, fügte Dr. Peng hinzu. „Allerdings öffnen wir eine Tür auf einem endlosen Weg – was wir jetzt sehen müssen, sind große Gruppen von Forschern, die Patches erstellen und testen, um Sicherheitsrisiken durch Open-Source-Communitys zu minimieren.“

„Angreifer werden immer ausgefeiltere Strategien entwickeln, was bedeutet, dass Sicherheitsstrategien Schritt halten müssen. Dazu brauchen wir eine neue Community, die diese Angriffe der nächsten Generation bekämpft.“

Tim McMillan ist ein pensionierter Strafverfolgungsbeamter, investigativer Reporter und Mitbegründer von The Debrief. Seine Schriften umfassen Verteidigung, nationale Sicherheit und die Geheimdienstgemeinschaft. Sie können Tim auf Twitter folgen: @LtTimMcMillan. Tim kann per E-Mail erreicht werden: [email protected] oder per verschlüsselter E-Mail:[email protected]