SHEFFIELD, Vereinigtes Königreich — KI-Systeme, darunter das immer beliebter werdende chatgpt, könnten Hackern dabei helfen, Cyberangriffe auf Computernetzwerke zu starten, warnt eine neue Studie.

Forscher des Fachbereichs Informatik der University of Sheffield haben herausgefunden, wie Text-to-SQL-Systeme – KIs, die darauf ausgelegt sind, Datenbanken mithilfe von Klartextabfragen zu durchsuchen – bei realen Cyberkriminalität ausgenutzt werden können. Diese Ergebnisse geben Aufschluss darüber, wie KI-Systeme manipuliert werden könnten, um auf vertrauliche Informationen zuzugreifen, Datenbanken zu manipulieren oder Denial-of-Service-Angriffe zu initiieren.

Von den sechs bewerteten kommerziellen KI-Tools – ChatGPT, BAIDU-UNIT, AI2SQL, AIHELPERBOT, Text2SQL und ToolSKE – wurden alle Sicherheitslücken festgestellt. Durch das Stellen spezifischer Fragen an diese Plattformen könnten Forscher sie dazu bringen, bösartigen Code zu generieren. Wenn dieser Code ausgeführt wird, kann er Datenbankdienste unterbrechen, vertrauliche Daten preisgeben oder sogar die Datenbank zerstören. Beispielsweise erlangte das Team auf Baidu-UNIT, einer chinesischen App zur Dialoganpassung, vertrauliche Serverkonfigurationen und schaltete sogar einen Serverknoten offline.

„Im Moment erhält ChatGPT große Aufmerksamkeit. Da es sich um ein eigenständiges System handelt, sind die Risiken für den Dienst selbst minimal. Wir haben jedoch herausgefunden, dass es dazu verleitet werden kann, bösartigen Code zu produzieren, der anderen Diensten ernsthaften Schaden zufügen kann“, sagt Xutan Peng, ein Ph.D. Student an der University of Sheffield und Co-Leiter der Forschung, in a Veröffentlichung der Universität.

Ein zentrales Anliegen der Studie ist der Einsatz von KI-Tools wie ChatGPT für die Produktivität.

„Zum Beispiel könnte eine Krankenschwester ChatGPT bitten, einen SQL-Befehl zu schreiben, damit sie mit einer Datenbank interagieren kann, beispielsweise einer Datenbank, in der klinische Aufzeichnungen gespeichert sind. Wie in unserer Studie gezeigt, kann der von ChatGPT erzeugte SQL-Code in vielen Fällen schädlich für eine Datenbank sein, sodass die Krankenschwester in diesem Szenario schwerwiegende Datenverwaltungsfehler verursachen kann, ohne überhaupt eine Warnung zu erhalten“, erklärt Peng.

Die Studie deckt auch potenzielle Backdoor-Angriffe auf Text-to-SQL-Modelle auf, etwa die Einbettung eines „Trojanischen Pferdes“ durch die Verunreinigung von Trainingsdaten.

„Benutzer von Text-to-SQL-Systemen sollten sich der potenziellen Risiken bewusst sein, die in dieser Arbeit hervorgehoben werden. Große Sprachmodelle, wie sie in Text-to-SQL-Systemen verwendet werden, sind äußerst leistungsfähig, aber ihr Verhalten ist komplex und kann schwer vorherzusagen“, warnt Dr. Mark Stevenson von der University of Sheffield.

Baidu, eine chinesische Plattform, erkannte die Bedeutung der Studie und stufte die Schwachstellen als äußerst gefährlich ein. Aufgrund der Ergebnisse ging Baidu auf die Probleme ein und entschädigte das Forschungsteam für seine Pionierleistungen.

Die Forscher betonen die Notwendigkeit eines kollaborativen Ansatzes zur Cybersicherheit und fordern die Wissenschaftler auf, gemeinsam in Open-Source-Gemeinschaften zusammenzuarbeiten, um Risiken zu mindern.

„Angreifer werden immer ausgefeiltere Strategien entwickeln, was bedeutet, dass Sicherheitsstrategien Schritt halten müssen. Dazu brauchen wir eine neue Community, die diese Angriffe der nächsten Generation bekämpft“, schließt Peng.

Die Studie wurde auf dem International Symposium on Software Reliability Engineering vorgestellt (ISSRE) in Florenz, Italien.

Das könnte Sie auch interessieren:

James Gamble, Autor des South West News Service, hat zu diesem Bericht beigetragen.