Laut einer Studie der University of Sheffield können Tools für künstliche Intelligenz (KI) wie chatgpt dazu verleitet werden, bösartigen Code zu produzieren, der für Cyberangriffe genutzt werden könnte.

Laut einer Studie der University of Sheffield können Tools für künstliche Intelligenz (KI) wie ChatGPT dazu verleitet werden, bösartigen Code zu produzieren, der für Cyberangriffe genutzt werden könnte.

Die von Wissenschaftlern der Fakultät für Informatik der Universität durchgeführte Studie ist die erste, die zeigt, dass Text-to-SQL-Systeme – KI, die es Menschen ermöglicht, Datenbanken zu durchsuchen, indem sie Fragen in einfacher Sprache stellen und in einer Vielzahl von Branchen eingesetzt werden – dies können ausgenutzt werden, um Computersysteme in der realen Welt anzugreifen.

Die Forschungsergebnisse haben gezeigt, wie die KI manipuliert werden kann, um sensible persönliche Daten zu stehlen, Datenbanken zu manipulieren oder zu zerstören oder Dienste durch Denial-of-Service-Angriffe lahmzulegen.

Im Rahmen der Studie fanden die Wissenschaftler aus Sheffield Sicherheitslücken in sechs kommerziellen KI-Tools und griffen jedes einzelne erfolgreich an.

Die von ihnen untersuchten KI-Tools waren:

Die Forscher stellten fest, dass sie bösartigen Code produzierten, wenn sie den einzelnen KIs spezifische Fragen stellten. Nach der Ausführung würde der Code vertrauliche Datenbankinformationen preisgeben, den normalen Dienst einer Datenbank unterbrechen oder sie sogar zerstören. Auf Baidu-UNIT konnten die Wissenschaftler vertrauliche Baidu-Serverkonfigurationen erhalten und einen Serverknoten außer Betrieb setzen.

Xutan Peng, ein Doktorand an der University of Sheffield, der die Forschung mitleitete, sagte: „In Wirklichkeit sind sich viele Unternehmen dieser Art von Bedrohungen einfach nicht bewusst und aufgrund der Komplexität von Chatbots gibt es Dinge, die selbst innerhalb der Community nicht vollständig verstanden werden.

„Im Moment erhält ChatGPT große Aufmerksamkeit. Da es sich um ein eigenständiges System handelt, sind die Risiken für den Dienst selbst minimal. Wir haben jedoch festgestellt, dass es dazu verleitet werden kann, bösartigen Code zu produzieren, der anderen Diensten ernsthaften Schaden zufügen kann.“

Die Ergebnisse der Studie verdeutlichen auch die Gefahren, die mit der Art und Weise einhergehen, wie Menschen KI nutzen, um Programmiersprachen zu lernen, damit sie mit Datenbanken interagieren können.

Xutan Peng fügte hinzu: „Das Risiko bei KIs wie ChatGPT besteht darin, dass immer mehr Menschen sie als Produktivitätstools und nicht als Konversations-Bot verwenden, und hier zeigen unsere Untersuchungen, dass die Schwachstellen bestehen. Beispielsweise könnte eine Krankenschwester ChatGPT bitten, einen SQL-Befehl zu schreiben, damit sie mit einer Datenbank interagieren kann, beispielsweise einer Datenbank, in der klinische Aufzeichnungen gespeichert sind. Wie unsere Studie zeigt, kann der von ChatGPT erzeugte SQL-Code in vielen Fällen schädlich für eine Datenbank sein, so dass die Pflegekraft in diesem Szenario schwerwiegende Datenverwaltungsfehler verursachen kann, ohne überhaupt eine Warnung zu erhalten.“

Im Rahmen der Studie entdeckte das Sheffield-Team auch, dass es möglich ist, einfache Backdoor-Angriffe zu starten, beispielsweise das Einschleusen eines „Trojanischen Pferdes“ in Text-to-SQL-Modelle durch Vergiftung der Trainingsdaten. Ein solcher Backdoor-Angriff würde die Modellleistung im Allgemeinen nicht beeinträchtigen, kann aber jederzeit ausgelöst werden und jedem, der ihn nutzt, echten Schaden zufügen.

Dr. Mark Stevenson, Dozent in der Forschungsgruppe Natural Language Processing an der University of Sheffield, sagte: „Benutzer von Text-to-SQL-Systemen sollten sich der potenziellen Risiken bewusst sein, die in dieser Arbeit hervorgehoben werden. Große Sprachmodelle, wie sie in Text-to-SQL-Systemen verwendet werden, sind äußerst leistungsfähig, ihr Verhalten ist jedoch komplex und kann schwer vorherzusagen sein. An der University of Sheffield arbeiten wir derzeit daran, diese Modelle besser zu verstehen und ihr volles Potenzial sicher auszuschöpfen.“

Die Sheffield-Forscher präsentierten ihre Arbeit auf der ISSRE – eine große akademische und industrielle Konferenz für Software-Engineering Anfang dieses Monats (10. Oktober 2023) – und arbeiten mit Interessenvertretern in der gesamten Cybersicherheits-Community zusammen, um die Schwachstellen zu beheben, da Text-to-SQL-Systeme in der Gesellschaft immer häufiger eingesetzt werden.

Ihre Arbeit wurde bereits von Baidu gewürdigt, dessen Security Response Center die Schwachstellen offiziell als „sehr gefährlich“ einstufte. Als Reaktion darauf hat das Unternehmen alle gemeldeten Schwachstellen behoben und die Wissenschaftler finanziell belohnt.

Die Sheffield-Forscher teilten ihre Ergebnisse auch mit OpenAI, das im Februar 2023 alle spezifischen Probleme behoben hat, die es mit ChatGPT festgestellt hatte.

Die Forscher hoffen, dass die von ihnen aufgedeckten Schwachstellen als Machbarkeitsnachweis und letztlich als Aufruf an die Communities für natürliche Sprachverarbeitung und Cybersicherheit dienen werden, bisher übersehene Sicherheitsprobleme zu identifizieren und anzugehen.

Xutan Peng fügte hinzu: „Unsere Bemühungen werden von der Industrie anerkannt und sie folgen unserem Rat, diese Sicherheitslücken zu beheben.“ Wir öffnen jedoch eine Tür auf einem endlosen Weg – was wir jetzt sehen müssen, sind große Gruppen von Forschern, die Patches erstellen und testen, um Sicherheitsrisiken durch Open-Source-Communitys zu minimieren.

„Angreifer werden immer ausgefeiltere Strategien entwickeln, was bedeutet, dass Sicherheitsstrategien Schritt halten müssen. Dazu brauchen wir eine neue Gemeinschaft, die diese Angriffe der nächsten Generation bekämpft.“

Die Studie, Über die Schwachstellen von Text-to-SQL-Modellenkann vollständig gelesen werden Hier.

Kontakt

Für weitere Informationen kontaktieren Sie bitte: