Forscher manipulierten ChatGPT und fünf weitere kommerzielle KI-Tools, um bösartigen Code zu erstellen, der vertrauliche Informationen aus Online-Datenbanken preisgeben, kritische Daten löschen oder Datenbank-Cloud-Dienste stören konnte – eine einzigartige Demonstration.

Die Arbeit hat bereits dazu geführt, dass die für einige der KI-Tools verantwortlichen Unternehmen – darunter Baidu und OpenAI – Änderungen implementiert haben, um zu verhindern, dass böswillige Benutzer die Schwachstellen ausnutzen.

„Es ist die allererste Studie, die zeigt, dass Schwachstellen großer Sprachmodelle im Allgemeinen als Angriffspfad für kommerzielle Online-Anwendungen ausgenutzt werden können“, sagt er Xutan Pengder die Studie während seines Aufenthalts an der University of Sheffield im Vereinigten Königreich mitleitete.

Peng und seine Kollegen untersuchten sechs KI-Dienste, die menschliche Fragen in die Programmiersprache SQL übersetzen können, die üblicherweise zum Abfragen von Computerdatenbanken verwendet wird. „Text-to-SQL“-Systeme, die auf KI basieren, erfreuen sich immer größerer Beliebtheit – selbst eigenständige KI-Chatbots wie ChatGPT von OpenAI können SQL-Code generieren, der in solche Datenbanken eingebunden werden kann.

Die Forscher zeigten, wie dieser KI-generierte Code so gestaltet werden kann, dass er Anweisungen zum Durchsickern von Datenbankinformationen enthält, was die Tür für zukünftige Cyberangriffe öffnen könnte. Es könnte auch Systemdatenbanken löschen, in denen autorisierte Benutzerprofile, einschließlich Namen und Passwörter, gespeichert sind, und die Cloud-Server, auf denen die Datenbanken gehostet werden, überlasten Denial-of-Service-Angriff. Peng und seine Kollegen stellten ihre Arbeit beim 34. vor Internationales IEEE-Symposium für Software-Zuverlässigkeitstechnik am 10. Oktober in Florenz, Italien.

Ihre Tests mit ChatGPT von OpenAI im Februar 2023 ergaben, dass der eigenständige KI-Chatbot SQL-Code generieren konnte, der Datenbanken beschädigte. Sogar jemand, der ChatGPT zum Generieren von Code verwendet, um eine Datenbank für einen harmlosen Zweck abzufragen – etwa eine Krankenschwester, die mit klinischen Aufzeichnungen interagiert, die in einer Datenbank des Gesundheitssystems gespeichert sind – könnte tatsächlich schädlichen SQL-Code erhalten, der die Datenbank beschädigt.

„Der von diesen Tools generierte Code kann gefährlich sein, aber diese Tools warnen den Benutzer möglicherweise nicht einmal“, sagt Peng.

Die Forscher gaben ihre Ergebnisse an OpenAI weiter. Ihre Folgetests deuten darauf hin, dass OpenAI ChatGPT nun aktualisiert hat, um die Text-to-SQL-Probleme zu beheben.

Eine weitere Demonstration zeigte ähnliche Schwachstellen in Baidu-UNIT, einer intelligenten Dialogplattform des chinesischen Technologieriesen Baidu, die auf Chinesisch verfasste Kundenanfragen automatisch in SQL-Abfragen für den Cloud-Dienst von Baidu umwandelt. Nachdem die Forscher im November 2022 einen Offenlegungsbericht mit ihren Testergebnissen an Baidu geschickt hatten, gewährte ihnen das Unternehmen eine finanzielle Belohnung für das Auffinden der Schwachstellen und patchte das System bis Februar 2023.

Aber im Gegensatz zu ChatGPT und anderen KIs, die auf großen Sprachmodellen basieren – die neue Aufgaben ohne große oder gar keine vorherige Schulung ausführen können – stützt sich der KI-gestützte Dienst von Baidu stärker auf vorgefertigte Regeln, um seine Text-zu-SQL-Konvertierungen durchzuführen.

Text-to-SQL-Systeme, die auf großen Sprachmodellen basieren, scheinen leichter dazu manipuliert zu werden, schädlichen Code zu erstellen, als ältere KIs, die auf vorab geschriebenen Regeln basieren, sagt Peng. Aber er sieht immer noch Potenzial darin, große Sprachmodelle zu verwenden, um Menschen beim Abfragen von Datenbanken zu helfen, auch wenn er die Sicherheitsrisiken als „vor unserer Studie lange unterschätzt“ beschreibt.

Weder OpenAI noch Baidu antworteten auf a Neuer Wissenschaftler Bitte um Stellungnahme zur Forschung.