Laut IT House News vom 23. April kann der Chat-Roboter chatgpt basierend auf Benutzereingaben verschiedene Texte, einschließlich Codes, generieren. Vier Forscher der Universität Quebec in Kanada stellten jedoch fest, dass der von ChatGPT generierte Code häufig schwerwiegende Sicherheitsprobleme aufweist.Und es wird Benutzer nicht aktiv an diese Probleme erinnern und ihre Fehler nur zugeben, wenn Benutzer danach fragen.
Die Forscher präsentierten ihre Ergebnisse in einem Papier, in dem sie ChatGPT baten, 21 Programme und Skripte in Sprachen wie C, C++, Python und Java zu generieren. Diese Programme und Skripte sollen bestimmte Sicherheitslücken wie Speicherbeschädigung, Denial-of-Service, Deserialisierung und Verschlüsselungsimplementierungen aufzeigen. Die Ergebnisse zeigen, dassNur 5 der 21 von ChatGPT beim ersten Versuch generierten Programme waren sicher. Nachdem das große Sprachmodell erneut dazu aufgefordert wurde, seine falschen Schritte zu korrigieren, gelang es ihm, sieben sicherere Anwendungen zu generieren, die allerdings nur „sicherer“ in Bezug auf die spezifische Schwachstelle waren, die bewertet wurde.Das heißt nicht, dass der endgültige Code keine weiteren ausnutzbaren Schwachstellen aufweist.
Ein Teil des Problems von ChatGPT besteht laut den Forschern darin, dass es gegnerische Codeausführungsmodelle nicht berücksichtigt. Es wird den Benutzern wiederholt mitgeteilt, dass Sicherheitsprobleme vermieden werden können, indem „keine ungültigen Daten eingegeben werden“, was in der realen Welt jedoch nicht möglich ist. Allerdings scheint es sich der kritischen Schwachstellen im vorgeschlagenen Code bewusst zu sein und diese anzuerkennen.
„Offensichtlich ist es nur ein Algorithmus. Er weiß nichts, kann aber unsicheres Verhalten erkennen“, sagte Raphaël Khoury, Professor für Informatik und Ingenieurwissenschaften an der Universität Quebec und einer der Co-Autoren des Papiers, gegenüber The Register . Ursprünglich schlug ChatGPT in seiner Reaktion auf Sicherheitsbedenken vor, nur gültige Eingaben zu verwenden, was eindeutig unangemessen war. Es lieferte nur dann eine nützliche Orientierung, wenn man später darum gebeten wurde, die Frage zu verfeinern.
Laut den Forschern ist dieses Verhalten von ChatGPT nicht ideal,Da Benutzer wissen, welche Fragen sie stellen müssen, sind Kenntnisse über bestimmte Schwachstellen und Codierungstechniken erforderlich.
Die Forscher stellten außerdem fest, dassEs gibt eine moralische Inkonsistenz bei ChatGPT. Es weigert sich, Exploit-Code zu erstellen, sondern erstellt stattdessen anfälligen Code. Sie führten ein Beispiel für eine Java-Deserialisierungsschwachstelle an: „Der Chatbot generierte anfälligen Code und gab Ratschläge, wie man ihn sicherer machen kann, sagte aber, er könne keine sicherere Version des Codes erstellen.“
Khoury argumentiert, dass ChatGPT in seiner aktuellen Form ein Risiko darstellt, das heißt aber nicht, dass es keine Möglichkeiten gibt, diesen unberechenbaren, leistungsschwachen KI-Assistenten sinnvoll zu nutzen. „Wir haben gesehen, dass Studenten dieses Tool verwenden, und Programmierer verwenden dieses Tool im wirklichen Leben“, sagte er, „also ist es sehr gefährlich, ein Tool zu haben, das unsicheren Code generiert. Wir müssen den Studenten bewusst machen, dass der Code damit generiert wird.“ Art von Tool, dann ist es wahrscheinlich unsicher.“ Er sagte auch, dass er überrascht sei, dass ChatGPT, wenn sie gebeten wurden, Code für dieselbe Aufgabe in verschiedenen Sprachen zu generieren, manchmal für eine Sprache, sicheren Code generierte, während für eine andere Sprache Es generiert anfälligen Code, „weil dieses Sprachmodell eine Art Blackbox ist und ich dafür keine wirklich gute Erklärung oder Theorie habe.“
