OpenAI hat schnell eine Jailbreak-Version von chatgpt verboten, die Benutzern gefährliche Aufgaben beibringen kann, nachdem ein Hacker namens „Pliny the Prompter“ das betrügerische ChatGPT namens „GODMODE GPT“ veröffentlicht hatte. Auf X (früher Twitter) kündigte der Hacker die Erstellung des Chatbots mit den Worten an: „GPT-4o UNCHAINED! Dieses ganz besondere benutzerdefinierte GPT verfügt über eine integrierte Jailbreak-Eingabeaufforderung, die die meisten Leitplanken umgeht und ein sofort einsatzbereites, befreites ChatGPT bietet, sodass jeder KI so erleben kann, wie sie immer gedacht war: kostenlos. Bitte verantwortungsbewusst verwenden und viel Spaß damit haben!“

Der Hacker teilte Screenshots der Eingabeaufforderungen und behauptete, dass er die Leitplanken von OpenAI umgehen konnte. Auf einem Screenshot ist zu sehen, wie der Bot Ratschläge zum Kochen von Meth gibt, während die KI auf einem anderen eine „Schritt-für-Schritt-Anleitung“ zum „Herstellen von Napalm mit Haushaltsgegenständen“ gibt. Godmode GPT wurde auch dabei gesehen, wie er Ratschläge zum Infizieren von macOS-Computern und zum Kurzschließen von Autos gab.

X-Benutzer antworteten auf den Beitrag des Hackers mit den Worten „Funktioniert einwandfrei“, während ein anderer „Wunderschön“ sagte. Andere fragten, wie lange der korrupte Chatbot zugänglich sein würde, und schrieben: „Hat irgendjemand einen Timer laufen, der anzeigt, wie lange dieser GPT dauert?“

Die OpenAI-Sprecherin Colleen Rize erklärte gegenüber Futurism: „Wir sind uns des GPT bewusst und haben aufgrund eines Verstoßes gegen unsere Richtlinien Maßnahmen ergriffen.“

Der Vorfall ereignete sich im Zuge des anhaltenden Kampfes zwischen OpenAI und Hackern, die versuchen, die Modelle des Unternehmens zu jailbreaken, während das Unternehmen von Sam Altman versucht, die Integrität seiner KI-Modelle aufrechtzuerhalten.