OpenAI, die Erfinder von chatgpt, haben eine neue Gruppe gegründet, um sich auf die „katastrophalen Risiken“ der künstlichen Intelligenz vorzubereiten.

Das „Preparedness“-Team werde sich zum Ziel setzen, „katastrophale Risiken zu verfolgen, zu bewerten, vorherzusagen und sich vor ihnen zu schützen“, so das Unternehmen.

Zu diesen Risiken gehört der Einsatz künstlicher Intelligenz zur Erstellung wirkungsvoller, überzeugender Botschaften, zur Gefährdung der Cybersicherheit und zur Verwendung in Atomwaffen und anderen Arten von Waffen. Das Team wird auch gegen die „autonome Replikation und Anpassung“ oder ARA vorgehen – die Gefahr, dass eine KI die Macht erlangen würde, sich selbst zu kopieren und zu verändern.

„Wir glauben, dass bahnbrechende KI-Modelle, die die derzeit in den fortschrittlichsten bestehenden Modellen vorhandenen Fähigkeiten übertreffen werden, das Potenzial haben, der gesamten Menschheit zu helfen“, sagte OpenAI. „Aber sie bergen auch immer größere Risiken.“

Um diese gefährlichen Situationen zu vermeiden, müssen Rahmenbedingungen geschaffen werden, um die gefährlichen Fähigkeiten neuer künstlicher Intelligenzsysteme vorherzusagen und die Menschen dann davor zu schützen, sagte OpenAI. Das wird eine der Aufgaben des neuen Teams sein.

Gleichzeitig startete OpenAI eine neue „Preparedness Challenge“. Das regt die Menschen dazu an, über „den einzigartigsten, aber immer noch wahrscheinlichen und potenziell katastrophalen Missbrauch des Modells“ nachzudenken, beispielsweise über die Nutzung des Modells zur Abschaltung von Stromnetzen.

Besonders gute Einreichungen von Ideen für den böswilligen Einsatz künstlicher Intelligenz werden mit Credits für die Verwendung in den Tools von OpenAI belohnt, und das Unternehmen schlug vor, dass einige dieser Leute in das Team aufgenommen werden könnten. Laut OpenAI wird es von Aleksander Madry geleitet, einem KI-Experten vom Massachusetts Institute of Technology.

OpenAI stellte das neue Team im Rahmen seines Beitrags zum britischen AI Safety Summit vor, der nächste Woche stattfinden wird. OpenAI gehörte zu einer Reihe von Unternehmen, die sich dazu verpflichtet haben, den sicheren Einsatz künstlicher Intelligenz zu gewährleisten.