Das OpenAI-Team glaubt, dass ein Analogon der Internationalen Atomenergiebehörde (IAEA) erforderlich ist, um die Menschheit vor dem Risiko zu schützen, versehentlich etwas zu erschaffen, das sie zerstören kann.

In einer kurzen Notiz, die auf der Website des Unternehmens veröffentlicht wurde, forderten die Mitbegründer Greg Brockman und Ilya Sutzkever sowie CEO Sam Altman, mit der Arbeit an Inspektion, Auditierung und Sicherheitskonformität zu beginnen, um das Risiko zu mindern, das von KI ausgehen kann.

„Es ist davon auszugehen, dass KI-Systeme in den nächsten 10 Jahren in den meisten Bereichen das Fachwissen von Experten übertreffen und ebenso viel produktive Tätigkeit leisten werden wie heute eines der größten Unternehmen.“ Sowohl im Hinblick auf mögliche Vor- als auch Nachteile wird Superintelligenz leistungsfähiger sein als andere Technologien, mit denen sich die Menschheit in der Vergangenheit auseinandersetzen musste. Wir können eine viel wohlhabendere Zukunft haben; Aber dafür müssen wir das Risiko managen. Angesichts möglicher existenzieller Risiken können wir nicht einfach reagieren.“heißt es in der Berufung.

Kurzfristig fordern die Entwickler „ein gewisses Maß an Koordination“ zwischen Unternehmen, die an der Spitze der KI-Forschung stehen, um sicherzustellen, dass die Entwicklung immer leistungsfähigerer Modelle nahtlos in die Gesellschaft integriert wird und gleichzeitig die Sicherheit im Vordergrund steht.

Eine solche Koordinierung kann beispielsweise durch ein von der Regierung geleitetes Projekt oder durch eine Tarifvereinbarung zur Begrenzung des Wachstums der KI-Fähigkeiten erfolgen.

Wie bereits erwähnt Der WächterForscher warnen seit Jahrzehnten vor den potenziellen Risiken der Superintelligenz. Das in den USA ansässige Center for AI Security (CAIS), das sich dafür einsetzt, „die Risiken künstlicher Intelligenz in der gesamten Gesellschaft zu verringern“, beschreibt acht Kategorien von „katastrophalen“ und „existenziellen“ Risiken, die die Entwicklung von KI mit sich bringen kann. Darüber hinaus ist die Zerstörung der Menschheit bei weitem nicht die einzige.

Beispielsweise könnte ein Szenario, in dem immer mehr Arbeit freiwillig in KI-Systeme gesteckt wird, dazu führen, dass die Menschheit „ihre Fähigkeit zur Selbstverwaltung verliert und vollständig von Maschinen abhängig wird“, was als „Schwächung“ bezeichnet wird. Gleichzeitig kann eine kleine Gruppe von Menschen, die mächtige Systeme kontrollieren, „KI zu einer zentralisierenden Kraft machen“, was zu „Wertbindungen“ führen wird – einem ewigen Kastensystem zwischen den Beherrschten und den Managern.

OpenAI-Führungskräfte glauben jedoch, dass die Weiterentwicklung leistungsstarker Systeme das Risiko wert ist. Im Übrigen sollten „Menschen auf der ganzen Welt die Grenzen und Vorgaben für KI-Systeme demokratisch festlegen“, obwohl sie zugeben, dass sie „noch nicht wissen, wie man einen solchen Mechanismus entwickelt“.