Der chatgpt-Hersteller OpenAI stellt ein Team zusammen, um die katastrophalen Risiken zu untersuchen, die von den vom Unternehmen entwickelten „Frontier A’I“-Modellen ausgehen. Das neue Team namens Preparedness wird sich mit einigen ernsthaften Bedrohungen befassen, die von Technologien der künstlichen Intelligenz ausgehen, darunter chemische, biologische, radiologische und nukleare (CBRN) Bedrohungen.

In einem Blogbeitrag über die neue Initiative schrieb OpenAI: „Um die Sicherheit hochleistungsfähiger KI-Systeme zu unterstützen, entwickeln wir unseren Ansatz zur Vorbereitung auf Katastrophenrisiken, einschließlich des Aufbaus eines Vorbereitungsteams und der Einführung einer Herausforderung.“

„Wir glauben, dass bahnbrechende KI-Modelle, die die derzeit in den fortschrittlichsten bestehenden Modellen vorhandenen Fähigkeiten übertreffen werden, das Potenzial haben, der gesamten Menschheit zu helfen. Aber sie bergen auch immer größere Risiken“, stellte das von Sam Altman geführte Unternehmen fest.

OpenAI wies darauf hin, dass das Unternehmen mit dem neuen „Preparedness“-Team, das von Aleksander Madry, Direktor des Center for Deployable Machine Learning des Massachusetts Institute of Technology, geleitet wird und nun aktiv sein wird, darauf abzielt, die von KI-Modellen ausgehenden Risiken zu minimieren, während diese sich weiter verbessern verlassen, um OpenAI beizutreten, berichtete Forbes.

Das neue Team wird „Fähigkeitsbewertung, Bewertungen und internes Red Teaming für Grenzmodelle eng miteinander verknüpfen, von den Modellen, die wir in naher Zukunft entwickeln, bis hin zu Modellen mit AGI-Level-Fähigkeiten.“

Darüber hinaus wird das Vorbereitungsteam auch katastrophale Risiken verfolgen, bewerten, prognostizieren und sich darauf vorbereiten, die mehrere Kategorien umfassen, wie individuelle Überzeugung, Cybersicherheit, chemische, biologische, radiologische und nukleare (CBRN) Bedrohungen sowie autonome Replikation und Anpassung (ARA).

Zu den Aufgaben des Preparedness-Teams gehört auch die Entwicklung einer Risk-Informed Development Policy (RDP), die den Ansatz von OpenAI bei der Entwicklung zukünftiger KI-Modelle, der Ergreifung von Schutzmaßnahmen und der Einrichtung einer Regierungsstruktur für Rechenschaftspflicht und Aufsicht detailliert beschreibt.

Darüber hinaus hat OpenAI auch eine AI Preparedness Challenge ins Leben gerufen, um Ideen zur Verhinderung katastrophalen Missbrauchs zu liefern. Das Unternehmen ist bereit, den zehn besten Einsendungen API-Credits in Höhe von 25.000 US-Dollar anzubieten.