Erwartet werden Sam Altman, der CEO von OpenAI, Dario Amodei vom Rivalen Anthropic und Demis Hassabis von google DeepMind.

Auch Führungskräfte von Meta, Google, Amazon und Elon Musks Unternehmen für künstliche Intelligenz xAI werden an der Veranstaltung teilnehmen.

Die Vorbereitungen für den Gipfel konzentrierten sich auf das, was die Regierung als „Frontier AI“ bezeichnet hat.

Sunak ging am Donnerstag nicht nur auf Bedenken hinsichtlich Desinformation und Deep Fakes ein, sondern sagte, der Gipfel werde sich auch mit der Gefahr einer böswilligen „Superintelligenz“ befassen, über die die Menschheit „völlig die Kontrolle verlieren“ könne.

Über solche Behauptungen sind sich Experten heftig uneinig. Am Dienstag veröffentlichten 23 Wissenschaftler, darunter ein britischer Regierungsberater, ein Papier, in dem sie warnten, dass immer leistungsfähigere KI-Systeme das „Aussterben der Menschheit“ auslösen könnten.

Andere haben solche Warnungen als unseriös, als ablenkend und weit jenseits der Möglichkeiten jeglicher KI-Technologie, die Menschen in naher Zukunft wahrscheinlich entwickeln werden, abgetan.

Was das Ausmaß der Bedrohung angeht, sagte Warner, es bestehe die Notwendigkeit, ein „Gleichgewicht“ zwischen der Bewältigung langfristiger Bedrohungen und der Nutzung der Chancen der Technologie zu wahren. „Wir wollen Nuancen bewahren“, sagte er.

Dennoch seien die potenziellen Risiken von KI laut Warner „sehr real“.

„Ich gehöre zum Lager der Leute, die glauben, wir müssten uns um langfristige Risiken kümmern“, sagte er. „Ich möchte keine weitere Situation wie die globale Erwärmung erleben, in der wir erst dann anfangen, darüber nachzudenken, wenn es wirklich schlimm ist.“

Die Regierung hat sich an die Fakultät gewandt, um diese Risiken zu bewerten, und letzten Monat wurde sie vom Ministerium für Wissenschaft, Innovation und Technologie damit beauftragt, den Beamten dabei zu helfen, die potenziellen Bedrohungen besser zu verstehen.

Zu seinen Arbeiten gehörte ein Stresstest aktueller KI-Systeme durch einen als Red Teaming bekannten Prozess, um herauszufinden, wie sie von einsamen Terroristen eingesetzt werden könnten und ob sie die Fähigkeiten derjenigen verstärken können, die Massenvernichtung anrichten wollen.

Warner, ein langjähriger Berater der Regierung, wurde zuvor zusammen mit seinem Bruder Ben hinzugezogen, um No10 zu Beginn der Covid-Pandemie zu helfen.

In enger Zusammenarbeit mit Dominic Cummings, dem damaligen Chefberater von Boris Johnson, halfen sie bei der ersten Reaktion Großbritanniens auf die Krise, indem sie wichtige Gesundheitsdaten zusammenfassten und analysierten.

Im Jahr 2021 sagte Cummings den Abgeordneten, wenn er Premierminister gewesen wäre, hätte er „Marc Warner … mit der Leitung dieser ganzen Sache beauftragt“.

Seine Unterstützung ist vielleicht nicht überraschend, wenn man bedenkt, dass Faculty 2016 mit Cummings an der Brexit Vote Leave-Kampagne zusammengearbeitet hat. Das Unternehmen führt keine Arbeit mehr an politischen Kampagnen durch.