Ein Forschungsteam aus China und Singapur hat kürzlich einen Artikel vorgelegt, der das Konzept der allgemeinen Computersteuerung (GCC) für künstliche Intelligenz beschreibt. Im Rahmen ihrer Experimente trainierten die Wissenschaftler ein KI-Modell auf OpenAI GPT-4V, um Red Dead Redemption 2 zu spielen, ein komplexes Videospiel mit einer reichhaltigen und abwechslungsreichen virtuellen Welt. Ziel dieses Projekts ist es, die Möglichkeiten zur Schaffung fortgeschrittener künstlicher allgemeiner Intelligenz (AGI) zu erkunden.
Um mit einem Computer zu interagieren und visuelle und akustische Signale zu interpretieren, wurde ein spezielles System namens CRADLE entwickelt, das sechs Module umfasst. Das Spiel wurde ausgewählt, weil es herausfordernd und actiongeladen war und eine reichhaltige Lernumgebung bot. Die KI wurde darauf trainiert, den Charakter mit Maus und Tastatur zu steuern, die Spielmechanik von Grund auf zu erlernen und sich verschiedenen Herausforderungen zu stellen, wie zum Beispiel der Navigation durch die Welt und dem Abschließen von Missionen.
Im Verlauf der Studie gelang es der KI, eine Reihe von Zielen im Spiel erfolgreich zu erfüllen, obwohl einige Missionen, wie „Protect Dutch“ mit intensiven Feuergefechten und „Search House“ mit der Notwendigkeit, eine komplexe Umgebung zu erkunden, über ihre Grenzen hinausgingen Grenzen. Dieses Projekt zeigt, dass KI hinsichtlich des Lernens und der Anpassung an komplexe Aufgaben in dynamischen und unvorhersehbaren Umgebungen vielversprechend ist.
Basierend auf den Ergebnissen der Studie wurde eine Schwachstelle des gesamten Systems identifiziert – es handelt sich um das Bildverarbeitungssystem GPT-4V. Es stellte sich heraus, dass dieses KI-Modell nicht mit der Verarbeitung aller visuellen Informationen zurechtkommt. Insbesondere gibt es ein Problem mit dem Verständnis der Minikarten, mit der Wahrnehmung von Hindernissen in der Spielumgebung und anderen Elementen. Bisher reichen die Fähigkeiten von GPT-4V für eine genaue räumlich-visuelle Erkennung nicht aus.
