Nachdem Meta fast alle seine Eier in einen virtuellen Korb gelegt hat, sucht sie nun nach Möglichkeiten, das Metaversum zu einem Ort zu machen, der das ist die Leute tatsächlich besuchen wollen, beginnend mit Benutzern eine überraschend einfache Möglichkeit zur Digitalisierung bieten sich selbst als Virtual-Reality-Avatar, indem sie nur die Hardware ihres Smartphones verwenden.

Digitale Stuntdoubles sind in Hollywood beliebter denn je, aber mehr als nur ein sicherer Weg um die Action auf dem Bildschirm spannender zu machen. Die Nachbildung vieler von Marvels Comicbuch-Kostümen in den Filmen kann oft nur durch digitale Doubles erreicht werden (vorausgesetzt, Sie möchten nicht bezahlen Gewerkschaften). Erstellen Sie jetzt solche Doppelgänger erfordert große Teams von talentierten Visual-Effects-Künstlern und spezialisierter Ausrüstung, die alle kommen zusammen die Leistung eines Schauspielers zu digitalisieren. Dazu gehören riesige Soundbühnen, die mit Verfolgungskameras bedeckt sind Schauspieler müssen spezielle Anzüge und Make-up tragen, damit ihre Gesichtszüge genau erfasst und reproduziert werden können. Es ist teuer und kompliziert, weshalb die meisten Online-Avatare wie karikaturartige Karikaturen aussehen, die der Person, die sie darstellen, kaum ähneln. Das, oder Sie können eine teure beauftragen vtuber rig, aber selbst dann wirst du nicht wie ein echter Mensch aussehen.

Wenn Benutzer wirklich anfangen, mehr Zeit im Metaversum zu verbringen, muss es ansprechender sein, und eine Möglichkeit, virtuelle Erfahrungen mit Freunden angenehmer zu gestalten, besteht darin, dass sie tatsächlich wie Ihre Freunde aussehen. Aber niemand möchte stundenlang versuchen, sich in einem aufwändigen Avatar-Customizer neu zu erstellen, noch möchte Meta seine Milliarden von Benutzern in ein VFX-Studio einladen, um sich digitalisieren zu lassen. Der bessere Ansatz besteht darin, die Technologie zu nutzen, auf die jeder bereits Zugriff hat, und für die meisten Facebook-Nutzer ist das ein Smartphone.

In einem Paper, das auf der Siggraph 2022 Konferenz vorgestellt wird in Vancouver, British Columbia im August, ein Team von Forschern aus Metas Reality Labs einen neuen Ansatz zur Digitalisierung des Aussehens eines Menschen und zur anschließenden Generierung eines vollständigen 3D-Modells, das eine Vielzahl von Emotionen ausdrücken kann, detailliert beschreiben: etwas, an dem das Unternehmen seit Jahren arbeitet. Im Jahr 2019 verwendeten Facebook-Forscher ein riesiges Rig namens Mugsy mit 171 hochauflösenden Kameras in einer riesigen Kugel, um die notwendigen Bilder für die Erstellung dieser 3D-Avatare aufzunehmen. Es zeichnete jede Sekunde 180 GB Daten auf und erforderte, dass die zu digitalisierende Person etwa eine Stunde lang in der Mitte der Kamerakugel saß, während sie Skripte las und seltsame Gesichter machte. Es lieferte großartige Ergebnisse, war aber einfach kein praktischer Weg, um die Massen zu digitalisieren.

Drei Jahre später kann das Mugsy-Rig durch die nach vorne gerichtete Selfie-Kamera eines Smartphones der neuesten Generation ersetzt werden. Anstatt eine Stunde in einem Stuhl zu verbringen, der von Hunderten von Kameras umgeben ist, müssen Benutzer ihr Smartphone einfach von einer Seite zur anderen über ihr Gesicht schwenken und dann eine Reihe von 65 spezifischen Gesichtsausdrücken nachbilden. Die Forscher sagen, dass der Vorgang jetzt etwa dreieinhalb Minuten dauert, und unter Verwendung eines neuronalen Netzwerks, das zuvor mit den 3D-Gesichtsdaten trainiert wurde, die von 255 verschiedenen Personen in einem Kamera-Rig wie Mugsy erfasst wurden, kann der neue Ansatz überraschende Ergebnisse erzielen lebensechte 3D-Avatar-Modelle.

Der Prozess ist immer noch nicht sofort. Nachdem die Gesichtsscans und verschiedene Gesichtsausdrücke durchgeführt und erfasst wurden, benötigt ein Computer mit ernsthaften Zahlenverarbeitungsfunktionen immer noch etwa sechs Stunden, um die Ergebnisse zu rendern. BAber auch hier zeigt die Cloud ihre Nützlichkeit, da einzelne Benutzer zu Hause keinen High-End-PC benötigen – das gesamte Rendering kann woanders durchgeführt werden. Der Prozess funktioniert auch nicht, wenn jemand eine Brille trägt, und es macht einen schlechten Job bei der Wiederherstellung langer Haare. Es funktioniert auch nur auf Köpfen. Während die erstellten 3D-Avatare realistisch genug aussehen, um endlich dem unheimlichen Tal zu entkommen, wird nur die Interaktion mit den körperlosen Köpfen Ihrer Freunde und Familie immer noch ein gewisses Maß an Gruseligkeit mit sich bringen.