Eines der schmutzigen kleinen Geheimnisse beim Entwerfen von Virtual-Reality-Erlebnissen (VR) im Headset ist heute all die Abstriche, die aus Gründen der Effizienz erforderlich sind. Designer möchten Benutzern immersive Erlebnisse bieten. Aber die Headsets sind so konzipiert, dass sie Wärme und Gewicht minimieren und Energie sparen, wenn sie batteriebetrieben sind. Das bedeutet, dass sich zwar das, was Sie durch ein VR-Headset sehen, in gewisser Weise immersiv anfühlt (es scheint Tiefe zu haben und Sie zu umgeben, wenn Sie Ihren Kopf drehen), sich jedoch nur wenige Dinge bewegen. Und die Dinge, die sich bewegen, sind visuell einfach. Dieser Kompromiss ist erforderlich, da das Anpassen des Videostreams, um die richtige Perspektive auf die Szene basierend auf Ihrer sich ändernden Pose (Position und Ausrichtung) anzuzeigen, rechnerisch billiger ist, wenn sich nicht auch Objekte in der Szene bewegen.

Bei einem kürzlichen zweistündigen Forum, an dem ich in AltspaceVR teilgenommen habe, war der Inhalt dessen, was die Diskussionsteilnehmer und Teilnehmer sagten, überzeugend, aber die vereinfachte Landschaft und die Avatare fühlten sich ablenkend eher wie ein Cartoon-Spiel an als wie das ernsthafte Geschäftstreffen, das die Veranstaltung beabsichtigt hatte zu sein:

Und in der VR-Fitness-App Supernatural können Sie umgeben von einer atemberaubenden 360-Grad-Ansicht in den Bergen neben einem Alpensee trainieren – aber ein genauer Blick zeigt, dass die Landschaft tatsächlich eine Standaufnahme (kein Video) ist, die überzeugender gemacht wurde dank einer algorithmisch erzeugten subtilen Wasserbewegung, die den Teil des Bildes überlagert, der die Oberfläche des Sees zeigt, wann immer Sie sich ihm zuwenden:

Ansonsten sind so ziemlich die einzigen beweglichen Objekte ein paar fliegende kugelförmige Ziele, die Sie angreifen können, wenn sie auf Sie zufliegen. Während das Erlebnis immersiv genug ist, um zu begeistern, fühlt es sich im Vergleich zur physischen Realität immer noch statisch an – alles, um den Rechenaufwand des Headsets zu reduzieren.

Gibt es Hoffnung auf Verbesserung, für Extended Reality (XR)-Erfahrungsdesigner, die sich über diese Einschränkungen ärgern? Ja.

Eine gängige Methode, um das Erlebnis lebendiger zu gestalten, besteht darin, den größten Teil dieser Berechnung auf ein separates Gerät wie ein Telefon in der Tasche des Benutzers, einen Laptop in der Nähe oder, für die höchste Qualität, einen Server in der Cloud auszulagern. Und wenn die Erfahrung Tausende von geografisch verteilten Benutzern umfasst, die eine gemeinsame Erfahrung machen, wie sich Metaverse-Befürworter vorstellen, sind Server in der Cloud eine Voraussetzung für echte Skalierbarkeit, nicht nur eine Option. Aber das schafft eine neue Herausforderung – wie man eine ganze Menge Inhalte vom Server zum Headset streamt.

Letzten Freitag habe ich eine mögliche Lösung für das Problem ausprobiert: Varjo Reality Cloud (VRC), die heute kommerziell erhältlich ist. Mit VRC sendet das Headset Benutzerbewegungsdaten an einen Server, der weiß, was in der Szene vor sich geht. Der Server kann als Antwort neue Frames erstellen, sie als komprimierten Videostream codieren, verschlüsseln und an das Headset des Benutzers senden. Das Headset muss die Frames dann nur leicht zuschneiden und verzerren, um jegliche Benutzerbewegungen während der Millisekunden auszugleichen, die es dauerte, um eine Rückmeldung vom Server zu erhalten, und sie dann als Videostream anzeigen – ein viel leichterer Lift.

Bis jetzt hat sich Varjo seinen Ruf durch die Herstellung der fortschrittlichsten kommerziell erhältlichen VR/XR-Headsets aufgebaut, die für Kunden wie Boeing, Rivian, Siemens und Volvo Erlebnisse liefern, die scharf genug sind, um die Auflösung des menschlichen Auges zu erreichen. Das Unternehmen sagt, dass VRC diese visuelle Qualität jetzt auch beim Streamen mit nur 35 Mbit / s (weniger als einem Drittel der durchschnittlichen aktuellen Internetgeschwindigkeit in US-Haushalten) liefern kann. Und Varjo beabsichtigt, VRC in Zukunft auch für Geräte anderer Anbieter verfügbar zu machen, einschließlich Low-End-Headsets und Smartphones.

Für Designer von XR-Erlebnissen eröffnet VRC die Möglichkeit, sie von der heutigen Kürzung zu befreien, damit sie Erlebnisse für Benutzer von virtueller, gemischter und erweiterter Realität schaffen können, die der physischen Realität visuell ebenbürtig sind – ein Schritt nach vorne, der die Wahrscheinlichkeit erhöhen würde Anziehungskraft von XR und im weiteren Sinne des primordialen Metaversums, wenn es entsteht.

Der Weg vor uns ist jedoch nicht ohne Hindernisse. An einem Punkt während der Mixed-Reality-Demo, die ich mit einem Varjo XR-3 erlebte, begann das atemberaubend fotorealistische, maßstabsgetreue virtuelle Auto, das vor mir in 3D erschienen war und dessen Flügeltür sich elegant geöffnet hatte, relativ zum Boden leicht zu zittern als ich um das Fahrzeug herumging. Als ich im vergangenen Jahr auf einer Branchenveranstaltung eine Varjo-Demo erlebt hatte, war das Auto dagegen absolut stabil. Der Unterschied bestand darin, dass der Stream bei dieser Veranstaltung von einem wenige Meter entfernten Laptop kam, während er dieses Mal von einem tausende Kilometer entfernten Amazon Web Services (AWS)-Server zu meinem Headset geleitet wurde.

Urho Konttori, CTO von Varjo, führte das Zittern entschuldigend auf eine wahrscheinlich zeitweilige Verlangsamung der kontinentübergreifenden Verbindung zurück, die dazu führte, dass der Stream nicht ganz mit meinen körperlichen Bewegungen Schritt hielt. Die Demo enthielt jedoch auch eine lebensgroße virtuelle Person, die auf MetaHuman Creator von Unreal Engine basierte und so realistisch war, dass sie Lichtjahre hinter den albern aussehenden Avataren in den meisten XR-Erlebnissen zurückblieb – ohne jegliches Zittern. Und ein paar Tage später versicherte mir Konttori, dass das Fahrzeug-Jitter-Problem behoben worden sei.

Der vorübergehende Fehler veranlasste mich, diese XR-Erfahrung auf der Grundlage von VRC mit der Erfahrung der gemeinsamen Bearbeitung von Dokumenten in der Cloud zu vergleichen. Es ist rechnerisch viel einfacher als XR-Streaming – und doch ist die gemeinsame Bearbeitung in Microsoft Office bekanntermaßen verzögert, da die Bearbeitungen eines einzelnen Mitwirkenden oft mehrere Sekunden dauern, bis sie auf den Bildschirmen der Kollegen erscheinen. Im Gegensatz dazu gibt es keine Verzögerung, wenn Sie dasselbe auf konkurrierenden Plattformen wie Google Docs tun. Bei der gemeinsamen Bearbeitung bleiben viele Unternehmen Microsoft trotz der frustrierenden, produktivitätsraubenden Verzögerung treu, da Microsoft der etablierte Anbieter ist – aber beim hochwertigen XR-Streaming hat Varjo diesen etablierten Vorteil nicht. Auf der anderen Seite hat VRC noch keine wirklichen Konkurrenten und hat jetzt einen deutlichen Vorsprung.

Für Erlebnisdesigner, deren Medium XR (und vielleicht schließlich das Metaversum) ist, könnte Cloud-basiertes XR-Streaming sie von den heutigen Einschränkungen befreien und eine viel reichhaltigere Palette bieten, aus der sie Erfahrungen für Kunden, Mitarbeiter, Partner und andere Benutzer erstellen können , wie das fotorealistische Auto in der Varjo-Demo:

Eine der dunklen Wolken, die heute über dem Potenzial für ein ursprüngliches Metaversum hängen, ist die Unsicherheit darüber, ob Mainstream-Benutzer karikaturartige Erfahrungen tolerieren werden, zumindest für etwas anderes als einfaches Spielen oder neuartige soziale Erfahrungen. Varjo Reality Cloud könnte diese dunkle Wolke aufhellen.

Sind Sie an der Gestaltung von XR-Erlebnissen beteiligt? Wenn ja und Sie bereit sind, mit mir über die Herausforderungen und Möglichkeiten zu sprechen, denen Sie begegnet sind, als Beitrag zu meiner Forschung, Schick mir eine Nachricht und lassen Sie uns eine Zeit zum Reden vereinbaren.

Bildquellen:

1. Screenshot des Autors aus der AltspaceVR-App.
2. Screenshot des Autors aus der Supernatural-App.
3. Varjo-Pressemappe.