Das JPEG-Dateiformat spielte eine entscheidende Rolle beim Übergang des Webs von einer Textwelt zu einem visuellen Erlebnis durch einen offenen, effizienten Container zum Teilen von Bildern. Nun verspricht das Graphics Language Transmission Format (glTF) dasselbe für 3D-Objekte im Metaverse und digitale Zwillinge.

JPEG nutzte verschiedene Komprimierungstricks, um Bilder im Vergleich zu anderen Formaten wie GIF dramatisch zu verkleinern. Die neueste Version von glTF nutzt in ähnlicher Weise Techniken zum Komprimieren sowohl der Geometrie von 3D-Objekten als auch ihrer Texturen. Die glTF spielt bereits eine zentrale Rolle im E-Commerce, wie der Vorstoß von Adobe in das Metaverse zeigt.

VentureBeat sprach mit Neil Trevett, Präsident der Khronos Foundation, die den glTF-Standard verwaltet, um mehr darüber zu erfahren, was glTF für Unternehmen bedeutet. Er ist außerdem VP of Developer Ecosystems bei Nvidia, wo es seine Aufgabe ist, Entwicklern die Verwendung von GPUs zu erleichtern. Er erklärt, wie glTF andere digitale Zwillings- und Metaverse-Formate wie USD ergänzt, wie man es verwendet und wohin es führt.

VentureBeat: Was ist glTF und wie passt es in das Ökosystem der Dateiformate im Zusammenhang mit Metaversen und digitalen Zwillingen?

Neil Trevett: Bei Khronos investieren wir viel Mühe in 3D-APIs wie OpenGL, WebGL und Vulkan. Wir haben festgestellt, dass jede Anwendung, die 3D verwendet, irgendwann Assets importieren muss. Das glTF-Dateiformat ist weit verbreitet und sehr komplementär zu USD, das sich zum Standard für die Erstellung und das Authoring auf Plattformen wie Omniverse entwickelt. USD ist der richtige Ort, wenn Sie mehrere Tools in ausgeklügelten Pipelines zusammenführen und sehr hochwertige Inhalte, einschließlich Filme, erstellen möchten. Aus diesem Grund investiert Nvidia stark in USD für das Omniverse-Ökosystem.

Andererseits konzentriert sich glTF darauf, als Bereitstellungsformat effizient und einfach zu verwenden zu sein. Es ist ein leichtes, optimiertes und einfach zu verarbeitendes Format, das von jeder Plattform oder jedem Gerät bis hin zu und einschließlich Webbrowsern auf Mobiltelefonen verwendet werden kann. Der Slogan, den wir als Analogie verwenden, lautet: „glTF ist das JPEG von 3D“.

Es ergänzt auch die Dateiformate, die in Autorenwerkzeugen verwendet werden. Beispielsweise verwendet Adobe Photoshop PSD-Dateien zum Bearbeiten von Bildern. Kein professioneller Fotograf würde JPEGs bearbeiten, da viele Informationen verloren gegangen sind. PSD-Dateien sind anspruchsvoller als JPEGs und unterstützen mehrere Ebenen. Sie würden jedoch keine PSD-Datei an das Handy meiner Mutter senden. Sie brauchen JPEG, um es so effizient und schnell wie möglich auf eine Milliarde Geräte zu bringen. USD und glTF ergänzen sich also in ähnlicher Weise.

VentureBeat: Wie gehen Sie von einem zum anderen?

Trevett: Es ist wichtig, einen nahtlosen Destillationsprozess von USD-Assets zu glTF-Assets zu haben. Nvidia investiert in einen glTF-Konnektor für Omniverse, damit wir glTF-Assets nahtlos in und aus Omniverse importieren und exportieren können. Wir von der glTF-Arbeitsgruppe bei Khronos freuen uns, dass USD die Anforderungen der Branche an ein Authoring-Format erfüllt, denn das ist ein enormer Arbeitsaufwand. Das Ziel ist, dass glTF das perfekte Destillationsziel für USD ist, um den allgegenwärtigen Einsatz zu unterstützen.

Ein Autorenformat und ein Lieferformat haben ganz unterschiedliche Gestaltungsanforderungen. Beim Design von USD dreht sich alles um Flexibilität. Dies hilft beim Komponieren von Dingen, um einen Film oder eine VR-Umgebung zu erstellen. Wenn Sie ein weiteres Asset einfügen und mit der vorhandenen Szene verschmelzen möchten, müssen Sie alle Designinformationen beibehalten. Und Sie wollen alles auf Grundwahrheitsniveau in Auflösung und Qualität.

Die Gestaltung eines Übertragungsformats ist unterschiedlich. Bei glTF sind die Scheitelpunktinformationen beispielsweise nicht sehr flexibel für die Neuautorisierung. Aber es wird genau in der Form übertragen, die die GPU benötigt, um diese Geometrie so effizient wie möglich über eine 3D-API wie WebGL oder Vulkan auszuführen. Daher investiert glTF viel Designaufwand in die Komprimierung, um die Downloadzeiten zu verkürzen. Zum Beispiel hat Google ihre beigetragen Draco 3D-Netz Kompressionstechnologie und Binomial hat ihren Beitrag geleistet Basis Universelle Texturkomprimierungstechnologie. Wir fangen auch an, viel Mühe in die Verwaltung der Detailgenauigkeit (LOD) zu stecken, damit Sie Modelle sehr effizient herunterladen können.

Die Destillation hilft, von einem Dateiformat zum anderen zu wechseln. Ein großer Teil davon besteht darin, Design- und Authoring-Informationen zu entfernen, die Sie nicht mehr benötigen. Aber Sie möchten die visuelle Qualität nicht reduzieren, es sei denn, Sie müssen es wirklich tun. Mit glTF können Sie die visuelle Wiedergabetreue beibehalten, aber Sie haben auch die Möglichkeit, die Dinge zu komprimieren, wenn Sie eine Bereitstellung mit geringer Bandbreite anstreben.

VentureBeat: Wie viel kleiner können Sie es machen, ohne zu viel Wiedergabetreue zu verlieren?

Trevett: Es ist wie bei JPEG, wo Sie eine Wählscheibe zum Erhöhen der Komprimierung mit einem akzeptablen Verlust an Bildqualität haben, nur glTF hat dasselbe für Geometrie- und Texturkomprimierung. Wenn es sich um ein geometrieintensives CAD-Modell handelt, macht die Geometrie den Großteil der Daten aus. Wenn es sich jedoch eher um ein verbraucherorientiertes Modell handelt, können die Texturdaten viel größer sein als die Geometrie.

Mit Draco ist eine Verkleinerung der Daten um das 5- bis 10-fache ohne nennenswerten Qualitätsverlust vertretbar. Es gibt auch etwas Ähnliches für die Textur.

Ein weiterer Faktor ist der benötigte Speicherplatz, der bei Mobiltelefonen eine wertvolle Ressource darstellt. Bevor wir die Binomialkomprimierung in glTF implementiert haben, haben die Leute JPEGs gesendet, was großartig ist, weil sie relativ klein sind. Aber der Vorgang des Entpackens in eine Textur in voller Größe kann selbst für ein einfaches Modell Hunderte von Megabyte erfordern, was die Leistung und Leistung eines Mobiltelefons beeinträchtigen kann. Die glTF-Texturen ermöglichen es Ihnen, eine superkomprimierte Textur in JPEG-Größe zu nehmen und sie sofort in eine GPU-native Textur zu entpacken, sodass sie nie auf volle Größe anwächst. Dadurch reduzieren Sie sowohl die Datenübertragung als auch den Speicherbedarf um das 5- bis 10-fache. Das kann hilfreich sein, wenn Sie Assets in einen Browser auf einem Mobiltelefon herunterladen.

VentureBeat: Wie stellen Menschen die Texturen von 3D-Objekten effizient dar?

Trevett: Nun, es gibt zwei grundlegende Klassen von Texturen. Eine der häufigsten sind nur bildbasierte Texturen, z. B. das Abbilden eines Logobildes auf ein T-Shirt. Die andere ist eine prozedurale Textur, bei der Sie ein Muster wie Marmor, Holz oder Stein erzeugen, indem Sie einfach einen Algorithmus ausführen.

Es gibt mehrere Algorithmen, die Sie verwenden können. Zum Beispiel hat Allegorithmic, das kürzlich von Adobe erworben wurde, den Weg für eine interessante Technik zum Generieren von Texturen bereitet, die jetzt in Adobe Substance Designer verwendet werden. Sie wandeln diese Textur oft in ein Bild um, weil sie auf Client-Geräten einfacher zu verarbeiten ist.

Sobald Sie eine Textur haben, können Sie mehr damit machen, als sie nur wie ein Stück Geschenkpapier auf das Modell zu klatschen. Sie können diese Texturbilder verwenden, um ein anspruchsvolleres Erscheinungsbild des Materials zu erzielen. Bei physikalisch basierten gerenderten (PBR)-Materialien versuchen Sie beispielsweise, die Eigenschaften realer Materialien so weit wie möglich zu emulieren. Ist es metallisch, wodurch es glänzend aussieht? Ist es durchscheinend? Wird Licht gebrochen? Einige der anspruchsvolleren PBR-Algorithmen können bis zu 5 oder 6 verschiedene Texturabbildungen verwenden, die Parameter einspeisen, die charakterisieren, wie glänzend oder durchscheinend es ist.

VentureBeat: Wie hat sich glTF auf der Seite des Szenendiagramms entwickelt, um die Beziehungen innerhalb von Objekten darzustellen, wie z. B. wie sich Autoräder drehen oder mehrere Dinge verbinden könnten?

Trevett: Dies ist ein Bereich, in dem der USD dem glTF weit voraus ist. Die meisten glTF-Anwendungsfälle wurden bisher durch ein einzelnes Asset in einer einzelnen Asset-Datei erfüllt. 3D-Commerce ist ein führender Anwendungsfall, bei dem Sie einen Stuhl hochbringen und wie Ikea in Ihr Wohnzimmer stellen möchten. Das ist ein einzelnes glTF-Asset, und viele der Anwendungsfälle waren damit zufrieden. Während wir uns in Richtung Metaversum und VR und AR bewegen, möchten die Leute Szenen mit mehreren Assets für die Bereitstellung erstellen. Ein aktiver Bereich, der in der Arbeitsgruppe diskutiert wird, ist, wie wir Multi-GLTF-Szenen und -Assets am besten implementieren und wie wir sie verknüpfen. Es wird nicht so ausgeklügelt sein wie USD, da der Schwerpunkt eher auf Übertragung und Bereitstellung als auf Erstellung liegt. Aber glTF wird in den nächsten 12 bis 18 Monaten etwas haben, um die Zusammensetzung und Verknüpfung mehrerer Assets zu ermöglichen.

VentureBeat: Wie wird sich glTF weiterentwickeln, um mehr Anwendungsfälle für Metaverse und digitale Zwillinge zu unterstützen?

Trevett: Wir müssen anfangen, Dinge einzubringen, die über das bloße Erscheinungsbild hinausgehen. Wir haben heute Geometrie, Texturen und Animationen in glTF 2.0. Die aktuelle glTF sagt nichts über physikalische Eigenschaften, Geräusche oder Wechselwirkungen aus. Ich denke, viele der Erweiterungen der nächsten Generation für glTF werden diese Art von Verhalten und Eigenschaften beinhalten.

Die Branche entscheidet gerade, dass es in Zukunft USD und glTF geben wird. Obwohl es ältere Formate wie OBJ gibt, zeigen sie allmählich ihr Alter. Es gibt beliebte Formate wie FBX, die proprietär sind. USD ist ein Open-Source-Projekt und glTF ist ein offener Standard. Menschen können an beiden Ökosystemen teilhaben und dazu beitragen, sie weiterzuentwickeln, um ihre Kunden- und Marktanforderungen zu erfüllen. Ich denke, beide Formate werden sich parallel entwickeln. Jetzt ist es das Ziel, sie aufeinander abzustimmen und diesen effizienten Destillationsprozess zwischen den beiden zu halten.