Kann Virtual Reality die Schnur durchschneiden?

Werbung

Lassen Sie uns keine Worte zerkleinern: Ich bin sichtlich erregt von Valves neues Virtual Reality Headset Valve & HTC kündigen neues VR-Headset für Weihnachten 2015 anDas neue VR-Headset von Valve ist das beste, das die Welt je gesehen hat. Hat Oculus eine Chance? Weiterlesen .

Das in Zusammenarbeit mit HTC entwickelte Vive bietet eine perfekte Verfolgung Ihres Kopfes und zweier Controller, eine komfortable Auflösung von 2160 x 1200 und ein ultrascharfes 90-Hz-OLED-Display. Es ist kommt dieses Jahr herausund es bietet interaktive VR-Erlebnisse, die ein nachhaltiges Gefühl der physischen Präsenz in der virtuellen Szene vermitteln.

Schauen Sie sich dieses Video von „The Gallery“ an, einem VR-Spiel, das auf dem Vive gespielt wird, um ein Gefühl dafür zu bekommen, wie gut das Tracking ist.

Die Herausforderung der frei beweglichen virtuellen Realität

Das Vive ist fantastisch. Wenn Sie jedoch die Testberichte der Prototyp-Headsets lesen, die hereinrinnen, werden Sie dies bemerken eine spezifische Beschwerde taucht immer wieder auf.

Venture Beat:

„Während meines Versuchs mit dem Prototyp trug ich einen Gürtel, um ein Bündel Kabel aus dem Weg zu räumen - und jetzt, wo ich darüber nachdenke, Valve muss jemanden mit mir herumlaufen lassen, um sicherzustellen, dass ich nicht über einen Durchhang stolpere, den ich beim Bewegen im Raum geschaffen habe Zimmer."

PC MAG:

"Da es sich um eine vollständig interaktive Erfahrung handelt, müssen Sie die Möbel aus der Mitte eines Raums entfernen und versuchen, nicht über das Kabel zu stolpern, das zum PC zurückführt."

Gizmodo:

"Und das ist wahrscheinlich die größte Schwachstelle bei HTC Vive. Es ist wie Die Matrix Das fühlt sich echt an, aber auch, dass Sie mit einem Kabel, das aus dem Hinterkopf kommt, an einen PC angeschlossen sind. Das schränkt gelegentlich Ihre Bewegungsfreiheit ein und ist manchmal (aber meiner Erfahrung nach nicht oft) eine Stolpergefahr. Es ist nicht ein sehr großes Problem, aber trotzdem spürbar. “

Dies liegt zum Teil daran, dass das Headset ein Prototyp mit fünf Kabeln ist (die Consumer-Version sollte nur eines haben, ein kombiniertes USB- und HDMI-Kabel, das das Headset mit dem PC verbindet). Das Problem scheint jedoch für kabelgebundene Headsets von grundlegender Bedeutung zu sein die es Ihnen ermöglichen, frei zu gehen Beobachten Sie uns beim Ausprobieren der Oculus Rift Crescent Bay auf der CES 2015Die Oculus Rift Crescent Bay ist ein brandneuer Prototyp, der einige aufregende Verbesserungen in der Virtual-Reality-Technologie zeigt. Wir probieren es auf der CES 2015 aus. Weiterlesen . Kabel sind eine Stolpergefahr und auch nur eine Art Mist. Sie verhindern, dass Sie Ihr VR-Gerät aus dem Raum nehmen, geschweige denn aus dem Haus.

Dies wird zu einem größeren Problem, wenn wir VR als grundlegende Schnittstelle für unsere Betriebssysteme verwenden.

Wir hatten lange Zeit keine PCs, bevor wir eine mobile Version der Erfahrung wollten (Laptops, Smartphones und Tablets). VR wird genauso sein, insbesondere wenn wir beginnen, Augmented-Reality-Funktionen nach dem Vorbild der zu integrieren Microsoft HoloLens 8 reale Anwendungen für Microsoft HoloLensHoloLens von Microsoft ist cool, aber wofür werden Sie es tatsächlich verwenden? Wir haben die aufregendsten Möglichkeiten. Weiterlesen .

Leider stellt sich heraus, dass das Herausziehen von VR-Headsets von PCs eine große technologische Herausforderung darstellt, die wir immer noch nicht lösen können. Es stehen jedoch zwei vielversprechende Technologien am Horizont, die zur Lösung des Problems beitragen können.

Lösung 1: PC-Streaming

Ein offensichtlicher Ansatz für das Programm besteht darin, die virtuelle Welt mit Ihrem PC zu rendern und die gerenderten Bilder dann über WLAN (wie z. B.) an das Headset zu streamen Steamlink, die Spiele von Ihrem PC auf Ihren Fernseher streamen). Das Problem bei diesem Ansatz ist die Latenz. In der virtuellen Realität möchten Sie die Verzögerung zwischen dem Bewegen und dem Anzeigen dieser Bewegung auf dem Bildschirm minimieren. Der Sweet Spot liegt im Allgemeinen unter 20 Millisekunden.

Modernes Video-Streaming kann bis zu einer Millisekunde Latenz dauern, was ein guter Anfang ist. Leider beträgt ein unkomprimierter 1440p 90-Hz-Videostream fast 8 Gigabit pro Sekunde Daten. Consumer-WLAN-Router können etwa 100 Megabit verarbeiten. Sogar die High-End-Industrierouter sind maximal etwa 800 Megabitachtmal weniger als nötig. Um dies zu beheben, müssen Sie die Bilder komprimieren, bevor Sie sie senden. Der Komprimierungs- und Dekomprimierungsprozess fügt ungefähr hinzu 80 ms der Latenz, die werden mach dich krank

Es gibt einige mögliche Lösungen für dieses Problem:

Bandbreitenverbesserungen

Ein Ansatz besteht darin, zu versuchen, die verfügbare Bandbreite zu erhöhen. 5G-Netze, die in fünf Jahren verfügbar sein sollen, können Geschwindigkeiten von etwa einem Terabit pro Sekunde ermöglichen, die futuristische 8K-HMDs ohne Komprimierung verarbeiten können. Kurzfristig Li-Fi (eine Internet-Technologie, die auf schnell pulsierenden LEDs basiert) könnte Übertragungsgeschwindigkeiten von 10 GB / s bei sehr geringen Latenzen ermöglichen Ermöglichen Sie in den nächsten Jahren drahtlose Versionen von VR-Headsets der aktuellen Generation, obwohl die Technologie den Verbrauchern nicht zur Verfügung steht noch.

Dies ist wahrscheinlich die beste Lösung für das Problem, steht den Verbrauchern jedoch mindestens ein oder zwei Jahre lang nicht zur Verfügung. Dies kann teuer sein, und die Auflösung wird wahrscheinlich bis zu den richtigen 5G-Netzwerken hinter den kabelgebundenen Headsets der höchsten Klasse zurückbleiben ankommen.

Lokales Warping

Eine komplexere Option wäre, die 80 ms Latenz zu akzeptieren und zu versuchen, sie nachträglich zu korrigieren, indem das alte Bild in die neue Kopfposition verschoben wird. Dies führt immer noch zu einer gewissen Eingangsverzögerung, jedoch nicht zu einer Übelkeit bei der Kopfbewegung.

Der Standardansatz für diese Art von Problem ist die asynchrone Zeitverzerrung, bei der Daten vom PC gesammelt und mit einem kleinen verzerrt werden GPU auf dem Headset, um das alte Bild aus einer neuen Perspektive anzuzeigen, sodass das Headset trotz der hohen Latenz flüssig aktualisiert werden kann.

Auf den ersten Blick klingt dies wie eine magische Kugel. Leider gibt es einige große Fänge. Um Michael Antonov, einen Oculus-Forscher, zu zitieren:

„Das Positions-Ruckeln ist eines der offensichtlichsten Artefakte mit Zeitverzerrung nur zur Orientierung. Wenn Sie Ihren Kopf bewegen, wird nur die zusätzliche Rotationskomponente in den ATW-generierten Bildern wiedergegeben, während jede translatorische Kopfbewegung seit dem Rendern des Rahmens ignoriert wird. Dies bedeutet, dass Sie, wenn Sie Ihren Kopf von einer Seite zur anderen bewegen oder sogar nur Ihren Kopf drehen, wodurch Ihre Augen verschoben werden, auf Objekten in Ihrer Nähe ein Ruckeln mit mehreren Bildern sehen.

[…]

Eine Möglichkeit, das Positionsruckeln anzugehen, besteht darin, eine vollständige Positionsverzerrung zu implementieren, bei der sowohl Translations- als auch Orientierungskorrekturen auf den ursprünglich gerenderten Rahmen angewendet werden. Beim Positionsverzerren muss die Tiefe des ursprünglich gerenderten Rahmens berücksichtigt werden, wodurch Teile des Bildes um unterschiedliche Beträge verschoben werden. Eine solche Verschiebung erzeugt jedoch Disokklusionsartefakte an Objektkanten, an denen Bereiche des Raums freigelegt werden, in denen sich keine Daten im Originalrahmen befinden. "

Es gibt verschiedene Techniken zum Erstellen von Daten zum Füllen der durch Positionszeitverzerrung erzeugten Löcher, aber alle hinterlassen Artefakte, und diejenigen, die die wenigsten Artefakte hinterlassen, sind die rechenintensivsten. Das Problem ähnelt dem, mit dem diese konfrontiert sind Versuch, VR-Tiefenvideo anzuzeigen VR wird das Filmemachen für immer verändern: So geht'sDie virtuelle Realität ist eine neue Art der Kommunikation mit Ihrem Betrachter, und viele Menschen mit einem Hintergrund im traditionellen Filmemachen finden die Möglichkeiten aufregend. Weiterlesen .

Um dieses Problem perfekt zu beheben, müssen Entwickler eine Möglichkeit finden, zusätzliche Daten zu übertragen, um die Lücken zu füllen. Einige mögliche Ansätze:

• Rendern Sie Fernfeld- und Nahfeldobjekte getrennt und streamen Sie beide Bilder
• Rendern Sie a Lichtfeld, die durch große Kopfversätze ohne Disokklusion neu projiziert werden können
• Entwickeln Sie äußerst ausgefeilte Kopfbewegungsmodelle und verwenden Sie Vorhersagen, um Disokklusionsfehler zu minimieren

Es ist nicht klar, welche Lösung hier die beste ist. Keiner der uns bekannten Ansätze ist perfekt, und einige erfordern mehr Forschung. Um herauszufinden, ob eine Neuprojektion eine gute Idee ist, müssen wir die Artefakte minimieren. Es ist eine vielversprechende Möglichkeit, aber es gibt viele unbeantwortete Fragen.

Lösung 2: Lokales Rendern

Eine völlig andere Strategie besteht darin, den PC zu vergessen und das Rendering lokal auf dem Headset durchzuführen. So funktionieren HoloLens von Microsoft und Gear VR von Samsung. Es ist nicht viel bekannt über die HoloLens Fünf Fragen zu Microsofts "Project HoloLens"Das neue Augmented Reality-Headset von Microsoft ist sehr aufregend - aber können sie die grundlegenden Probleme von AR lösen? Weiterlesen Die Gear VR weist jedoch eine Reihe schwerwiegender Einschränkungen auf. Die mobile GPU kann einige bescheidene VR-Erfahrungen (mit intensiver Optimierung) verarbeiten, jedoch kaum. Wärmemanagement ist ein ProblemDie Auflösung und die Bildwiederholfrequenz erreichen nicht das für die Präsenz in der Szene erforderliche Niveau, und das Headset verfügt über keine Positionsverfolgung. Ein Teil davon ist auf die Einschränkungen der Mobiltechnologie zurückzuführen und wird bald besser werden, getragen von der Flut von Moores Gesetz.

Einige dieser Probleme sind jedoch darauf zurückzuführen, dass ein Smartphone entwickelt werden muss, das nicht für VR entwickelt wurde. Wenn Sie ein mobiles VR-Headset von Grund auf neu bauen, können Sie viele Dinge anders machen. Designer könnten zwei High-End-GPUs für Mobilgeräte, einen Bildschirm mit sehr hoher Aktualisierung und einen großen Akku haben. Sie könnten auch Komponenten für eine bessere Gewichtsverteilung und ein besseres Wärmemanagement verteilen. Der resultierende Formfaktor ähnelt möglicherweise stark dem Sony Morpheus.

Wenn Ingenieure ehrgeizig werden möchten, können sie auch einen Mini-PC bauen: einen kleinen tragbaren Computerblock mit einer oder mehreren Laptop-GPUs, einem Lüfter und einem großen Akku. Dieses Gerät hätte einen ähnlichen Formfaktor wie ein Walkman und würde ein HMD über ein einziges Kabel ansteuern.

Die aktuelle NVIDIA-Flaggschiff-GPU, die GTX 980, die Oculus intern verwendet, ist nur etwa 40% schneller als sein mobiles Gegenstück, das 980M, und es ist winzig. Es ist wahrscheinlich möglich, zwei davon in eine Gürteltasche zu packen, die Platz für den Rest der Eingeweide eines kleinen mobilen PCs bietet.

Hinweis für Hardwareentwickler: Erlauben Sie der Presse unter keinen Umständen, Ihr Produkt als "Gürteltasche" zu bezeichnen.

Dieser Formfaktor wäre klobiger als ein in sich geschlossenes Headset, ganz zu schweigen von den hohen Kosten. Auf der Rückseite des Umschlags liegt ein Preis von etwa 2500 US-Dollar. Es ist möglich, dass moderne Verbraucher nicht an unhandlichen Produkten interessiert sind. Es ist jedoch die einzige Möglichkeit für ein mobiles VR-Headset, eine Leistung zu liefern, die mit der von PC VR konkurrenzfähig ist, und ich vermute, dass Hardcore-Gamer und andere uneinlösbare Geräte dies tun werden. Es gibt eine lange Geschichte von Nerds, die die Technologie anführen, indem sie bereit sind, Produkte zu tragen, die sie lächerlich machen.

Derzeit leiden mobile Headsets unter der Unfähigkeit, Positionsverfolgung bereitzustellen, was zu einem widerlichen Gefühl führt, dass die Welt an Ihrem Oberkörper hängt, wenn Sie versuchen, sich zu bewegen. Dieses Problem kann jedoch bald gelöst sein. Kurzfristig ist Valve’s Positionsverfolgungstechnologie „Leuchtturm“ ist eine großartige Lösung: Die Laserprojektoren sind dumm, was bedeutet, dass sie gekachelt werden können, um große Räume abzudecken, und viele Geräte gleichzeitig bedienen können. Infolgedessen könnte die Leuchtturmverfolgung in den nächsten Jahren zu einem kostengünstigen Dienst für Privathaushalte werden Unternehmen bieten, ähnlich wie heute WiFi, die Möglichkeit, mobile VR-Hardware in den meisten Innenräumen zu verwenden Räume.

Langfristig sollten Tiefenkameras, deren Auflösung und Rauschpegel verbessert werden, möglich sein, sie für die Positionsverfolgung mit ausreichender Präzision zu verwenden, um ein Gefühl der VR-Präsenz zu vermitteln. Dies ermöglicht in sich geschlossene VR-Produkte, die für den Einsatz im Freien und für Augmented Reality geeignet sind.

Die Zukunft der mobilen VR

Mobile Headsets sind auf lange Sicht das Ziel der VR-Technologie.

Wir können das Gesetz von Moore berechnen, indem wir herausfinden, wie viele Verdopplungen wir nicht in der Lage sind, fotorealistische virtuelle Welten auf Mobilgeräten zu rendern. High-End-PCs sind möglicherweise fünf Verdopplungen (eine weitere Konsolengeneration) davon entfernt, fotorealistische Spielerlebnisse mit 1080p zu liefern. Für VR benötigen wir eine Verdoppelung für 3D und drei weitere für das Rendern mit 8 KB pro Auge, um Unschärfe und den Bildschirmtüreffekt zu beseitigen. Um die mobile Plattform zu berücksichtigen, benötigen wir etwa vier weitere Verdopplungen, um High-End-PCs zu erreichen.

Wenn Sie alle Verdopplungen addieren und mit den nach Moores Gesetz vorgeschriebenen achtzehn Monaten multiplizieren, erhalten Sie ungefähr zwanzig Jahre (2035) Punkt, an dem niemand den Unterschied zwischen einer auf einem Smartphone und einer auf einem High-End-Gaming-PC gerenderten VR-Szene erkennen kann. Zu diesem Zeitpunkt gibt es keinen Grund mehr, jemals wieder ein PC-gesteuertes Headset zu verwenden.

Ich vermute, dass wir bis zu diesem Tag für eine Weile sowohl kabelgebundene als auch kabellose VR-PC-gesteuerte VR-Headsets sehen werden. Drahtlose Headsets sind bequemer, aber kabelgebundene Headsets bieten eine bessere Auflösung - zumindest bis 5G-Netzwerke ausgereift sind.

Auf der anderen Seite der Kluft werden sich mobile Headsets weiter verbessern und dem PC Marktanteile abnehmen, wenn wir weit abrutschen genug in der Kurve sinkender Renditen, mit immer mehr Menschen, die bereit sind, ein bescheidenes Maß an Treue dafür zu opfern Flexibilität. Der Wettbewerb wird hart und hoffentlich gut für den Verbraucher sein. Persönlich kann ich es kaum erwarten.

Aufgeregt für drahtlose Headsets? Kennen Sie eine Technologie, die wir verpasst haben? Lass es uns in den Kommentaren wissen!

Bildnachweis: Barone Firenze Über Shutterstock, "Recording Isan’s ...", von Edvvc, "Phubby, “Von Kevin Lin,„ HTC VR “, von HTC,„Steam Link, "Von Valve,"Moores Gesetz, ”Von Wikimedia