Fünf Fragen zu Microsofts "Project HoloLens"

Werbung

Am Mittwochmorgen zeigte Microsoft ein Projekt, an dem sie seit sieben Jahren arbeiten, ein Augmented-Reality-Headset namens Projekt HoloLens.

Die Vision ist ehrgeizig: Sie wollen die Art und Weise, wie Menschen mit Computern interagieren, grundlegend verändern Bauen Sie eine Brille, die virtuelle und reale Inhalte im physischen Raum von fließend miteinander mischen kann der Benutzer. Das ist wie Virtual-Reality-Technologie Warum Virtual Reality-Technologie Sie in 5 Jahren umhauen wirdDie Zukunft der virtuellen Realität umfasst Kopf-, Augen- und Ausdrucksverfolgung, simulierte Berührung und vieles mehr. Diese erstaunlichen Technologien werden Ihnen in 5 Jahren oder weniger zur Verfügung stehen. Weiterlesen , aber grundlegend mächtiger. Darüber hinaus möchten sie die gesamte Verarbeitung lokal auf der Brille durchführen - kein Computer, kein Telefon, keine Kabel. Sie starten sogar eine spezielle Version von Windows nur für die neue Hardware. Dies ist die nächste Stufe der technologischen Entwicklung für alle

AR-Spiele Augmented Reality Apps: Nützlich oder einfach nur Hype? MakeUseOf-TestsIm Jahr 2011 prognostizierten Analysten den Aufstieg der mobilen Augmented Reality-Apps. Die aufkommende Technologie würde die Art und Weise, wie wir mit unseren Mobilgeräten interagieren, revolutionieren. Flash vorwärts zwei Jahre und Dutzende von AR-Apps bevölkern alle ... Weiterlesen Sie haben das einmal auf Ihrem Telefon installiert und seitdem nicht mehr berührt.

Ihr Zeitrahmen ist noch ehrgeiziger als ihre Ziele: Sie möchten Entwickler-Kits in diesem Frühjahr und das Verbraucherprodukt „während des Windows 10-Zeitrahmens“ ausliefern. Hier ist die Tonhöhe.

Das klingt alles großartig, aber ich gebe zu, dass ich ziemlich skeptisch bin.

Die Technologien, die Microsoft verwendet, haben ernsthafte, grundlegende Herausforderungen, und Microsoft war bisher sehr gespannt, wie (oder ob) sie diese gelöst haben. Wenn sie sie nicht gelöst haben, ist ihr Ziel, innerhalb eines Jahres zu versenden, sehr besorgniserregend. Das Letzte, was VR und AR brauchen, ist eine große Firma, die ein weiteres halbgebackenes Produkt wie den Kinect liefert. Erinnere dich an die Projekt Natal Demo ab 2009?

Hier sind ohne weiteres die fünf wichtigsten Dinge, die ich über die HoloLens wissen möchte.

Ist dies eine Lichtfeldanzeige?

Um dies zu verstehen, müssen wir uns etwas eingehender mit 3D befassen und wie es funktioniert. Um das Gefühl einer realen, greifbaren 3D-Welt zu bekommen, integrieren unsere Gehirne viele verschiedene Arten von Informationen. Wir erhalten auf drei Arten tiefgreifende Hinweise auf die Welt:

• Stereotiefe - die Ungleichheit zwischen dem, was unsere beiden Augen sehen. So funktionieren 3D-Filme
• Bewegungsparallaxe - subtile Bewegungen unseres Kopfes und Rumpfes geben uns zusätzliche Tiefenmarkierungen für weiter entfernte Objekte
• Optischer Fokus - Wenn wir uns auf etwas konzentrieren, verformen sich die Linsen unserer Augen physisch, bis sie scharf werden. Nahfeldobjekte erfordern eine stärkere Linsenverzerrung, die Tiefeninformationen über das liefert, was wir betrachten

Der optische Fokus lässt sich leicht selbst überprüfen: Schließen Sie ein Auge und halten Sie Ihren Daumen vor eine Wand quer durch den Raum. Verschieben Sie dann Ihren Fokus von Ihrem Miniaturbild auf die Oberfläche dahinter. Wenn Sie über Ihren Daumen hinausblicken, wird Ihr Daumen unscharf, da die Linse Ihres Auges jetzt weniger deformiert ist und das von ihm kommende Licht nicht richtig sammeln kann.

VR-Headsets wie das Oculus Rift liefern die ersten beiden Cues äußerst genau, aber nicht die letzten, was überraschend funktioniert Nun: Unsere Augen entspannen sich standardmäßig vollständig, da die Optik die Bilder fokussiert, als ob sie durch das Licht von unendlich weit kommen würden Weg. Das Fehlen des optischen Fokus-Hinweises ist unrealistisch, lenkt jedoch normalerweise nicht ab. Sie können noch haben sehr coole Spielerlebnisse 5 Oculus Rift Gaming-Erlebnisse, die Sie umhauen werdenNachdem die zweite Generation des Oculus Rift-Entwicklungskits herausgekommen ist und in den Händen von Entwicklern auf der ganzen Welt liegt, schauen wir uns einige der besten Dinge an, die den Rift bisher getroffen haben. Weiterlesen ohne es.

In Augmented Reality ist das Problem anders, da Sie Licht von realen und virtuellen Objekten mischen müssen. Das Licht aus der realen Welt wird natürlich in verschiedenen Tiefen fokussiert. Der virtuelle Inhalt wird jedoch alle auf einen festen, künstlichen Abstand fokussiert, der von der Optik vorgegeben wird - wahrscheinlich auf unendlich. Virtuelle Objekte sehen nicht so aus, als wären sie wirklich Teil der Szene. Sie sind unscharf, wenn Sie reale Dinge in derselben Tiefe betrachten und umgekehrt. Es ist nicht möglich, Ihr Auge flüssig über die Szene zu bewegen, während Sie es scharf halten, wie Sie es normalerweise tun. Die widersprüchlichen Tiefenstichwörter werden bestenfalls verwirrend und im schlimmsten Fall widerlich sein.

Um dies zu beheben, benötigen Sie eine sogenannte Lichtfeldanzeige. Lichtfeldanzeigen sind Anzeigen, die eine Reihe winziger Linsen verwenden, um gleichzeitig in vielen Tiefen fokussiertes Licht anzuzeigen. Dies ermöglicht es dem Benutzer, sich auf natürliche Weise auf das Display zu konzentrieren und (für Augmented Reality) das oben beschriebene Problem zu lösen.

Es gibt jedoch ein Problem: Lichtfeldanzeigen bilden im Wesentlichen einen einzelnen 2D-Bildschirm auf ein dreidimensionales Lichtfeld ab, was bedeutet, dass jede „Tiefe Pixel “, das der Benutzer wahrnimmt (und das in einer bestimmten Brennweite in der Szene vorhanden ist), besteht tatsächlich aus Licht von vielen Pixeln auf dem Original Anzeige. Je feinkörniger die Tiefe ist, die Sie darstellen möchten, desto mehr Auflösung müssen Sie aufgeben.

Im Allgemeinen haben Lichtfelder ungefähr eine achtfach Verringerung der Auflösung, um eine ausreichende Tiefengenauigkeit zu erzielen. Die besten verfügbaren Mikrodisplays haben eine Auflösung von ca. 1080p. Unter der Annahme, dass ein High-End-Mikrodisplay jedes Auge antreibt, würde die tatsächliche Auflösung des Microsoft-Headsets nur etwa 500 x 500 Pixel pro Auge betragen, sogar weniger als beim Oculus Rift DK1. Wenn die Anzeige ein hohes Sichtfeld hat, sind virtuelle Objekte unverständliche Pixelkleckse. Wenn dies nicht der Fall ist, leidet das Eintauchen proportional. Wir können nie wirklich durch die Linse sehen (nur Computer-Nachbildungen dessen, was der Benutzer sieht), daher haben wir keine Ahnung, wie die Benutzererfahrung wirklich ist.

Möglicherweise hat Microsoft eine neuartige Lösung für dieses Problem gefunden, um die Verwendung einer Lichtfeldanzeige ohne Kompromiss zwischen Auflösung und Auflösung zu ermöglichen. Microsoft war jedoch äußerst käfig in Bezug auf die Anzeigetechnologie, was mich vermuten lässt, dass dies nicht der Fall ist. Hier ist die beste Erklärung, die wir bisher erhalten haben (von der VERDRAHTET Demo).

Um die Bilder von Project HoloLens zu erstellen, werden Lichtpartikel in der sogenannten Light Engine des Geräts millionenfach reflektiert. Dann treten die Photonen in die beiden Linsen der Brille ein, wo sie zwischen Schichten aus blauem, grünem und rotem Glas abprallen, bevor sie den Augenhintergrund erreichen.

Diese Art der Beschreibung der Technologie könnte praktisch alles bedeuten (obwohl die Hardware aus Gründen der Fairness gegenüber Microsoft WIRED beeindruckt hat, obwohl der Artikel nur wenige Details enthielt).

Wir werden nicht sicher mehr wissen, bis Microsoft wahrscheinlich in Monaten mit der Veröffentlichung technischer Spezifikationen beginnt. Ist es wirklich notwendig, das Projekt in so viel Marketing-Sprache zu ertränken? Der dedizierte Prozessor, den sie für die Kopfverfolgung verwenden, wird als "holographischer Prozessor" bezeichnet, und die Bilder werden ohne besonderen Grund als "Hologramme" bezeichnet. Das Produkt ist grundsätzlich so cool, dass es wirklich nicht notwendig ist, es so zu vergolden.

Ist das Tracking gut genug?

Auf dem Project HoloLens-Headset ist eine Kamera mit hoher Sichtweite (wie beim Kinect) montiert, mit der ermittelt wird, wo sich das befindet Das Headset befindet sich im Weltraum (indem versucht wird, das Tiefenbild, das es sieht, mit dem Modell der Welt in Einklang zu bringen, das aus der Tiefe der Vergangenheit zusammengesetzt wurde Bilder). Hier ist ihre Live-Demo des Headsets in Aktion.

Das Tracking ist beeindruckend, wenn man bedenkt, dass es keine Marker oder andere Cheats verwendet, sondern auch in diesem Video (unter stark kontrollierte Bedingungen), können Sie ein gewisses Maß an Wackeln sehen: Die Verfolgung ist nicht vollständig stabil. Das ist zu erwarten: Diese Art der Inside-Out-Verfolgung ist äußerst schwierig.

Die große Lehre aus dem verschiedene Oculus Rift Prototypen Beobachten Sie uns beim Ausprobieren der Oculus Rift Crescent Bay auf der CES 2015Die Oculus Rift Crescent Bay ist ein brandneuer Prototyp, der einige aufregende Verbesserungen in der Virtual-Reality-Technologie zeigt. Wir probieren es auf der CES 2015 aus. Weiterlesen ist, dass die Genauigkeit der Verfolgung sehr wichtig ist. Jittery Tracking ist nur ärgerlich, wenn es sich um einige Objekte in einer weitgehend stabilen realen Welt handelt, aber in Szenen wie der Mars-Demo, die sie in ihrem Konzept gezeigt haben Bei Videos, bei denen fast alles, was Sie sehen, virtuell ist, kann eine ungenaue Verfolgung zu einem Mangel an „Präsenz“ in der virtuellen Szene oder sogar im Simulator führen Krankheit. Kann Microsoft das Tracking bis zum Versanddatum Ende dieses Jahres auf den von Oculus festgelegten Standard (Tracking-Genauigkeit im Submillimeterbereich und eine Gesamtlatenz von weniger als 20 ms) bringen?

Hier ist Michael Abrash, ein VR-Forscher, der sowohl für Valve als auch für Oculus gearbeitet hat. über das Problem sprechen

[Da sich die Erzeugung virtueller Bilder immer verzögert, […] ist es sehr schwierig, virtuelle und reale Bilder so genau zu registrieren, dass das Auge sie nicht bemerkt. Angenommen, Sie haben eine echte Cola-Dose, die Sie in eine AR-Pepsi-Dose verwandeln möchten, indem Sie ein Pepsi-Logo über das Cola-Logo zeichnen. Wenn das Neuzeichnen des Pepsi-Logos Dutzende von Millisekunden dauert, ist dies jedes Mal der Fall, wenn Sie Ihren Kopf drehen Das Pepsi-Logo scheint sich relativ zur Dose um einige Grad zu verschieben, und ein Teil des Coke-Logos wird sichtbar. Dann rastet das Pepsi-Logo an der richtigen Stelle ein, wenn Sie aufhören, sich zu bewegen. Dies ist eindeutig nicht gut genug für harte AR

Kann das Display schwarz zeichnen?

Ein weiteres Problem neben der Fokustiefe und der Verfolgung betrifft das Zeichnen dunkler Farben. Das Hinzufügen von mehr Licht zu einer Szene ist mit Strahlteilern relativ einfach. Licht auszuschalten ist viel schwieriger. Wie verdunkelt man selektiv Teile der realen Welt? Wenn Sie einen selektiv transparenten LCD-Bildschirm aufstellen, wird dieser nicht abgeschnitten, da er nicht immer im richtigen Fokus sein kann, um das zu blockieren, was Sie gerade sehen. Die optischen Tools zur Lösung dieses Problems existieren einfach nicht, es sei denn, Microsoft hat sie heimlich erfunden.

Dies ist wichtig, da das Headset für viele Anwendungen, die Microsoft vorführt (z. B. Netflix an der Wand), wirklich benötigt wird Die Möglichkeit, das von der Wand kommende Licht zu entfernen. Andernfalls wird Ihrem Film immer ein sichtbares Stuckmuster überlagert Für Bilder ist es unmöglich, reale Objekte in der Szene auszublenden, sodass die Verwendung des Headsets stark von der Umgebungsbeleuchtung abhängt Bedingungen. Zurück zu Michael Abrash:

[S] Bisher ist in der AR-Branche oder in der Literatur nichts dergleichen aufgetaucht, und es sei denn und bis dies der Fall ist, kann eine harte AR im SF-Sinne, den wir alle kennen und lieben, nur in der Dunkelheit stattfinden.

Das bedeutet nicht, dass AR vom Tisch ist, nur für eine Weile, aber es wird ein weiches AR sein, basierend auf additiver Mischung […]. Denken Sie auch hier durchscheinend wie "Ghostbusters". Virtuelle Bilder mit hoher Intensität ohne dunkle Bereiche funktionieren ebenfalls, insbesondere mithilfe regionaler oder globaler Verdunkelung - sie sehen einfach nicht wie ein Teil des Realen aus Welt.

Was ist mit Okklusion?

"Okklusion" ist der Begriff für das, was passiert, wenn ein Objekt vor einem anderen vorbeigeht und Sie daran hindert, zu sehen, was dahinter steckt. Damit sich virtuelle Landschaften wie ein greifbarer Teil der Welt anfühlen, ist es wichtig, dass reale Objekte virtuell verschließen Objekte: Wenn Sie Ihre Hand vor ein virtuelles Bild halten, sollten Sie es nicht durch Ihr Bild sehen können Hand. Aufgrund der Verwendung einer Tiefenkamera am Headset ist dies tatsächlich möglich. Aber schauen Sie sich die Live-Demo noch einmal an:

Im Großen und Ganzen steuern sie die Kamerawinkel sorgfältig, um zu vermeiden, dass reale Objekte vor virtuellen vorbeikommen. Wenn der Demonstrator jedoch mit dem Windows-Menü interagiert, können Sie sehen, dass seine Hand es überhaupt nicht verdeckt. Wenn dies außerhalb der Reichweite ihrer Technologie liegt, ist dies ein sehr schlechtes Zeichen für die Lebensfähigkeit ihres Verbraucherprodukts.

Apropos Benutzeroberfläche ...

Ist das wirklich die endgültige Benutzeroberfläche?

Die Benutzeroberfläche, die Microsoft in ihren Demo-Videos gezeigt hat, scheint mit einer Kombination aus Blick und Hand zu funktionieren Tracking, um einen Cursor in der virtuellen Szene zu steuern, während Sprachsteuerungen zur Auswahl zwischen verschiedenen verwendet werden Optionen. Dies hat zwei Hauptnachteile: Es lässt Sie wie das kleine Kind im Shining aussehen, das mit seinem Finger spricht, aber was noch wichtiger ist, es repräsentiert auch ein grundlegend fehlerhaftes Designparadigma.

In der Vergangenheit waren die besten Benutzeroberflächen diejenigen, die physische Intuitionen über die Welt in die virtuelle Welt bringen. Die Maus brachte Klicken, Ziehen und Fenster. Die Touch-Oberfläche brachte das Wischen zum Scrollen und das Drücken zum Zoomen. Beide waren entscheidend, um Computer für die allgemeine Bevölkerung zugänglicher und nützlicher zu machen - weil sie grundlegend intuitiver waren als zuvor.

VR und AR geben Ihnen als Designer viel mehr Freiheit: Sie können UI-Elemente überall in einem 3D-Raum platzieren und die Benutzer auf natürliche Weise mit ihnen interagieren lassen, als wären sie physische Objekte. Eine Vielzahl offensichtlicher Metaphern bietet sich an. Berühren Sie ein virtuelles UI-Element, um es auszuwählen. Drücken Sie darauf, heben Sie es auf und bewegen Sie es. Schieben Sie es aus dem Weg, um es vorübergehend aufzubewahren. Zerquetsche es, um es zu löschen. Sie können sich vorstellen, eine Benutzeroberfläche zu erstellen, die so intuitiv ist, dass keine Erklärung erforderlich ist. Etwas, das Ihre Großmutter sofort aufgreifen kann, weil es auf einer Grundlage grundlegender physischer Intuitionen aufgebaut ist, die jeder im Laufe seines Lebens im Umgang mit der Welt aufbaut. Nehmen Sie sich eine Minute Zeit und hören Sie zu, wie diese kluge Person beschreibt, was immersive Schnittstellen sein können.

Mit anderen Worten, es scheint (für mich) offensichtlich, dass eine immersive Benutzeroberfläche sein sollte mindestens So intuitiv wie die vom iPhone entwickelten Touch-Interfaces für 2D-Multitouch-Bildschirme. Das Erstellen einer Schnittstelle zum Manipulieren einer VR- „Maus“ ist ein Rückschritt und enthüllt entweder tiefgreifende technologische Aspekte Mängel in der Handverfolgungstechnologie oder ein grundlegendes Missverständnis dessen, was an dieser neuen Technologie interessant ist Mittel. In jedem Fall ist es ein sehr schlechtes Zeichen dafür, dass dieses Produkt mehr als ein kolossaler Flop im Kinect-Maßstab ist.

Hoffentlich hat Microsoft Zeit, Feedback dazu zu erhalten und bessere Arbeit zu leisten. Hier ist als Beispiel eine Benutzeroberfläche, die von einem Hobbyisten für die Oculus Rift DK2 und die Leap Motion entwickelt wurde. Eine immersive Benutzeroberfläche, die von einem großen Unternehmen entworfen wurde, sollte mindestens so gut sein.

Ein Zeichen der Zukunft

Insgesamt bin ich äußerst skeptisch gegenüber dem HoloLens-Projekt insgesamt. Ich bin sehr froh, dass ein Unternehmen mit Microsoft-Ressourcen dieses Problem untersucht, aber ich bin besorgt, dass dies der Fall ist versuchen, ein Produkt herauszubringen, ohne einige kritische technische Probleme zu lösen oder eine gute Benutzeroberfläche zu finden Paradigma. Die HoloLens ist ein Zeichen der Zukunft, aber das bedeutet nicht, dass das Produkt selbst den Verbrauchern eine gute Erfahrung bieten wird.

Bildnachweis: Mit freundlicher Genehmigung von Microsoft