Steuern des Vision Pro AR/VR-Headsets: 6 Handgesten zum Navigieren in visionOS

Der Vision Pro verändert das Paradigma, wie Menschen in Mixed Reality mit Software navigieren und interagieren. Anstatt klobige physische Controller zu benötigen, verlässt sich das AR/VR-Headset von Apple auf ausgefeilte Eingabemechanismen, mit denen wir alle geboren sind – unsere Hände und Augen.

Treffen Sie eine Auswahl, scrollen Sie, zoomen Sie, drehen Sie, verschieben Sie Dinge und mehr, indem Sie einfach Dinge betrachten und einfache Handgesten ausführen, die an Multi-Touch auf dem iPhone erinnern.

Folgen Sie uns, um die sechs grundlegenden Handgesten kennenzulernen, die in visionOS verwendet werden, und erfahren Sie, wie Ihr Blick und Ihre Hände die Verwendung des räumlichen Computers von Apple nahtlos und mühelos machen.

Wie funktionieren die Handgesten von Vision Pro?

Handgesten in visionOS arbeiten mit Eye-Tracking zusammen. Ihre Augen geben Ziel und Absicht vor und Gesten lösen bestimmte Aktionen aus.

Die Vision Pro-Funktionen Front-, Seiten- und Bodenkameras zur Handverfolgung und Infrarotsensoren im Inneren des Headsets verfolgen Ihre Augen.

Sie schauen auf ein Element auf dem Bildschirm – beispielsweise eine Schaltfläche –, um es hervorzuheben, oder halten Ihren Blick gedrückt, um das zugrunde liegende Kontextmenü zu erweitern oder einen Tooltip anzuzeigen. Sobald Sie die Auswahl getroffen haben, führen Sie eine Geste wie das Kneifen aus, um darauf zu reagieren. Da die externen Kameras ein weites Sichtfeld abdecken, können Sie Gesten ausführen, während Sie Ihre Hand bequem auf Ihrem Schoß ablegen, um Belastungen zu vermeiden.

Apple hat in einem Artikel sechs gängige Arten von Handgesten für visionOS beschrieben WWDC23-Entwicklergespräch über die Gestaltung von Hand- und Augeninteraktionen für räumliche Eingaben. In Verbindung mit Augen zum Zielen können Sie mit diesen Handgesten Apps und Interaktionen im gesamten System steuern.

Klopfen

Durch Zusammenziehen der Finger wird die Standardaktion für das ausgewählte Element ausgeführt. Stellen Sie sich das Kneifen als Tippen auf den iPhone-Bildschirm oder als Klicken mit der Maus oder dem Trackpad Ihres Mac vor. Für einige visionOS-Funktionen, wie z. B. Lufteingabe auf der virtuellen Tastatur, ist die Tippgeste nicht erforderlich.

Doppeltippen

Drücken Sie Daumen und Zeigefinger zweimal schnell hintereinander zusammen, um das Äquivalent der Doppeltipp-Geste in Touch-First-Betriebssystemen wie iOS und iPadOS auszuführen.

Kneifen und halten

Bringen Sie Daumen und Zeigefinger zusammen und halten Sie sie einen Moment lang gedrückt, um diese Geste auszulösen. Das Zusammenziehen und Halten in visionOS funktioniert ähnlich wie das lange Drücken (Tippen und Halten). Geste auf Ihrem iPhone zum Hervorheben von Text oder zum Aufrufen des Kontextmenüs.

Bewegen Sie Ihre Finger, um Fenster und andere Elemente der Benutzeroberfläche in visionOS zu verschieben. Wenn Safari vor Ihnen liegt, können Sie auch Ihre Hand in die Luft halten und zum Scrollen einfach mit dem Finger schnippen.

Kneifen und Ziehen

Zum Scrollen wird die Pinch-and-Drag-Geste verwendet. Bringen Sie einfach Ihre Finger zusammen und bewegen Sie Ihr Handgelenk. Sie können nach oben, unten, links oder rechts scrollen, indem Sie Ihre Hand in eine beliebige Richtung ziehen.

Je schneller Sie Ihre Hand bewegen, desto schneller scrollen Sie. Sie können durch Webseiten in Safari, E-Mails in Mail, Dokumente in Pages, Tabellenkalkulationen in Excel usw. scrollen. Mit der Pinch- und Drag-Geste können Sie den Inhalt in jedem Fenster auf visionOS scrollen, das Scrollen unterstützt.

Zoomen

Um in Safari, Fotos und anderen Apps zu zoomen, drücken Sie Daumen und Zeigefinger beider Hände zusammen und bewegen Sie sie dann nach außen. Mit dieser Geste können Sie ein Fenster in visionOS weiter oder näher bringen, Bilder vergrößern und vieles mehr. In der Fotos-App können Sie einen bestimmten Teil eines Bildes betrachten, indem Sie die Zoom-Geste zum Vergrößern ausführen.

Drehen

Um einen Gegenstand zu drehen, kneifen Sie Ihre Finger mit beiden Händen zusammen und bewegen Sie dann eine Hand nach oben und die andere nach unten. Mit dieser Geste können Sie 3D-Objekte in Quick Look, Bilder in der Fotos-App, Illustrationen in Dokumenten usw. drehen.

Augen- und Handverfolgung „funktioniert einfach“ beim Vision Pro

Wie beim iPhone bietet Apple eine grundlegende Gestensprache für die Navigation in der gesamten visionOS-Benutzeroberfläche und den Augmented-Reality-Apps. Drittentwickler können die offiziellen APIs von Apple für visionOS nutzen, um Gesteneingaben zu erstellen und zu ihren Apps hinzuzufügen.

Apple empfiehlt nicht, benutzerdefinierte Gesten zu erstellen, die mit den Systemgesten kollidieren oder die nicht leicht zu verstehen, auszuführen oder zu merken sind.

Eye- und Hand-Tracking in Virtual-, Augmented- und Mixed-Reality-Anwendungen sind keine neuen Funktionen. Das Vision Pro-Headset implementiert diese Funktionen jedoch in der typischen Apple-Manier. Dadurch ist die Navigation durch visionOS mit Ihren Augen und Händen nahtlos und mühelos.