Entrées avancées dans l’émulateur HoloLens et le simulateur de réalité mixte
La plupart des utilisateurs de l’émulateur devront uniquement utiliser les contrôles d’entrée de base pour l’émulateur HoloLens ou le simulateur Windows Mixed Reality. Les détails ci-dessous concernent les utilisateurs avancés qui ont trouvé besoin de simuler des types d’entrée plus complexes.
Concepts
Pour commencer à contrôler l’entrée virtuelle dans l’émulateur HoloLens et le simulateur Windows Mixed Reality, vous devez d’abord comprendre quelques concepts.
Le mouvement fait référence au contrôle et au changement de la position et de l’orientation d’un élément dans la scène. Pour un objet contrôlable ciblé, le mouvement est contrôlé par la rotation et la translation (mouvement) le long de trois axes.
- Lacet : Tourner à gauche ou à droite.
- Pitch: Monter ou descendre.
- Rouleau : rouler côte à côte.
- X : déplacer vers la gauche ou la droite.
- Y : Monter ou descendre.
- Z : Avancer ou reculer.
Les entrées du contrôleur de mouvement et de mouvement sont étroitement mappées aux appareils physiques :
- Action : simule l’action d’appuyer sur l’indexeur sur le pouce ou d’appuyer sur le bouton d’action d’un contrôleur. Par exemple, l’entrée Action peut être utilisée pour simuler le mouvement d’appui aérien, pour faire défiler le contenu et pour appuyer longuement.
- Mouvement Bloom/System ou Accueil : le mouvement HoloLens bloom/system ou le bouton Accueil d’un contrôleur est utilisé pour revenir à l’interpréteur de commandes et déclencher des actions système.
Les mains ont une représentation riche dans HoloLens 2. En plus d’être suivies/non suivies et utilisables pour les mouvements de conduite, les mains ont maintenant un modèle de squelette articulé qui leur est adapté et exposé au développeur. Le modèle squelette a 26 points suivis sur chaque main.
- Jointure : une des 20 positions suivies pour une main suivie donnée avec un point associé dans l’espace 3D.
- Pose: Une collection complète de tous les joints dans une main suivie, 26 joints en tout.
Nous n’exposons pas actuellement le contrôle direct des positions de jointure individuelles via l’émulateur, mais vous pouvez les définir via l’API de simulation. Nous avons un ensemble de poses représentatives utiles que l’émulateur vous permet de basculer entre.
Vous pouvez également contrôler l’état de l’entrée du capteur simulé :
- Réinitialiser : retourne tous les capteurs simulés à leurs valeurs par défaut. À compter de l’émulateur HoloLens 2, une réinitialisation peut être limitée à une ou aux deux mains. Engagez la ou les mains souhaitées à l’aide de la ou des touches de modification ou des boutons (Alt gauche et/ou droite, ou du pare-chocs gauche et/ou droit sur le boîtier de commande).
- Suivi : effectue un cycle dans les modes de suivi positionnel, notamment :
- Par défaut : le système d’exploitation choisit le meilleur mode de suivi en fonction des demandes effectuées sur le système.
- Orientation : force le suivi de l’orientation uniquement, quelles que soient les demandes du système.
- Positionnel : force le suivi positionnel, quelles que soient les demandes du système.
Types d’entrée
Le tableau suivant montre comment chaque type d’entrée est mappé au clavier, à la souris et à la manette Xbox. Chaque type a un mappage différent en fonction du mode de contrôle d’entrée. Vous trouverez plus d’informations sur les modes de contrôle d’entrée plus loin dans ce document.
| Entrée | Clavier | Souris | Manette Xbox |
|---|---|---|---|
| Lacet | Flèches gauche/droite | Faire glisser vers la gauche/ la droite | Main droite gauche / droite |
| Inclinaison | Flèches haut/bas | Faire glisser vers le haut/vers le bas | Main droite vers le haut / bas |
| Rouleau | Q/E | DPad gauche /droite | |
| X | A / D | Main gauche gauche / droite | |
| O | Page vers le haut / page vers le bas | DPad up/down | |
| Z | W / S | Main gauche haut /bas | |
| Action | Entrée ou espace | Bouton droit | Un bouton ou un déclencheur |
| Bloom/System | Touche F2 ou Windows | Bouton B | |
| Bouton poignée du contrôleur / Poignée manuelle | G | ||
| Bouton de menu contrôleur | M | ||
| Contrôleur tactile tactile | U | ||
| Appuyez sur le pavé tactile du contrôleur | P | ||
| Manette d’appui | K | ||
| État de suivi du contrôleur gauche | F9 | ||
| État de suivi du contrôleur droit | F10 | ||
| Main 'Close' Pose | 7 | ||
| Pose 'Ouvrir' main (par défaut) | 8 | ||
| Main 'point' Pose | 9 | ||
| Main 'Pinch' Pose | 0 | ||
| Réinitialiser | Clé d’échappement | Bouton Démarrer | |
| Suivi | T ou F3 | Bouton X |
Remarque : Les boutons du contrôleur peuvent être ciblés sur une main/contrôleur ou sur l’autre à l’aide des modificateurs ciblant la main.
Ciblage
Certains des concepts d’entrée ci-dessus sont autonomes. Action, Bloom/System, Reset et Tracking sont des concepts complets, qui n’ont pas besoin et ne sont pas affectés par, des modificateurs supplémentaires pour le ciblage. Les autres concepts peuvent être appliqués à l’une des cibles multiples. Nous avons introduit des méthodes permettant de spécifier la cible à laquelle votre commande doit être appliquée. Dans tous les cas, il est possible de spécifier via l’interface utilisateur ou par le biais d’appuis au clavier, l’objet à cibler. Dans certains cas, il est également possible de spécifier directement avec la manette xbox.
Le tableau suivant décrit les options de ciblage et la façon d’activer chacune d’elles.
| Object | Modificateur de clavier | Modificateur de contrôleur | Modificateur de l’interface utilisateur de l’émulateur |
|---|---|---|---|
| Corps | (par défaut) | (par défaut) | (par défaut) |
| Head | Maintenir H | (Non disponible) | (Non disponible) |
| Main gauche/contrôleur | Bouton Maintenez la touche Alt gauche enfoncée | Maintenez l’épaule gauche enfoncée | Left-Hand épingle |
| Main droite/contrôleur | Bouton Alt enfoncé vers la droite | Maintenez l’épaule droite enfoncée | Right-Hand épingle |
| Yeux | Maintenez Y enfoncé | (Non disponible) | Yeux Pushpin |
Le tableau suivant montre comment chaque modificateur cible mappe chacun des concepts d’entrée de mouvement de base
| Entrée | Valeur par défaut (corps) | Main/manette (Maintenez la touche Alt enfoncée, maintenez le bouton d’épaule du boîtier de commande ou basculez l’interface utilisateur) | Tête (tenir H) | Yeux (Maintenez Y ou basculez la broche de l’interface utilisateur) |
|---|---|---|---|---|
| Lacet | Tourner le corps vers la gauche/ la droite | Déplacer la main vers la gauche/ la droite | Tourner la tête vers la gauche/ la droite | Regard regard de gauche/droite |
| Inclinaison | Tourner la tête vers le haut/bas | Déplacer la main vers le haut/le bas | Tourner la tête haut/bas | Le regard regarde vers le haut/vers le bas |
| Rouleau | Rouler la tête gauche/droite | Rouler la tête gauche/droite | (Aucune action) | |
| X | Corps de la diapositive gauche/droite | Déplacer la main/le contrôleur vers la gauche/la droite | Tourner la tête vers la gauche/ la droite | (Aucune action) |
| O | Déplacer le corps vers le haut/vers le bas | Déplacer la main/le contrôleur vers le haut/vers le bas | Tourner la tête vers le haut/bas | (Aucune action) |
| Z | Déplacer le corps vers l’avant/vers l’arrière | Déplacer la main/le contrôleur vers l’avant/l’arrière | Tourner la tête vers le haut/bas | (Aucune action) |
Contrôle d’une application
L’ensemble de contrôles suivant est suggéré pour une utilisation quotidienne :
| Opération | Clavier et souris | Contrôleur |
|---|---|---|
| Corps X | A / D | Touche gauche gauche/droite |
| Corps Y | Page haut / page vers le bas | DPad haut/bas |
| Corps Z | W / S | Baguette gauche haut/bas |
| Lacet de corps | Faire glisser la souris vers la gauche/droite | Bâton droit gauche/droite |
| Lacet de tête | H + faire glisser la souris vers la gauche/la droite | H (clavier) + bouton droit gauche/droite |
| Pitch de la tête | Faire glisser la souris vers le haut/vers le bas | Bâton droit haut/bas |
| Rouleau de tête | Q/E | DPad gauche/droite |
| Main/Contrôleur X | Alt + A / D | Épaule + pouce gauche gauche / droite |
| Main/Contrôleur Y | Alt + Page haut / page bas | Épaule + DPad haut/bas |
| Main/Contrôleur Z | Alt + W / S | Épaule + main gauche haut / bas |
| Main/Lacet du contrôleur | Alt + faire glisser la souris vers la gauche/droite | Épaule + main droite gauche / droite |
| Main/Hauteur du contrôleur | Alt + faire glisser la souris vers le haut /vers le bas | Épaule + main droite haut / bas |
| Main/Rouleau de contrôleur | Alt + Q / E | Épaule + DPad gauche / droite |
| Action | Bouton droit de la souris | Déclencheur |
| Bloom / System / Home | Touche F2 ou Windows | Bouton B |
| Réinitialiser | Caractère d'échappement | Bouton Démarrer |
| Suivi | T | Bouton X |
| Défilement | Alt + bouton droit de la souris + faire glisser la souris vers le haut / vers le bas | Épaule + déclencheur + main droite haut / bas |
| Déplacer/faire pivoter plus rapidement | Touche Maj gauche ou droite | Appuyez longuement sur la touche droite |
| Déplacer/faire pivoter lentement | Touche Ctrl gauche ou droite | Appuyez longuement sur la touche gauche |
Utilisation d’un casque immersif et de contrôleurs de mouvement Windows Mixed Reality avec l’émulateur HoloLens 2
Lors de l’utilisation d’un casque immersif Windows Mixed Reality avec l’émulateur HoloLens 2, le mouvement et la rotation sont automatiquement mappés au mouvement et à la rotation du casque. La position et l’orientation du contrôleur de mouvement sont automatiquement mappées à la position et à l’orientation de la main dans l’émulateur. Le tableau ci-dessous répertorie les actions supplémentaires disponibles lors de l’utilisation d’un contrôleur de mouvement.
Notes
Lors de l’utilisation d’un casque, les contrôles standard du clavier, de la souris et du boîtier de commande sont automatiquement ignorés.
| Opération | Action | Notes |
|---|---|---|
| Corps X | Touche numérique gauche/droite | |
| Corps Z | Manette avant/arrière | |
| Corps Y | Clavier Page haut/bas | Vérifiez que Windows Mixed Reality a le focus. Appuyez sur Win+Y si le focus est sur le Bureau Windows pour revenir au focus sur Windows Mixed Reality. |
| Les yeux regardent vers la gauche/ la droite | DPad gauche / droite | |
| Les yeux regardent vers le haut / vers le bas | DPad haut/bas | |
| Taper | Déclencheur | |
| Pincer/saisir | Bouton Poignée | |
| Mouvement système | Bouton Menu | |
| Réinitialiser la position | Clic sur la manette |
Simulation de perception Panneau de configuration raccourcis clavier
Vous pouvez accéder au panneau de configuration Simulation de perception et activer ou désactiver les périphériques d’entrée de PC avec les raccourcis clavier suivants.
| Opération | Raccourci | Description/Notes |
|---|---|---|
| Activer/désactiver « Utiliser le clavier pour la simulation » | F4 | Quand elle est désactivée, l’entrée au clavier est envoyée à l’application HoloLens ou Windows Mixed Reality. |
| Activer/désactiver « Utiliser la souris pour la simulation » | F5 | Lorsqu’elle est désactivée, l’entrée de la souris accède à l’environnement Mixed Reality (Windows Mixed Reality uniquement) |
| Bascule « Utiliser le boîtier de commande pour la simulation » | F6 | Lorsqu’elle est désactivée, l’entrée du boîtier de commande est ignorée par la simulation |
| Afficher ou masquer le panneau de configuration | F7 | |
| Définir le focus clavier sur le panneau de configuration | F8 | Si le panneau n’est actuellement pas visible, il s’affiche en premier. |
| Ancrer ou détacher le panneau vers/depuis l’émulateur ou Mixed Reality fenêtre du portail | F9 | Si la fenêtre est fermée lorsqu’elle est dédockée, elle est ancrée et masquée. |