Modèles d’interaction
Mixed Reality Toolkit vous permet de consommer des entrées provenant de diverses sources d’entrée telles que les commandes, les mains articulées ou la parole. Pour choisir le modèle d’interaction le mieux adapté à votre expérience de réalité mixte, vous devez identifier votre utilisateur et ses objectifs et prendre en compte les facteurs de situation ou d’environnement susceptibles d’avoir un impact sur son expérience. Ici, vous allez découvrir les trois principaux modèles d’interaction pour les expériences de réalité mixte et comment simuler des entrées dans Unity.
Modèles d’interaction
Il existe trois principaux modèles d’interaction qui s’adaptent à la majorité des expériences de réalité mixte.
| Modèle | Exemples de scénarios | Cible |
|---|---|---|
| Mains et contrôleurs de mouvement | Expériences spatiales 3D, telles que la configuration et la conception spatiales, la manipulation de contenu ou la simulation. | Idéal pour les nouveaux utilisateurs en liaison avec la voix, le suivi oculaire ou le suivi de la tête. Courbe d’apprentissage basse. Expérience utilisateur cohérente dans le suivi de la main et les contrôleurs 6DoF. |
| Mains libres | Expériences contextuelles où les mains d’un utilisateur sont occupées, par exemple l’apprentissage et la maintenance en situation. | Un apprentissage est requis. Si les mains ne sont pas disponibles, l’appareil s’adapte bien à la voix et au langage naturel. |
| Pointage du regard et validation | Expériences avec clic : par exemple, présentations 3D ou démonstrations. | Nécessite une formation sur les visiocasques, mais pas sur les appareils mobiles. Idéal pour les contrôleurs accessibles. |
Même si vous pouvez combiner des parties de plusieurs modèles d’interaction dans votre expérience de réalité mixte, sachez que cela crée le risque d’avoir des entrées utilisateur en conflit, telles que des rayons simultanés de la main et un curseur manipulable avec le regard ou la tête. Cela peut surcharger et embrouiller les utilisateurs.
Si votre expérience nécessite plusieurs modèles d’interaction, gardez à l’esprit que bon nombre d’utilisateurs peuvent rencontrer des difficultés en passant d’un modèle à un autre, en particulier s’ils débutent dans le domaine de la réalité mixte.
Modèle Mains et contrôleurs de mouvement
Le modèle Mains et contrôleurs de mouvement exige des utilisateurs qu’ils utilisent une ou deux mains pour interagir avec le monde holographique. Ce modèle supprime la limite entre le monde virtuel et le monde physique.
Voici quelques scénarios spécifiques :
- Fournir aux travailleurs de l’information des écrans virtuels 2D avec affordances d’UI pour afficher et contrôler le contenu
- Fournir des tutoriels pour les travailleurs de première ligne et des guides pour les lignes d’assemblage en usine
- Développer des outils professionnels pour assister et former des professionnels de la santé
- Utiliser des objets virtuels 3D pour décorer le monde réel ou créer un autre monde
- Créer des services et des jeux basés sur l’emplacement en utilisant le monde réel comme arrière-plan
Il existe trois modes dans le modèle Mains et contrôleurs de mouvement :
- Manipulation directe avec les mains
- Pointage et validation avec les mains
- Contrôleurs de mouvement
Modèle Mains libres
Le modèle Mains libres permet aux utilisateurs d’interagir avec le contenu holographique sans utiliser leurs mains. Cette approche est idéale quand l’utilisateur a besoin d’utiliser ses mains pour atteindre ses objectifs dans le monde réel et qu’il a des difficultés à interagir avec une interface basée sur des mains et des commandes.
Voici quelques scénarios spécifiques :
- Guidage pour effectuer une tâche pendant que les mains de l’utilisateur sont occupées
- Référencement de matériaux lorsque les mains de l’utilisateur sont occupées
- Fatigue de la main
- Gants qui ne peuvent pas être suivis
- Transport d’objet avec les mains
- Sentiment de gêne pour effectuer de grands mouvements de la main en société
- Espaces étroits
Il existe deux modalités dans le mode Mains libres :
- Entrée vocale
- Pointer du regard et fixer
Pointer du regard et valider
Le modèle d’entrée « Pointer du regard et valider » ressemble de près à la façon dont nous interagissons avec les ordinateurs en utilisant une souris pour pointer-cliquer. Ce modèle est considéré comme un modèle d’entrée lointaine avec manipulation indirecte. Par conséquent, il est préférable de l’utiliser lors de l’interaction avec du contenu holographique qui est hors d’atteinte. Il existe deux types de pointage du regard (avec l’œil et avec la tête) et différentes actions de validation.
Une fois que l’utilisateur a utilisé le regard pour cibler un objet ou un élément d’interface utilisateur, il peut interagir avec ou le sélectionner à l’aide d’une entrée secondaire. C’est ce que l’on appelle l’étape de validation du modèle d’entrée. Les méthodes de validation incluent des commandes vocales, une pression sur un bouton ou un mouvement de la main.
Simulation d’entrée dans l’éditeur Unity
La simulation d’entrée dans l’éditeur Unity vous permet de tester le comportement des objets holographiques lors de l’utilisation d’une interaction manuelle ou oculaire.
Comment se déplacer dans la scène :
- Utilisez les touches W/A/S/D pour déplacer la caméra vers l’avant, à gauche, vers l’arrière ou à droite.
- Utilisez les touches Q/E pour déplacer la caméra verticalement.
- Maintenez enfoncé le bouton droit de la souris pour faire pivoter la caméra.
Comment simuler une entrée manuelle :
- Maintenez enfoncée la barre d’espace pour activer la main droite.
- Tout en maintenant enfoncée la barre d’espace, déplacez votre souris pour déplacer la main.
- Utilisez la roulette de défilement de la souris pour ajuster la profondeur de la main.
- Cliquez sur le bouton gauche de la souris pour simuler un geste de pincement.
- Utilisez les touches T/Y pour rendre la main persistante dans la vue.
- Maintenez enfoncée la touche Ctrl et déplacez la souris pour faire pivoter la main.
- Maintenez enfoncée la touche Maj gauche pour activer la main gauche.