Cadre holographique
Les utilisateurs voient le monde de la réalité mixte par le biais d’une fenêtre d’affichage rectangulaire alimentée par leur casque. Sur l’HoloLens, cette zone rectangulaire est appelée cadre holographique et permet aux utilisateurs de voir le contenu numérique superposé sur le monde réel qui les entoure. La conception d’expériences optimisées pour le frame holographique crée des opportunités, atténue les défis et améliore l’expérience utilisateur des applications de réalité mixte.
Conception de contenu
Souvent, les concepteurs ressentent le besoin de limiter l’étendue de leur expérience à ce que l’utilisateur peut voir immédiatement, en sacrifiant l’échelle réelle pour s’assurer que l’utilisateur voit un objet dans son intégralité. De même, les concepteurs avec des applications complexes surchargent souvent le cadre holographique avec du contenu, submergeant les utilisateurs avec des interactions difficiles et des interfaces encombrées. Les concepteurs qui créent du contenu de réalité mixte n’ont pas besoin de limiter l’expérience directement devant l’utilisateur et dans son affichage immédiat. Si le monde physique autour de l’utilisateur est mappé, toutes ces surfaces doivent être considérées comme un canevas potentiel pour le contenu et les interactions numériques. Une conception appropriée des interactions et du contenu au sein d’une expérience doit encourager l’utilisateur à se déplacer dans son espace, en orientant son attention vers le contenu clé et en aidant à voir le plein potentiel de la réalité mixte.
La technique la plus importante pour encourager le déplacement et l’exploration au sein d’une application est peut-être de permettre aux utilisateurs de s’adapter à l’expérience. Accordez aux utilisateurs une courte période de temps « sans tâche » avec l’appareil. Cela peut être aussi simple que de placer un objet dans l’espace et de laisser les utilisateurs se déplacer autour de celui-ci ou de narrer une introduction à l’expérience. Cette période doit être exempte de tâches critiques ou de mouvements spécifiques tels que le tapage aérien. L’objectif est de permettre aux utilisateurs de s’adapter à l’affichage du contenu via l’appareil avant d’avoir besoin d’interactivité ou de progresser dans l’application. Cela est particulièrement important pour les nouveaux utilisateurs, car ils se sentent à l’aise pour voir du contenu à travers le cadre holographique et la nature des hologrammes.
Objets volumineux
Souvent, le contenu qu’une expérience nécessite, en particulier le contenu réel, est plus grand que le cadre holographique. Les objets qui ne peuvent normalement pas tenir dans le cadre holographique doivent être réduits pour tenir lorsqu’ils sont introduits pour la première fois (à une plus petite échelle ou à une distance). L’essentiel est de permettre aux utilisateurs de voir la taille complète de l’objet avant que l’échelle ne submerge le cadre. Par exemple, un éléphant holographique doit être affiché pour s’intégrer entièrement dans le cadre. Cela permet aux utilisateurs de former une compréhension spatiale de la forme globale de l’animal, avant de la dimensionner à l’échelle réelle près de l’utilisateur.
Avec la taille complète de l’objet à l’esprit, les utilisateurs s’attendent à ce qu’ils se déplacent et recherchent des parties spécifiques de cet objet. Dans une expérience avec du contenu immersif, il est utile d’avoir un moyen de faire référence à la taille complète de ce contenu. Par exemple, si l’expérience implique de se promener autour d’un modèle de maison virtuelle, il est utile d’avoir une version de maison de poupée plus petite de l’expérience pour identifier où ils se trouvent à l’intérieur de la maison.
Pour obtenir un exemple de conception d’objets volumineux, consultez Volvo Cars.
Nombreux objets
Les expériences avec de nombreux objets ou composants doivent envisager d’utiliser l’espace complet autour de l’utilisateur pour éviter d’encombrer le cadre holographique directement devant l’utilisateur. Nous vous recommandons de ralentir l’introduction de contenu à une expérience, en particulier avec les expériences qui prévoient de servir de nombreux objets à l’utilisateur. L’essentiel est de permettre aux utilisateurs de comprendre la disposition du contenu dans l’expérience, ce qui leur permet d’acquérir une compréhension spatiale de ce qui les entoure en tant que mises à jour de contenu.
Une technique pour y parvenir consiste à fournir des points persistants (également appelés points de repère) dans l’expérience qui ancre le contenu dans le monde réel. Par exemple, un point de repère peut être un objet physique dans le monde réel, tel qu’une table où du contenu numérique apparaît, ou un objet numérique, tel qu’un ensemble d’écrans numériques où le contenu apparaît fréquemment. Les objets peuvent également être placés dans la périphérie du cadre holographique pour encourager l’utilisateur à regarder vers le contenu clé. La découverte de contenu au-delà de la périphérie peut être facilitée par des directeurs d’attention.
Le placement d’objets dans la périphérie peut encourager les utilisateurs à regarder de côté et cela peut être facilité par les directeurs d’attention, comme décrit ci-dessous. Pour plus d’informations sur les considérations relatives aux cadres holographiques, consultez la documentation relative au confort .
Considérations relatives aux interactions
Comme avec le contenu, les interactions dans une expérience de réalité mixte ne doivent pas être limitées à ce que l’utilisateur peut voir immédiatement. Les interactions peuvent avoir lieu n’importe où dans l’espace réel autour de l’utilisateur. Ces interactions peuvent aider à encourager les utilisateurs à se déplacer et à explorer des expériences.
Directeurs d’attention
L’indication de points d’intérêt ou d’interactions clés peut être cruciale pour faire progresser les utilisateurs dans une expérience. L’attention de l’utilisateur et le mouvement du cadre holographique peuvent être dirigés de manière subtile ou lourde. N’oubliez pas d’équilibrer les directeurs d’attention avec les périodes d’exploration gratuite en réalité mixte (en particulier au début d’une expérience) pour éviter de surcharger l’utilisateur. En général, il existe deux types de directeurs d’attention :
- Directeurs visuels : Le moyen le plus simple d’informer l’utilisateur qu’il doit se déplacer dans une direction spécifique consiste à fournir une indication visuelle. Cela peut être effectué par le biais d’un effet visuel (par exemple, un chemin que l’utilisateur peut suivre visuellement vers la partie suivante de l’expérience) ou même sous forme de flèches directionnelles simples. Tout indicateur visuel doit être mis à la terre dans l’environnement de l’utilisateur, et non « attaché » au cadre holographique ou au curseur.
- Directeurs audio :le son spatial peut fournir un moyen puissant d’établir des objets dans une scène. Vous pouvez avertir les utilisateurs des objets entrant dans une expérience, ou diriger l’attention vers un point spécifique de l’espace en déplaçant la vue de l’utilisateur vers des objets clés. L’utilisation de directeurs audio pour guider l’attention de l’utilisateur peut être plus subtile et moins intrusive que les directeurs visuels. Dans certains cas, il peut être préférable de commencer par un directeur audio, puis de passer à un directeur visuel si l’utilisateur ne reconnaît pas l’indicateur. Les directeurs audio peuvent également être associés à des directeurs visuels pour plus d’accentuation.
Commandes, navigation et menus
Dans l’idéal, les interfaces dans les expériences de réalité mixte sont étroitement associées au contenu numérique qu’elles contrôlent. Par conséquent, les menus 2D flottants libres ne sont souvent pas idéaux pour l’interaction et peuvent être difficiles pour les utilisateurs trop confortablement à l’intérieur du cadre holographique. Pour les expériences qui nécessitent des éléments d’interface tels que des menus ou des champs de texte, envisagez d’utiliser une méthode tag-along pour suivre le cadre holographique après un court délai. Évitez de verrouiller le contenu dans le cadre comme un affichage tête haute, car cela peut être désorientant pour l’utilisateur et rompre le sentiment d’immersion pour d’autres objets numériques dans la scène.
Vous pouvez également placer des éléments d’interface directement sur le contenu spécifique qu’ils contrôlent, ce qui permet aux interactions de se produire naturellement autour de l’espace physique de l’utilisateur. Par exemple, divisez un menu complexe en parties distinctes, avec chaque bouton ou groupe de contrôles attaché à l’objet spécifique affecté par l’interaction. Pour aller plus loin dans ce concept, envisagez l’utilisation d’objets interagissants.
Ciblage du regard et du regard
Le cadre holographique présente un outil permettant au développeur de déclencher des interactions et d’évaluer l’endroit où l’attention d’un utilisateur réside. Le regard est l’une des interactions clés sur HoloLens, où le regard peut être associé à des mouvements (par exemple, avec des tapages aériens ) ou à la voix (permettant des interactions vocales plus courtes et plus naturelles). Par conséquent, le cadre holographique est à la fois un espace pour observer le contenu numérique et interagir avec celui-ci. Si l’expérience nécessite l’interaction avec plusieurs objets autour de l’espace de l’utilisateur (par exemple, la sélection multiple d’objets autour de l’espace de l’utilisateur avec le regard + mouvement), envisagez d’intégrer ces objets dans la vue de l’utilisateur ou de limiter la quantité de mouvement de tête nécessaire pour favoriser le confort de l’utilisateur.
Le regard peut également être utilisé pour suivre l’attention de l’utilisateur à travers une expérience et voir les objets ou parties de la scène auxquels l’utilisateur a accordé le plus d’attention. Cela peut être particulièrement utilisé pour déboguer une expérience, ce qui permet aux outils analytiques tels que les cartes thermiques de voir où les utilisateurs passent le plus de temps ou où certains objets ou interactions sont manquants. Le suivi du regard peut également fournir un outil puissant pour les animateurs dans les expériences (voir l’exemple Lowe’s Kitchen ).
Si vous souhaitez voir les concepts de conception head and eye tracking en action, case activée notre démonstration vidéo Conception d’hologrammes - Head Tracking and Eye Tracking ci-dessous :
Cette vidéo a été tirée de l’application « Conception d’hologrammes » HoloLens 2. Téléchargez et profitez de l’expérience complète ici.
Performances
L’utilisation correcte du frame holographique est fondamentale pour les expériences de qualité des performances . Un défi technique (et de facilité d’utilisation) courant consiste à surcharger l’image de l’utilisateur avec du contenu numérique, ce qui entraîne une dégradation des performances de rendu. Envisagez plutôt d’utiliser tout l’espace autour de l’utilisateur pour organiser le contenu numérique, à l’aide des techniques décrites ci-dessus, afin de réduire la charge de rendu et de garantir une qualité d’affichage optimale.
Exemples
Volvo Cars
Dans l’expérience de salle d’exposition de Volvo Cars, les clients sont invités à découvrir les capacités d’une nouvelle voiture dans une expérience HoloLens guidée par un associé Volvo. Volvo a fait face à un défi avec le cadre holographique : une voiture de taille réelle est trop grande pour être placée juste à côté d’un utilisateur. La solution était de commencer l’expérience avec un point de repère physique, une table centrale dans la salle d’exposition, avec un modèle numérique plus petit de la voiture placé sur la table. Cela garantit à l’utilisateur de voir la voiture complète lorsqu’elle est introduite, ce qui permet un sentiment de compréhension spatiale une fois que la voiture se développe à son échelle réelle plus tard dans l’expérience.
L’expérience de Volvo utilise également des directeurs visuels, créant un long effet visuel du modèle de voiture à petite échelle sur la table jusqu’à un mur dans la salle d’exposition. Cela conduit à un effet de fenêtre magique, montrant la vue complète de la voiture à distance, illustrant d’autres caractéristiques de la voiture à l’échelle réelle. Le mouvement de la tête est horizontal, sans aucune interaction directe de la part de l’utilisateur (au lieu de recueillir des signaux visuellement et de la narration de l’expérience de l’associé Volvo).
Lowe’s Kitchen
Une expérience de magasin de Lowe’s invite les clients dans une maquette à grande échelle d’une cuisine afin de présenter diverses opportunités de rénovation telles que vues à travers l’HoloLens. La cuisine du magasin offre une toile de fond physique pour les objets numériques, une toile vierge d’appareils, de comptoirs et d’armoires pour que l’expérience de réalité mixte se déroule.
Les surfaces physiques agissent comme points de repère statiques pour que l’utilisateur s’insèrent dans l’expérience, car un associé lowe guide l’utilisateur à travers différentes options de produit et finitions. De cette façon, l’associé peut diriger verbalement l’attention de l’utilisateur vers le « réfrigérateur » ou le « centre de la cuisine » pour présenter du contenu numérique.
Un associé de Lowe’s utilise une tablette pour guider les clients tout au long de l’expérience HoloLens.
L’expérience de l’utilisateur est gérée, en partie, par une expérience de tablette contrôlée par l’associé Lowe’s. Une partie du rôle de l’associé dans ce cas serait également de limiter les mouvements excessifs de la tête, en dirigeant sans problème leur attention sur les points d’intérêt dans la cuisine. L’expérience de tablette fournit également l’association Lowe’s avec des données de regard sous la forme d’une vue de carte thermique de la cuisine, ce qui permet de comprendre où réside l’utilisateur (par exemple, sur une zone spécifique de l’armoire) pour lui fournir des conseils de remodelage plus précis.
Pour en savoir plus sur l’expérience Lowe’s Kitchen, consultez la présentation de Microsoft à Ignite 2016.
Fragments
Dans le jeu HoloLens Fragments, votre salon est transformé en scène de crime virtuelle montrant des indices et des preuves, et une salle de réunion virtuelle, où vous parlez avec des personnages qui s’assoient sur vos chaises et s’appuient sur vos murs.
Les fragments ont été conçus pour avoir lieu dans la maison d’un utilisateur, avec des personnages qui interagissent avec des objets et des surfaces du monde réel.
Lorsque les utilisateurs commencent l’expérience initialement, ils reçoivent une courte période d’ajustement avec peu ou pas d’interaction. Au lieu de cela, ils sont encouragés à regarder autour et à s’orienter et à s’assurer que la salle est correctement mappée pour le contenu interactif du jeu.
Tout au long de l’expérience, les personnages deviennent des points centraux et agissent comme des directeurs visuels (mouvements de la tête entre les personnages, se tournant vers le regard ou mouvement vers des zones d’intérêt). Le jeu s’appuie également sur des signaux visuels plus importants lorsqu’un utilisateur prend trop de temps pour trouver un objet ou un événement et utilise intensivement l’audio spatial (en particulier avec les voix des personnages lors de l’entrée d’une scène).
Destination : Mars
Dans l’expérience Destination : Mars présentée au Kennedy Space Center de la NASA, les visiteurs ont été invités à un voyage immersif à la surface de Mars, guidé par la représentation virtuelle de l’astronaute légendaire Buzz Aldrin.
Un Buzz Aldrin virtuel devient le point focal pour les utilisateurs dans Destination : Mars.
En tant qu’expérience immersive, ces utilisateurs ont été encouragés à regarder autour de eux, en déplaçant leur tête dans toutes les directions pour voir le paysage martien virtuel. Bien que pour garantir le confort des utilisateurs, la narration et la présence virtuelle de Buzz Aldrin ont fourni un point central tout au long de l’expérience. Cet enregistrement virtuel de Buzz (créé par Mixed Reality Capture Studios de Microsoft) était à taille réelle et humaine, dans le coin de la pièce permettant aux utilisateurs de le voir en vue presque complète. La narration de Buzz a incité les utilisateurs à se concentrer sur différents points de l’environnement (par exemple, un ensemble de roches martiennes sur le sol ou une chaîne de montagnes au loin) avec des changements de scène spécifiques ou des objets qu’il a introduits.
Les narrateurs virtuels se tournent pour suivre le mouvement d’un utilisateur, créant ainsi un point focal puissant tout au long de l’expérience.
La représentation réaliste de Buzz a fourni un point focal puissant, avec des techniques subtiles pour tourner Buzz vers l’utilisateur pour se sentir comme s’il était là, vous parler. À mesure que l’utilisateur se déplace sur l’expérience, Buzz se déplace vers vous à un seuil avant de revenir à un état neutre si l’utilisateur dépasse trop sa périphérie. Si l’utilisateur semble complètement à partir de Buzz (par exemple, pour regarder quelque chose ailleurs dans la scène), puis de retour à Buzz, la position directionnelle du narrateur sera à nouveau concentrée sur l’utilisateur. Des techniques comme celle-ci fournissent un puissant sentiment d’immersion et créent un point focal dans le cadre holographique, ce qui réduit les mouvements excessifs de la tête et favorise le confort de l’utilisateur.