Introduction à HoloLens et à Windows Mixed Reality
Microsoft parle de plus en plus de « Mixed Reality » je profite donc de la sortie de Windows 10 Fall Creator Update pour faire le point sur ce sujet. Réalité Virtuelle/Augmentée/Mixte, Quezaco ?
Sans remonter trop loin dans l'histoire de l'informatique, l'interaction Homme-Machine passe principalement par un clavier et un écran, ces approches ont pour but de proposer de nouvelles expériences, une expérience plus naturelle et plus immersive.
Coté immersion, la 3D n’est pas nouvelle et existe depuis des années.
Il permet de voir la profondeur des scènes et des objets et ainsi améliorer le réalisme et l’immersion.
La réalité virtuelle :
Heureusement il y a eu pas mal de progrès et on a maintenant des écrans suffisamment petits et avec une résolution suffisamment élevée afin d’être intégrée à un casque ou des lunettes.
On voit donc maintenant de nouveaux périphériques appelés « Casques Virtuels ».
Ce casque présente à l'utilisateur un univers 3D totalement virtuel, c’est à dire que l’on ne peut voir qu'au travers de l’écran et donc visualiser ce qui l’entoure. Ce type de solution est souvent présenté avec des vidéos 360 comme des visites virtuelles d’appartement ou des lieux touristique.
La réalité augmentée :
Il est possible depuis quelques années de filmer et d’incruster en temps réels des objets virtuels.
La démocratisation des smartphones a permis de remettre le sujet au goût du jour au travers d’applications à succès comme Pokémon Go.
Windows 10 vous permet de créer vous-mêmes des objets 3D avec Paint3D et vous pouvez les afficher à travers votre webcam grâce à l’application « Mixed Reality Viewer »
L’immersion est quelque chose de très importante pour se projeter et adhérer à ce type de technologie. Pour avoir tester ces approches, ce que l’on peut regretter, c’est le manque de réalisme sur les mouvements, ce qui permet à notre cerveau de croire et de se projeter dans l’environnement proposé.
Windows Mixed Reality a pour but de proposer un environnement plus immersif, c’est-à-dire de proposer une experience où la distinction du monde physique et virtuel disparaît. Cela est rendu possible, entre autres, grâce à l’intégration de nouveaux capteurs qui analysent l’environnement extérieur est permet ainsi de proposer une plus grande fidélité dans les mouvements.
Notre produit phare pour démontrer cette nouvelle approche est HoloLens, l’ordinateur holographique autonome.
HoloLens permet de superposer des éléments virtuels à des éléments physiques qui sont dans le champs de vision de l’utilisateur (oui oui comme l’hologramme de Leila dans Star Wars). On propose alors une fusion des 2 mondes.
HoloLens propose plusieurs expériences en fonction de l’usage et de l’application.
On peut en distinguer 3 principales :
- Afficher des éléments 2D dans l’environnement de l’utilisateur (3D) comme une fenêtre Skype ou l’application photo
- Afficher des éléments 3D qui interagissent avec l’environnement physique comme dans le jeu roboraid
- Afficher uniquement un environnement virtuel comme des lieux touristiques dans Holotours
Aux scénarios HoloLens, on peut ajouter la nouvelle expérience des casques certifiés « Windows Mixed Reality » qui avec leurs écrans et capteurs embarqués permettent de proposer une expérience réaliste et immersive.
Ci-dessous un dessin qui résume les différentes expériences et immersions disponibles.
Mixed Reality headset
Avec la sortie de Windows 10 Fall Creator Update ou 1709, nous avons mis en place un partenariat avec des OEM comme Dell, Lenovo, Asus, Acer ou HP afin de proposer des casques immersifs qui incluent écran et capteurs.
Ce qui change par rapport aux anciens modèles est le fait qu’ils possèdent des capteurs de mouvements qui découlent des technologies utilisées dans la Kinect et dans HoloLens. Ces capteurs permettent de reproduire de façon fidèle les mouvements du corps dans l’environnement virtuel (orientation de la tête, déplacement du corps à travers la pièce).
Les casques ne sont pas autonomes, ils nécessitent d'être connectés à un PC.
Pour replacer le Bureau que l’on est habitués à utiliser avec notre écran et nos applications 2D, Windows 10 propose la « Cliff House”
La Cliff House est une maison virtuelle que vous pouvez personnaliser et qui vous permettra de créer votre univers et y placer les objets et applications virtuelles.
Ci-dessous on voit dans une des pièces un ensemble de fenêtre épinglées au mur comme le calendrier. Il est possible de consulter l’information ou d’exécuter l’application afin de partir dans un nouvel environnement.
On peut penser dans un 1er temps que c’est surtout pour le consumer mais cela n’est pas exact, de nombreuses entreprises s’intéressent de très près à ces technologies afin d’adresser des usages métiers comme la formation ou des outils d’aide à la vente.
Nous allons justement parler plus en détails des scénarios d’entreprises avec HoloLens.
Mixted Reality avec HoloLens
Grâce à des innovations technologiques décritent dans l’article de mon collègue, HoloLens permet de proposer une expérience de réalité mixte immersive et autonome. Il se distingue majoritairement sur le fait qu’il est capable d’ajouter des éléments au champ visuel de l’utilisateur et qu’il est totalement autonome (pas de PC connecté) ce qui permet une grande liberté de mouvement.
Un nombre illimité de scénarios existent et peuvent être créé, on va couvrir quelques exemples.
- La formation et l'accompagnement
HoloLens permet la mise en place de nouveaux scénarios de formation qui rendent l’expérience plus proche du réel et permet de proposer de l’accompagnement en temps réel.
Schneider présente un très bon cas concret où l’agent de maintenance ne connaît pas forcément les tâches à effectuer. Chaque tâche sera alors affichée directement sur l’objet à intervenir afin de supprimer toute mauvaise compréhension et donc d’erreur de manipulation.
Un autre exemple est « HoloCrane », qui présente très bien l’avantage de cette vision mixte sur de la simulation entraînement de nouveaux équipements ou lors de scénarios complexes.
L’approche d’accompagnement sera aussi bientôt réalisé dans un bloc opératoire. Le mois prochain un chirurgien utilisera HoloLens afin d’accéder à des images 3D des examens du patient ainsi que de proposer une collaboration avec des experts qui ne seront pas présents dans le bloc.
- Aide à la conception
HoloLens permet d’aider les créateurs, développeurs et designers sur leurs travaux. Ils peuvent mettre en contexte leur création devant eux ou directement sur un objet existant.
Ci-dessous, des personnes qui travaillent sur le design des voitures Ford.
La superposition des images virtuelles sur des objets physiques permet de beaucoup mieux comprendre le résultat final. Cette approche permet de réduire significativement les coûts et le temps de développement car il n’est plus nécessaire de créer des prototypes à chaque idée ou modification.
Un autre très bon exemple est l’application « SketchUp Viewer » qui permet de visualiser les maquettes 3D de projet immobilier.
- Aide à la vente
HoloLens est un nouvel outil qui va permettre aux vendeurs de proposer une experience aux clients qui ne pouvait être fait avant. Par exemple la vente d’appartement d’immeuble qui n’est pas construit ou en cours. Cette video montre comment le client va pouvoir personnaliser l’appartement qu’il souhaite acquérir et se projeter comme s’il y était déjà.
Les constructeurs comme Volvo ou Audi utilise HoloLens afin de pouvoir présenter des véhicules dans des espaces restreint comme des centres commerciaux mais aussi pour promouvoir et expliquer les innovations technologiques incluses dans leurs véhicules.
Votre scénario
Tout est possible et vous pouvez réaliser votre projet de différentes façons :
- Développer vous-même les applications grâce aux ressources et vidéos disponibles.
- Nous contacter afin de vous accompagner sur le développement
- Demander à un de nos nombreux partenaires de développer ou de vous accompagner sur votre application.
Immersion
L’immersion est très importante dans de nombreux scénarios que ce soit dans le monde consumer comme le jeu mais aussi dans le monde de l’entreprise (BtoB ou BtoC).
L’immersion permet à l’utilisateur d’avoir le côté réaliste ce qui est très important lors du processus de design ou de vente mais permet aussi de captiver la personne dans des scénarios de jeu.
J’ai eu la chance de pouvoir tester les différentes solutions et ma préférence va pour l’HoloLens, avec lequel j’ai eu une immersion complète au point que lorsque je les retire, mon cerveau pendant une fraction de seconde ne comprend plus pourquoi l’objet virtuel a disparu de la pièce.
Conclusion
J’espère que le sujet est maintenant plus clair pour vous. Ce qu’il est important de noter c’est que tout cela n’est pas une vision des années futures mais bien des technologies qui existent aujourd’hui.
Les casques de réalité Mixte ainsi que le HoloLens sont en vente !!!
HoloLens est disponible en France est peut-être acheté sur le site Microsoft Store.
Les casques de réalité mixte d’Acer, HP, Lenovo, Dell, Asus sont disponibles ici et vous pouvez tester si votre ordinateur est compatible avec l’application « Windows Mixed Reality Check » ou vous pouvez acheter un PC certifié.
Liens :
Pour plus d ’informations sur “Windows Mixed Reality” : https://www.microsoft.com/fr-fr/windows/windows-mixed-reality
Vidéo : https://www.youtube.com/watch?time_continue=486&v=xTT_3DhTMI8
Prérequis hardware du PC : https://support.microsoft.com/en-us/help/4039260/windows-10-mixed-reality-pc-hardware-guidelines