Experiencias compartidas en realidad mixta
Los hologramas no necesitan permanecer privados para un solo usuario. Las aplicaciones holográficas pueden compartir delimitadores espaciales de un dispositivo HoloLens, iOS o Android a otro, lo que permite a los usuarios representar un holograma en el mismo lugar del mundo real en varios dispositivos.
Seis preguntas para definir escenarios compartidos
Antes de empezar a diseñar experiencias compartidas, es importante definir los escenarios de destino. Estos escenarios ayudan a aclarar lo que está diseñando y establecer un vocabulario común para ayudar a comparar y contrastar las características necesarias en su experiencia. Comprender el problema principal y las diferentes vías para las soluciones es clave para descubrir oportunidades inherentes a este nuevo medio.
A través de prototipos internos y exploraciones de nuestras agencias asociadas de HoloLens, creamos seis preguntas para ayudarle a definir escenarios compartidos. Estas preguntas forman un marco, no diseñado para ser exhaustivos, para ayudar a destilar los atributos importantes de sus escenarios.
1. ¿Cómo se comparten?
Una presentación puede ser dirigida por un solo usuario virtual, mientras que varios usuarios pueden colaborar, o un profesor puede proporcionar orientación a los alumnos virtuales que trabajan con materiales virtuales: la complejidad de las experiencias aumenta en función del nivel de agencia que un usuario tiene o puede tener en un escenario.
Hay muchas maneras de compartir, pero hemos encontrado que la mayoría de ellas se dividen en tres categorías:
- Presentación: cuando se muestra el mismo contenido a varios usuarios. Por ejemplo: un profesor está dando una conferencia a varios alumnos usando el mismo material holográfico que se presenta a todos. Sin embargo, el profesor podría tener sus propias sugerencias y notas que pueden no ser visibles para otros.
- Colaboración: cuando las personas trabajan conjuntamente para lograr algunos objetivos comunes. Por ejemplo: el profesor dio un proyecto para aprender a hacer una cirugía cardíaca. Los alumnos se emparejan y crean una experiencia de laboratorio de aptitudes compartidas, lo que permite a los estudiantes médicos colaborar en el modelo cardíaco y aprender.
- Guía: cuando una persona ayuda a alguien a resolver un problema en una interacción de estilo uno a uno más. Por ejemplo: el profesor dando orientación a un alumno cuando está haciendo el laboratorio de habilidades de cirugía cardíaca en la experiencia compartida.
2. ¿Cuál es el tamaño del grupo?
Las experiencias de uso compartido uno a uno pueden proporcionar una base de referencia sólida y, idealmente, sus pruebas de concepto se pueden crear en este nivel. Pero tenga en cuenta que compartir con grandes grupos (más allá de seis personas) puede dar lugar a dificultades tanto técnicas (datos como redes) y sociales (el impacto de estar en una habitación con varios avatares). La complejidad aumenta exponencialmente a medida que pasa de grupos pequeños a grandes.
Hemos detectado que las necesidades de los grupos pueden estar en tres categorías de tamaño:
- 1:1
- Pequeño < 7
- Grande >= 7
El tamaño del grupo hace una pregunta importante porque influye en:
- Representaciones de personas en espacio holográfico
- Escala de objetos
- Escala del entorno
3. ¿Dónde están todos?
La fuerza de la realidad mixta entra en juego cuando una experiencia compartida puede tener lugar en la misma ubicación. Lo llamamos coubicado. Por el contrario, cuando el grupo se distribuye y al menos un participante no está en el mismo espacio físico (como suele ser el caso de VR), llamamos a esa experiencia remota. A menudo, es el caso de que el grupo tenga participantes coubicados y remotos (por ejemplo, dos grupos en salas de conferencias).
Las siguientes categorías ayudan a transmitir dónde se encuentran los usuarios:
- Coubicado: todos los usuarios estarán en el mismo espacio físico.
- Remoto: todos los usuarios estarán en espacios físicos independientes.
- Ambos: los usuarios serán una combinación de espacios coubicados y remotos.
Esta pregunta es fundamental porque influye en:
- ¿Cómo se comunican las personas?
- Por ejemplo: ¿Si deben tener avatares?
- Qué objetos ven. ¿Se comparten todos los objetos?
- ¿Si necesitamos adaptarnos a su entorno?
4. ¿Cuándo están compartiendo?
Normalmente pensamos en experiencias sincrónicas cuando las experiencias compartidas vienen a la mente: todos lo hacemos juntos. Pero si se incluye un único elemento virtual agregado por otra persona, tenemos un escenario asincrónico . Imagine una nota, o un memo de voz, que se deja en un entorno virtual. ¿Cómo controla las 100 demostraciones virtuales que quedan en el diseño? ¿Y si son de docenas de personas con diferentes niveles de privacidad?
Tenga en cuenta sus experiencias como una de estas categorías de tiempo:
- Sincrónicamente: compartir la experiencia holográfica al mismo tiempo. Por ejemplo: dos alumnos que realizan el laboratorio de aptitudes al mismo tiempo.
- De forma asincrónica: compartir la experiencia holográfica en momentos diferentes. Por ejemplo: dos alumnos que realizan el laboratorio de aptitudes pero trabajan en secciones independientes en momentos diferentes.
- Ambos: los usuarios a veces compartirán de forma sincrónica, pero otras veces de forma asincrónica. Por ejemplo: un profesor que va a calificar la asignación realizada por los alumnos en un momento posterior y dejando notas para los alumnos para el día siguiente.
Esta pregunta es importante porque influye en:
- Persistencia de objetos y entornos. Por ejemplo: Almacenar los estados para que se puedan recuperar.
- Perspectiva del usuario. Por ejemplo: Quizás recuerde lo que el usuario estaba mirando al dejar notas.
5. ¿Qué similar son sus entornos físicos?
La probabilidad de dos entornos de vida real idénticos, fuera de experiencias coubiadas, es delgado a menos que esos entornos se hayan diseñado para ser idénticos. Es más probable que tenga entornos similares . Por ejemplo, las salas de conferencias son similares: normalmente tienen una mesa situada centralmente rodeada de sillas. Los salones, por otro lado, son diferentes** y pueden incluir cualquier número de piezas de muebles en una matriz infinita de diseños.
Considere la posibilidad de compartir experiencias que se ajusten a una de estas dos categorías:
- Similar: Entornos que tienden a tener muebles similares, luz ambiental y sonido, tamaño físico de la habitación. Por ejemplo: El profesor está en la sala de conferencias A y los alumnos están en la sala de conferencias B. La sala de conferencias A puede tener menos sillas que B, pero ambos pueden tener un escritorio físico en el que colocar hologramas.
- Dissimilar: entornos que son diferentes en la configuración de los muebles, tamaños de habitación, luz y consideraciones sonoras. Por ejemplo: Un profesor está en una sala de concentración, pero los alumnos están en una sala de conferencias grande, llena de alumnos y profesores.
Es importante pensar en el entorno, ya que influirá en:
- Cómo experimentarán estas personas estos objetos. Por ejemplo: si su experiencia funciona mejor en una tabla y el usuario no tiene tabla? O en una superficie plana, pero el usuario tiene un espacio desordenado.
- Escala de los objetos. Por ejemplo: colocar un modelo humano de seis pies en una mesa podría ser difícil, pero un modelo de corazón funcionaría bien.
6. ¿Qué dispositivos usan?
En la actualidad, es probable que vea experiencias compartidas entre dos dispositivos envolventes (estos dispositivos pueden diferir ligeramente para los botones y la funcionalidad relativa, pero no en gran medida) o dos dispositivos holográficos , dado que las soluciones están destinadas a estos dispositivos. Pero tenga en cuenta si los dispositivos 2D (un participante o observador móvil o de escritorio) serán una consideración necesaria, especialmente en situaciones de dispositivos 2D y 3D mixtos. Comprender los tipos de dispositivos que usarán los participantes es importante, no solo porque vienen con diferentes restricciones de fidelidad y oportunidades de datos, sino porque los usuarios tienen expectativas únicas para cada plataforma.
Exploración del potencial de experiencias compartidas
Las respuestas a las preguntas anteriores se pueden combinar para comprender mejor su escenario compartido, cristalizando los desafíos a medida que expande la experiencia. Para el equipo de Microsoft, esto ayudó a establecer un plan de desarrollo para mejorar las experiencias que usamos hoy, comprender los matices de estos problemas complejos y cómo aprovechar las experiencias compartidas en la realidad mixta.
Por ejemplo, considere uno de los escenarios de Skype desde el inicio de HoloLens: un usuario ha trabajado a través de cómo corregir un conmutador de luz rota con ayuda de un experto ubicado de forma remota.
Un experto proporciona una guía 1:1 de su equipo de escritorio 2D a un usuario de un dispositivo de realidad mixta 3D . La guía es sincrónica y los entornos físicos son diferentes.
Una experiencia como esta es un cambio paso a paso de nuestra experiencia actual, aplicando el paradigma de vídeo y voz a un nuevo medio. Pero a medida que nos fijamos en el futuro, debemos definir mejor la oportunidad de nuestros escenarios y crear experiencias que reflejen la fortaleza de la realidad mixta.
Considere la herramienta de colaboración OnSight, desarrollada por el Laboratorio de Propulsión Jet de la NASA. Los científicos que trabajan en datos de las misiones de róver de Marte pueden colaborar con compañeros en tiempo real dentro de los datos del paisaje marciano.
Un científico explora un entorno mediante un dispositivo de realidad mixta 3D con un pequeño grupo de compañeros remotos mediante dispositivos 3D y 2D . La colaboración es sincrónica (pero se puede revisar de forma asincrónica) y los entornos físicos son (prácticamente) similares.
Experiencias como OnSight presentan nuevas oportunidades para colaborar. Desde señalar físicamente los elementos del entorno virtual hasta estar junto a un compañero y compartir su perspectiva a medida que explican sus hallazgos. OnSight usa la lente de inmersión y presencia para replantear las experiencias de uso compartido en la realidad mixta.
La colaboración intuitiva es la base de la conversación, trabajando juntos y comprendiendo cómo podemos aplicar esta intuición a la complejidad de la realidad mixta es fundamental. Si no solo podemos volver a crear experiencias de uso compartido en la realidad mixta, sino que las sobrecargue, será un cambio de paradigma para el futuro del trabajo. El diseño de experiencias compartidas en la realidad mixta es nuevo y emocionante, y solo estamos al principio.
Introducción a la creación de experiencias compartidas
En función de la aplicación y el escenario, habrá varios requisitos para lograr la experiencia deseada. Algunos son:
- Creación de coincidencias: capacidad para crear sesiones, anunciar sesiones, detectar e invitar a personas específicas, tanto local como remotamente para unirse a la sesión.
- Uso compartido de anclajes: capacidad de alinear las coordenadas entre varios dispositivos en un espacio local común, por lo que los hologramas aparecen en el mismo lugar para todas las personas.
- Redes: capacidad de tener posiciones, interacciones y movimientos de personas y hologramas sincronizados en tiempo real en todos los participantes.
- Almacenamiento de estado: capacidad de almacenar características y ubicaciones del holograma en el espacio para la unión a la sesión intermedia, recuperar en un momento posterior y solidez frente a problemas de red.
La clave de las experiencias compartidas es hacer que varios usuarios vean los mismos hologramas en el mundo en su propio dispositivo, que con frecuencia se realizan compartiendo anclajes para alinear las coordenadas entre los dispositivos.
Para compartir anclajes, use Azure Spatial Anchors:
- En primer lugar, el usuario coloca el holograma.
- La aplicación crea un delimitador espacial para anclar ese holograma precisamente en el mundo.
- Los delimitadores se pueden compartir con dispositivos HoloLens, iOS y Android a través de Azure Spatial Anchors.
Con un delimitador espacial compartido, la aplicación de cada dispositivo tiene ahora un sistema de coordenadas común en el que pueden colocar contenido. Ahora la aplicación puede asegurarse de colocar y orientar el holograma en la misma ubicación.
En los dispositivos HoloLens, también puede compartir delimitadores sin conexión de un dispositivo a otro. Use los vínculos siguientes para decidir cuál es el mejor para la aplicación.
Evaluación de las opciones tecnológicas
Hay varias opciones de tecnología y servicios disponibles para ayudar a crear experiencias de realidad mixta multiusuario. Puede resultar complicado elegir una ruta de acceso, por lo que tomar una perspectiva centrada en el escenario, algunas opciones se detallan a continuación.
Hologramas estáticos compartidos (sin interacciones)
Aproveche Azure Spatial Anchors en la aplicación. Habilitar y compartir anclajes espaciales entre dispositivos permite crear una aplicación en la que los usuarios vean hologramas en el mismo lugar al mismo tiempo. Se necesita una sincronización adicional entre dispositivos para permitir a los usuarios interactuar con hologramas y ver los movimientos o actualizaciones de estado de los hologramas.
Compartir perspectiva de primera persona
Aproveche la compatibilidad integrada de Miracast para los usuarios locales cuando tenga un receptor miracast compatible, como un equipo o un televisor. No se necesita código de aplicación adicional.
Experiencia colaborativa multiusuario
Comience con nuestro tutorial de aprendizaje multiusuario, que aprovecha Azure Spatial Anchors para los usuarios locales y el SDK de Photon para sincronizar el contenido o el estado en la escena. Cree aplicaciones de colaboración local en las que cada usuario tenga su propia perspectiva sobre los hologramas de la escena y pueda interactuar completamente con los hologramas. Novedades se proporcionan en todos los dispositivos y la administración de conflictos de interacción se controla mediante Photon.
Nota
Tenga en cuenta que Photon es un producto que no es de Microsoft, por lo que es posible que se requiera una relación de facturación con Photon para su producto y escala para un mayor uso.
Trabajo futuro
Las funcionalidades e interfaces de componentes le ayudarán a proporcionar una coherencia común y una sólida compatibilidad en los distintos escenarios y tecnologías subyacentes. Hasta entonces, elija la mejor ruta de acceso que se alinee con el escenario que intenta lograr en la aplicación.
¿Otro escenario o deseo de usar un servicio o tecnología diferente? Proporcione comentarios como problemas de GitHub en el repositorio correspondiente, en la parte inferior de esta página o póngase en contacto con HoloDevelopers slack.