Modelos de interacción

  • 3 minutos

El kit de herramientas Mixed Reality le permite consumir varios datos de entrada de diversos orígenes, como controladores, manos articuladas o voz. Para elegir el modelo de interacción que mejor se adapte a su experiencia de realidad mixta, es necesario que identifique al usuario y sus objetivos, y que tenga en cuenta los factores ambientales o de la situación que puedan influir en su experiencia. Aquí aprenderá sobre los tres modelos de interacción principales para experiencias de realidad mixta y cómo simular la entrada en Unity.

Modelos de interacción

Hay tres modelos de interacción principales que se adaptan a la mayoría de las experiencias de realidad mixta.

Modelo Escenarios de ejemplo Ajuste
Controladores de manos y movimiento Experiencias espaciales 3D, tales como diseño y distribución espacial, manipulación de contenido o simulación. Ideal para usuarios nuevos, junto con la voz, el seguimiento de los ojos o la mirada con la cabeza. Curva de aprendizaje reducida. Experiencia de usuario coherente en los controladores de 6DoF y de seguimiento de manos.
Manos libres Experiencias contextuales en las que las manos del usuario están ocupados, como los trabajos prácticos de aprendizaje y mantenimiento. Es necesario algún aprendizaje. Si las manos no están disponibles, el dispositivo se empareja bien con la voz y el lenguaje natural.
Mirada y confirmación Experiencias de clic, por ejemplo, presentaciones 3D o demostraciones. Requiere aprendizaje en dispositivos para la cabeza, pero no en dispositivos móviles. Mejor para controladores accesibles.

Aunque podría combinar partes de varios modelos de interacción en la experiencia de realidad mixta, tenga en cuenta que, al hacerlo, existe el riesgo de que se produzca competencia en la entrada del usuario, como haces de mano o cursor de mirada simultáneos. Esto puede confundir a los usuarios.

Si su experiencia requiere varios modelos de interacción, tenga en cuenta que muchos usuarios pueden encontrar dificultades al realizar la transición de un modelo a otro, especialmente los usuarios que no están familiarizados con la realidad mixta.

Modelo de controladores de manos y movimiento

El modelo de controladores de manos y movimiento requiere que los usuarios usen una o dos manos para interactuar con el mundo holográfico. Este modelo elimina el límite entre lo virtual y lo físico.

Algunos escenarios específicos incluyen:

  • Proporcionar a los trabajadores de la información pantallas virtuales 2D con prestaciones de la interfaz de usuario para mostrar y controlar el contenido.
  • Envío de tutoriales y guías a los trabajadores de primera línea en líneas de montaje industriales
  • Desarrollo de herramientas profesionales para ayudar y formar a los profesionales médicos.
  • Uso de objetos virtuales 3D para decorar el mundo real o crear un segundo mundo
  • Crear servicios y juegos basados en la ubicación que usan el mundo real como fondo.

Hay tres modalidades de controladores de manos y movimiento:

  • Manipulación directa con las manos
  • Apuntar y confirmar con las manos
  • Controladores de movimiento

Modelo de manos libres

El modelo de manos libres permite a los usuarios interactuar con el contenido holográfico sin usar las manos. Es mejor usar este enfoque si el usuario podría necesitar usar las manos para lograr sus objetivos en el mundo real y tendrá dificultades para interactuar con una interfaz basada en manos y controladores.

Algunos escenarios específicos incluyen:

  • Guiar al usuario por una tarea mientras tiene las manos ocupadas.
  • Consultar materiales mientras el usuario tiene las manos ocupadas.
  • Fatiga manual.
  • Guantes en los que no se puede realizar un seguimiento.
  • Llevar algo en las manos.
  • Incomodidad para realizar gestos exagerados con las manos en público
  • Espacios estrechos.

Hay dos modalidades de manos libres:

  • Entrada de voz
  • Mirada y permanencia

Mirada y confirmación

Mirada y confirmación es un modelo de entrada que está estrechamente relacionado con la forma en que interactuamos con los equipos mediante el uso de un mouse para señalar y hacer clic. La acción de mirar y confirmar se considera un modelo de entrada lejano con manipulación indirecta. Por lo tanto, es mejor usar la acción de mirar y confirmar al interactuar con el contenido holográfica que está fuera del alcance. Hay dos tipos de entradas de mirada (cabeza y ojo) y diferentes acciones de confirmación.

Cuando el usuario utiliza la mirada para dirigirse a un objeto o elemento de la interfaz de usuario, puede interactuar o seleccionarlo mediante una entrada secundaria. Esto se conoce como el paso de confirmación del modelo de entrada. Los métodos de confirmación incluyen comandos de voz, presión de un botón o un gesto de la mano.

Simulación de la entrada en el editor de Unity

La simulación de la entrada en el editor de Unity permite probar el comportamiento de los objetos holográficos cuando se usa la interacción de las manos o los ojos.

Cómo desplazarse por la escena:

  • Use las teclas W/A/S/D para mover la cámara hacia delante, la izquierda, atrás o la derecha.
  • Utilice las teclas Q/E para mover la cámara verticalmente.
  • Mantenga presionado el botón derecho del mouse para girar la cámara.

Cómo simular la entrada de la mano:

  • Mantenga presionada la barra espaciadora para habilitar la mano derecha.
  • Mantenga presionada la barra espaciadora y mueva el mouse para mover la mano.
  • Use la rueda de desplazamiento del mouse para ajustar la profundidad de la mano.
  • Haga clic en el botón izquierdo del mouse para simular el gesto de pellizco.
  • Utilice las teclas T/Y para que la mano permanezca en la vista.
  • Mantenga presionada la tecla CTRL y mueva el mouse para girar la mano.
  • Mantenga presionada la tecla Mayús izquierda para habilitar la mano izquierda.