Apuntar y confirmar con las manos
"Apuntar y confirmar con las manos" es un modelo de entrada que permite a los usuarios seleccionar y manipular contenido 2D y 3D que esté fuera de su alcance. Esta técnica de interacción "lejana" es exclusiva de la realidad mixta, ya que los usuarios no interactúan de forma natural con el mundo real. Por ejemplo, en la película de superhéroes X-Men, el personaje Magneto es capaz de manipular objetos lejanos a distancia con las manos. Esto no es algo que los seres humanos puedan hacer en el mundo real. Por ello, tanto en HoloLens (AR) como en Mixed Reality (MR), equipamos a los usuarios con este poder mágico para romper las restricciones físicas del mundo real. No solo es una experiencia holográfica divertida, sino que también hace que las interacciones de los usuarios sean más eficaces.
Compatibilidad con dispositivos
| Modelo de entrada | HoloLens (1.ª generación) | HoloLens 2 | Cascos envolventes |
| Apuntar y confirmar con las manos | ❌ No se admite | ✔️ Recomendado | ✔️ Recomendado |
"Apuntar y confirmar con las manos" es una de las nuevas características que usa el nuevo sistema articulado de seguimiento de la mano. Este modelo de entrada es también el modelo de entrada principal de los auriculares envolventes, gracias al uso de controladores de movimiento.
Rayos de las manos
En HoloLens 2, hemos creado un haz que sale desde el centro de la palma de la mano. Dicho rayo se trata como una extensión de la mano. Un cursor con forma de anillo se acopla al final del rayo para indicar la ubicación en que el rayo se cruza con un objeto de destino. El objeto en que se posa el cursor puede recibir comandos gestuales de la mano.
Este comando gestual básico se desencadena al usar los dedos pulgar e índice para realizar la acción de pulsar en el aire. Si se usa el haz de mano para apuntar y la acción de pulsar en el aire para confirmar, los usuarios pueden activar un botón o un hipervínculo. Si usan más gestos compuestos, los usuarios pueden navegar por el contenido web y manipular objetos 3D a distancia. El diseño visual del rayo de la mano también debe reaccionar a estos estados de apuntar y confirmar, como se describe y se muestra a continuación:
Estado de apuntar
En el estado señalar, el rayo es una línea discontinua y el cursor tiene forma de anillo.
Estado de confirmación
En el estado confirmar, el rayo se convierte en una línea sólida y el cursor se reduce a un punto.
Transición entre cerca y lejos
En lugar de usar gestos específicos como "señalar con el dedo índice" para dirigir el rayo, hemos diseñado el rayo para que salga del centro de la palma de la mano del usuario. De este modo, tenemos los cinco dedos disponibles para realizar más gestos de manipulación, como el contacto y la captura. Con este diseño, creamos solo un modelo mental, se usa el mismo conjunto de gestos de las manos para la interacción cercana y la lejana. Puedes usar el mismo gesto de arrastrar para manipular objetos que se encuentren a distinta distancia. La invocación de los haces es automática y se basa en la proximidad:
Manipulación cercana
Cuando a un objeto se llega estirando el brazo (aproximadamente 50 cm), los haces se desactivan automáticamente, lo que fomenta la interacción cercana.
Manipulación lejana
Cuando el objeto está a más de 50 cm, los rayos se activan. La transición suave y sin problemas.
Interacción con una tableta táctil 2D
Una tableta táctil 2D es un contenedor holográfico que hospeda contenido de aplicaciones 2D, como un explorador web. El concepto de diseño para la interacción lejana con una tableta táctil 2D es usar los rayos de las manos para buscar el objetivo y pulsar en el aire para seleccionarlo. Después de buscar el destino con un rayo de la mano, los usuarios pueden pulsar en el aire para desencadenar un hipervínculo o un botón. Pueden usar una mano para "pulsar en el aire y arrastrar" a fin de desplazar el contenido de la tableta táctil hacia arriba y hacia abajo. El movimiento relativo de usar las dos manos para pulsar en el aire y arrastrar puede acercar y alejar el contenido de la tableta táctil.
Si se seleccionan como destino del rayo las esquinas y los bordes aparece la prestación de manipulación más cercana. Al "agarrar y arrastrar" las prestaciones de manipulación, los usuarios pueden realizar un escalado uniforme mediante las prestaciones de la esquina y redistribuir la tableta táctil mediante las prestaciones del borde. El procedimiento de agarrar y arrastrar la barra holográfica de la parte superior de la tableta táctil 2D permite a los usuarios mover toda la tableta táctil.
Hacer clic
Desplazar
Zoom
Para manipular la tableta táctil 2D
- los usuarios apuntan el rayo de la mano a las esquinas y bordes y aparece la prestación de manipulación más cercana.
- Al aplicar un gesto de manipulación en la prestación, los usuarios pueden realizar un escalado uniforme mediante la prestación de la esquina y redistribuir la tableta táctil mediante la prestación del borde.
- Al aplicar un gesto de manipulación a la barra holográfica de la parte superior de la tableta táctil 2D, los usuarios pueden mover toda la tableta táctil.
Manipulación de objetos 3D
En la manipulación directa, hay dos formas de que los usuarios manipulen objetos 3D, la manipulación con prestaciones y la manipulación sin prestaciones. En el modelo para apuntar y confirmar, los usuarios pueden conseguir exactamente las mismas tareas a través de los haces de mano. No es necesario realizar ningún aprendizaje adicional.
Manipulación con prestaciones
Los usuarios usan los rayos de las manos para apuntar y mostrar el rectángulo de selección y las prestaciones de manipulación. Los usuarios pueden aplicar el gesto de manipulación al rectángulo de selección para mover todo el objeto, a las prestaciones del borde para girarlo y a las prestaciones de la esquina para escalarlo de forma uniforme.
Mover
Girar
Escalar
Manipulación sin prestaciones
Los usuarios señalan con los rayos de las manos para mostrar el rectángulo de selección y, después, le aplican directamente los gestos de manipulación. Con una mano, la traslación y rotación del objeto se asocian con el movimiento y la orientación de la mano. Con dos manos, los usuarios pueden trasladarlo, escalarlo y girarlo en función de los movimientos relativos de las dos manos.
Gestos instintivos
El concepto de gestos instintivos para señalar y confirmar es similar a la de la manipulación directa con las manos. Los gestos que los usuarios realizan en un objeto 3D los guía el diseño de las prestaciones de interfaz de usuario. Por ejemplo, un punto de control pequeño podría motivar a los usuarios a acercar los dedos pulgar e índice, mientras que si un usuario quiere agarrar un objeto mayor, debe usar los cinco dedos.
Objeto pequeño
Objeto mediano
Objeto grande
Diseño simétrico entre las manos y 6 controladores DoF
El concepto de señalar y confirmar de la interacción lejana se creó y definió para el portal de realidad mixta (PRM). En este escenario, el usuario lleva un casco envolvente e interactúa con objetos 3D a través de los controladores de movimiento. Los controladores de movimiento lanzar rayos para señalar y manipular objetos lejanos. Hay botones en los controladores para confirmar más acciones diferentes. Aprovecharemos el modelo de interacción de rayos y los acoplaremos a ambas manos. Con este diseño simétrico, los usuarios que están familiarizados con MRP no necesitan aprender otro modelo de interacción para señalar y manipular a distancia cuando usan HoloLens 2, y viceversa.
Haces de controlador
Haces de mano
Haz de mano en MRTK (Mixed Reality Toolkit) para Unity
De forma predeterminada, MRTK proporciona un haz de mano prefabricado (DefaultControllerPointer.prefab) que tiene el mismo estado visual que el haz de mano del sistema del shell. Se asigna en el perfil de entrada de MRTK, en Punteros. En un casco envolvente, se usan los mismos haces para los controladores de movimiento.