Interacción basada en la mirada ocular en HoloLens 2
Una de nuestras nuevas capacidades emocionantes en HoloLens 2 es el seguimiento ocular. En nuestra página Seguimiento ocular en HoloLens 2, mencionamos la necesidad de que cada usuario pase por una calibración, proporcionó algunas instrucciones para desarrolladores y casos de uso resaltados para el seguimiento ocular. La entrada de mirada ocular sigue siendo un nuevo tipo de entrada de usuario y hay mucho que aprender.
Aunque la entrada de mirada con ojos solo se usa de forma secundaria en nuestra experiencia de Shell holográfico (la interfaz de usuario que ve al iniciar la HoloLens 2), varias aplicaciones, como "HoloLens Playground", muestran excelentes ejemplos sobre cómo la entrada de mirada ocular puede agregar a la magia de su experiencia holográfica. En esta página, se describen las consideraciones de diseño para integrar la entrada de mirada ocular para interactuar con las aplicaciones holográficas.
Obtendrá información sobre las ventajas clave y también los desafíos únicos que vienen con la entrada de mirada ocular. En función de estos, proporcionamos varias recomendaciones de diseño para ayudarle a crear interfaces de usuario compatibles con la mirada ocular satisfactorias.
Compatibilidad con dispositivos
| Característica | HoloLens (1.ª generación) | HoloLens 2 | Cascos envolventes |
| Mirada con los ojos | ❌ | ✔️ | ❌ |
Demostración de los conceptos de diseño de seguimiento de la cabeza y los ojos
Si quiere ver en acción los conceptos de diseño de seguimiento de cabeza y manos, consulte nuestra demostración de vídeo Diseño de hologramas: Seguimiento de cabeza y seguimiento de manos a continuación. Cuando haya terminado, continúe para profundizar más en detalle en temas específicos.
Este vídeo se tomó de la aplicación HoloLens 2 "Diseño de hologramas". Descargue y disfrute de la experiencia completa aquí.
Directrices de diseño de entrada de mirada ocular
La creación de una interacción que aproveche las ventajas de la orientación ocular rápida puede ser difícil. En esta sección, se resumen las principales ventajas y desafíos que se deben tener en cuenta al diseñar la aplicación.
Ventajas de la entrada de mirada ocular
Señalización a alta velocidad. El músculo ocular es el músculo que reacciona más rápido en el cuerpo humano.
Bajo esfuerzo. Prácticamente no se necesita ningún movimiento físico.
Implícito. A menudo descritos por los usuarios como "lectura mental", la información sobre los movimientos oculares de un usuario permite al sistema saber qué objetivo tiene previsto interactuar con el usuario.
Canal de entrada alternativo. La mirada con los ojos puede proporcionar una entrada de apoyo eficaz para la entrada de mano y voz que se basa en años de experiencia de los usuarios en función de su coordinación con los ojos.
Atención visual. Otra ventaja importante es la posibilidad de deducir lo que un usuario está prestando atención. Esto puede ayudar en varias áreas de aplicación que van desde evaluar de forma más eficaz diferentes diseños para ayudar en interfaces de usuario más inteligentes y indicaciones sociales mejoradas para la comunicación remota.
En pocas palabras, el uso de la mirada ocular como entrada ofrece una señal de entrada contextual rápida y sin esfuerzo. Esto es eficaz cuando se combina con otras entradas, como la voz y la entrada manual para confirmar la intención del usuario.
Desafíos de la mirada ocular como entrada
Aunque la mirada con los ojos se puede usar para crear experiencias de usuario satisfactorias, lo que te hace sentir como un superhéroe, también es importante saber lo que no es bueno para tener en cuenta correctamente esto. En la lista siguiente se describen algunos desafíos que se deben tener en cuenta y cómo abordarlos al trabajar con la entrada de mirada ocular:
Su mirada con los ojos está "siempre activada" El momento en que abre las tapa de los ojos, los ojos comienzan a fijarse en las cosas del entorno. Reaccionar a cada aspecto que realice y emita accidentalmente acciones, ya que miró algo durante demasiado tiempo, daría lugar a una experiencia poco satisfactoria. Se recomienda combinar la mirada con un comando de voz, gesto de mano, clic de botón o permanencia extendida para desencadenar la selección de un destino (para obtener más información, vea mirada con ojos y confirmación). Esta solución también permite un modo en el que el usuario puede mirar libremente sin estar sobrecargado por desencadenar de forma involuntaria algo. Este problema también debe tenerse en cuenta al diseñar comentarios visuales y auditivas al examinar un destino. Intente no sobrecargar al usuario con efectos emergentes inmediatos o sonidos de puntero. La sutileza es clave. Analizaremos algunos procedimientos recomendados para esto más adelante al hablar de recomendaciones de diseño.
Observación frente a control Imagina que quieres enderezar con precisión una fotografía en tu pared. Miras los bordes y la zona circundante para ver si está bien alineada. Ahora imagine cómo lo haría cuando quiera usar la mirada con los ojos como entrada para mover la imagen. Difícil, ¿verdad? Esto describe el doble rol de mirada ocular cuando es necesario tanto para la entrada como para el control.
Deje antes de hacer clic: En el caso de las selecciones de destino rápidas, la investigación ha demostrado que la mirada ocular de un usuario puede avanzar antes de finalizar un clic manual (por ejemplo, una pulsación en el aire). Preste especial atención a la sincronización de la señal rápida de mirada con una entrada de control más lenta (por ejemplo, voz, manos, controlador).
Objetivos pequeños: ¿Conoces la sensación cuando intentas leer texto que es un poco demasiado pequeño para leer cómodamente? Esta sensación tensa en los ojos puede hacer que se sienta cansado y agotado, porque trata de reajustar los ojos para centrarse mejor. Se trata de una sensación que podría invocar en los usuarios al forzarlos a seleccionar destinos demasiado pequeños en la aplicación mediante el destino ocular. Al diseñar la aplicación, para crear una experiencia agradable y cómoda para los usuarios, se recomienda que los objetivos sean al menos de 2° en ángulo visual, o preferiblemente mayores.
Movimientos de mirada con los ojos irregulares Nuestros ojos realizan movimientos rápidos de fijación a fijación. Si observas las trayectorias de movimientos registrados de ojos, podrás ver que son irregulares. Los ojos se mueven rápidamente y en saltos espontáneas en comparación con la mirada con la cabeza o los movimientos de las manos.
Confiabilidad de seguimiento: La precisión del seguimiento ocular puede degradarse un poco al cambiar la luz a medida que los ojos se ajustan a las nuevas condiciones. Aunque esto no debería afectar necesariamente al diseño de la aplicación, ya que la precisión debe estar dentro de la limitación de 2°, puede ser necesario que el usuario vuelva a calibrar.
Recomendaciones de diseño
A continuación se muestra una lista de recomendaciones de diseño específicas basadas en las ventajas y desafíos descritos para la entrada de mirada ocular:
La mirada con los ojos no es la misma que la mirada con la cabeza:
Considere si los movimientos oculares rápidos pero irregulares se ajustan a la tarea de entrada: Aunque nuestros movimientos oculares rápidos y desiguales son excelentes para seleccionar rápidamente destinos en el campo de vista, es menos aplicable para las tareas que requieren trayectorias de entrada fluidas (por ejemplo, dibujar o rodear anotaciones). En este caso, es preferible apuntar con la mano o con la cabeza.
Evite adjuntar algo directamente a la mirada ocular del usuario (por ejemplo, un control deslizante o cursor). Con los cursores, esto puede dar lugar a un efecto de "desplazamiento del cursor" debido a ligeros desplazamientos en la señal proyectada de mirada ocular. Con un control deslizante, puede entrar en conflicto con el doble rol de controlar el control deslizante con los ojos mientras también desea comprobar si el objeto está en la ubicación correcta. Para el ejemplo del control deslizante, tiene más sentido usar la mirada ocular en combinación con gestos de mano. Esto significa que el usuario podría cambiar rápidamente y sin esfuerzo entre muchos controles deslizantes, levantar la mano y reducir el pulgar y el dedo índice para agarrarlo y moverlo. Cuando se suelta la pellizcar, el control deslizante deja de moverse. Los usuarios podrían sentirse abrumados y distraídos, especialmente si la señal es imprecisa para ese usuario.
Combine la mirada con los ojos con otras entradas: La integración del seguimiento ocular con otras entradas, como gestos de mano, comandos de voz o pulsaciones de botón, proporciona varias ventajas:
Permitir observación gratuita: Dado que el rol principal de nuestros ojos es observar nuestro entorno, es importante que los usuarios puedan mirar alrededor sin desencadenar comentarios o acciones (visuales, auditivas, etc.). Combinar el seguimiento ocular con otro control de entrada permite una transición suave entre los modos de observación de seguimiento ocular y control de entrada.
Proveedor de contexto eficaz: El uso de información sobre dónde y qué está viendo el usuario mientras dice un comando de voz o el uso de un gesto de mano permite canalizar sin problemas la entrada a través del campo de vista. Por ejemplo: diga "poner eso ahí" para seleccionar y colocar con fluidez un holograma en la escena examinando un destino y su destino previsto.
Necesidad de sincronizar entradas bidireccionales: La combinación de movimientos oculares rápidos con entradas más complejas, como comandos de voz largas o gestos de mano, supone el riesgo de que el usuario ya siga buscando alrededor antes de que finalice y reconozca el comando de entrada adicional. Si crea sus propios controles de entrada (por ejemplo, gestos de mano personalizados), asegúrese de registrar el inicio de esta entrada o una duración aproximada para correlacionarlo con lo que un usuario había visto en el pasado.
Comentarios sutiles para la entrada de seguimiento ocular: Resulta útil proporcionar comentarios cuando se examina un destino para indicar que el sistema funciona según lo previsto, pero debe mantenerse sutil. Esto puede incluir la fusión lenta entre y fuera, los resaltados visuales o realizar otros comportamientos sutiles de destino, como movimientos lentos, como un aumento ligeramente del tamaño de destino. Esto indica que el sistema detectó correctamente que el usuario está examinando un destino sin interrumpir innecesariamente el flujo de trabajo actual del usuario.
Evite aplicar movimientos oculares no naturales como entrada: No obligue a los usuarios a usar movimientos oculares específicos (gestos de mirada) para desencadenar acciones en la aplicación.
Tenga en cuenta las imprecisiones: Se distinguen dos tipos de imprecisiones, que son notables para los usuarios: desplazamiento y vibración. La manera más fácil de abordar un desplazamiento es proporcionar destinos suficientemente grandes con los que interactuar. Se recomienda usar un ángulo visual mayor que 2° como referencia. Por ejemplo, la miniatura está aproximadamente a 2° en ángulo visual al estirar el brazo. Esto conduce a la siguiente pauta:
- No obligue a los usuarios a seleccionar destinos pequeños. La investigación ha demostrado que si los objetivos son suficientemente grandes y el sistema están diseñados bien, los usuarios describen sus interacciones como sin esfuerzo y mágicos. Si los objetivos son demasiado pequeños, los usuarios describen la experiencia como agotadora y frustrante.
Esta página le proporcionó una buena introducción para empezar a comprender la mirada ocular como entrada en la realidad mixta. Para empezar a desarrollar, consulte nuestra información sobre la mirada ocular en Unity y la mirada con los ojos en DirectX.