Seguimiento ocular en HoloLens 2
HoloLens 2 permite un nuevo nivel de contexto y comprensión humana dentro de la experiencia holográfica al proporcionar a los desarrolladores la capacidad de usar información sobre lo que el usuario está mirando. En esta página se explica cómo los desarrolladores pueden beneficiarse del seguimiento ocular de varios casos de uso y qué buscar al diseñar interacciones de usuario basadas en miradas oculares.
Eye Tracking API se ha diseñado teniendo en cuenta la privacidad de un usuario; evita el paso de cualquier información identificable, especialmente cualquier biometría. Para las aplicaciones compatibles con el seguimiento ocular, el usuario debe conceder permiso a la aplicación para usar la información de seguimiento ocular.
Compatibilidad con dispositivos
| Característica | HoloLens (1.ª generación) | HoloLens 2 | Cascos envolventes |
| Mirada de los ojos | ❌ | ✔️ | ❌ |
Demostración de conceptos de diseño de seguimiento de la cabeza y los ojos
Si quieres ver los conceptos de diseño de Seguimiento ocular y de cabeza en acción, consulta nuestra demostración de vídeo Diseño de hologramas : seguimiento de cabezas y seguimiento ocular a continuación. Cuando haya terminado, continúe para una profundización más detallada en temas específicos.
Este vídeo se tomó de la aplicación "Diseñar hologramas" HoloLens 2. Descarga y disfruta de la experiencia completa aquí.
Calibración
Para que el seguimiento ocular funcione con precisión, cada usuario debe pasar por una calibración de usuario de seguimiento ocular para la que el usuario tiene que examinar un conjunto de objetivos holográficos. Esto permite al dispositivo ajustar el sistema, lo que da como resultado una experiencia de visualización más cómoda y de mayor calidad para el usuario y garantiza un seguimiento preciso de los ojos al mismo tiempo.
El seguimiento ocular debería funcionar para la mayoría de los usuarios, pero hay casos poco frecuentes en los que un usuario no puede calibrar correctamente. La calibración puede producir un error por varias razones, entre las que se incluyen, entre otras:
- El usuario ha optado previamente por no participar en el proceso de calibración.
- El usuario se distraía y no seguía los objetivos de calibración.
- El usuario tiene ciertos tipos de lentes de contacto y gafas que el sistema aún no admite.
- El usuario tiene cierta fisiología ocular o trastornos oculares o tuvo cirugía ocular, que el sistema aún no admite.
- Factores externos que inhiben el seguimiento ocular confiable, como manchas en el visor o anteojos holoLens, luz solar directa intensa y oclusiones debido al cabello delante de los ojos.
Los desarrolladores deben asegurarse de proporcionar soporte adecuado a los usuarios para los que es posible que los datos de seguimiento ocular no estén disponibles (que no puedan calibrarse correctamente). Hemos proporcionado recomendaciones para las soluciones de reserva en la sección de la parte inferior de esta página.
Para obtener más información sobre la calibración y cómo garantizar una experiencia fluida, consulte nuestra página de calibración del usuario de seguimiento ocular .
Datos de seguimiento ocular disponibles
El seguimiento ocular en HoloLens 2 permite a los desarrolladores diseñar escenarios naturales e intuitivos de entrada e interacción. Eye Tracking API proporciona la información sobre lo que el usuario está viendo como un solo rayo de mirada (origen y dirección de mirada) a aproximadamente 30 FPS (30 Hz). Para que el seguimiento ocular funcione con precisión, cada usuario debe realizar una calibración de usuario de seguimiento ocular. Para obtener información más detallada sobre cómo acceder a los datos de seguimiento ocular, consulte nuestras guías para desarrolladores para usar la mirada de ojos en DirectX y la mirada de ojos en Unity.
La mirada de los ojos prevista está aproximadamente dentro de 1,5 grados en ángulo visual alrededor del objetivo real (vea la ilustración siguiente). Se esperan ligeras imprecisiones, por lo que los desarrolladores deben planear algún margen alrededor de este valor de límite inferior (por ejemplo, 2,0-3,0 grados pueden dar lugar a una experiencia mucho más cómoda). Analizaremos cómo abordar la selección de destinos pequeños con más detalle a continuación.
Tamaño de destino óptimo a una distancia de 2 metros
Datos de seguimiento ocular extendido
Las API de seguimiento ocular extendidas permiten a los desarrolladores desbloquear el siguiente nivel de escenarios innovadores, como la evaluación de la salud, la supervisión y la terapia, proporcionando información más detallada sobre la mirada ocular del usuario.
Las API de seguimiento ocular extendido proporcionan acceso a los valores de seguimiento ocular existentes y a nuevas características, como vectores de mirada ocular individuales (izquierda y derecha), velocidades de fotogramas admitidas y la capacidad de establecer la velocidad de fotogramas de seguimiento ocular en 30, 60 o 90 fps. Para usar extended Eye Tracking API, consulte nuestras guías para desarrolladores para usar las API de seguimiento de ojos extendidas para nativos o Unity.
Casos de uso
El seguimiento ocular permite a las aplicaciones realizar un seguimiento de dónde busca el usuario en tiempo real. En los siguientes casos de uso se describen algunas interacciones que son posibles con el seguimiento ocular en HoloLens 2 en realidad mixta. Estos casos de uso aún no forman parte de la experiencia de Holographic Shell (la interfaz que se ve al iniciar el HoloLens 2). Puede probar algunas de ellas en Mixed Reality Toolkit. El kit de herramientas proporciona varios ejemplos interesantes y eficaces para usar el seguimiento ocular, como selecciones de destino compatibles con los ojos rápidas y sin esfuerzo y desplazamiento automático a través del texto en función de lo que el usuario vea.
Intención del usuario
La información sobre dónde y qué examina un usuario proporciona un contexto eficaz para otras entradas, como voz, manos y controladores. Esto se puede usar para varias tareas. Por ejemplo, el usuario puede dirigirse rápida y sin esfuerzo a través de la escena mirando un holograma y diciendo "seleccionar" (también vea mirada y confirmación) o "poner esto...", y luego mirar a donde quiere colocar el holograma y decir "... allí". Puede encontrar ejemplos en Mixed Reality Toolkit: Selección de destino compatible con los ojos y Mixed Reality Toolkit: posicionamiento de destino compatible con los ojos.
Además, un ejemplo para la intención del usuario podría incluir el uso de información sobre lo que los usuarios examinan para mejorar la interacción con agentes virtuales incorporados y hologramas interactivos. Por ejemplo, los agentes virtuales pueden adaptar las opciones disponibles y su comportamiento, en función del contenido visto actualmente.
Acciones implícitas
La categoría de acciones implícitas está estrechamente relacionada con la intención del usuario. La idea es que los hologramas o los elementos de la interfaz de usuario reaccionen de forma instintiva que puede que ni siquiera sientan que el usuario está interactuando con el sistema en absoluto, sino que el sistema y el usuario están sincronizados. Un ejemplo es el desplazamiento automático basado en miradas oculares , donde el usuario puede leer un texto largo que comienza a desplazarse automáticamente una vez que el usuario llega a la parte inferior del cuadro de texto. Esto mantiene al usuario en el flujo de lectura sin levantar un dedo. Un aspecto clave de esto es que la velocidad de desplazamiento se adapta a la velocidad de lectura del usuario.
Otro ejemplo es el zoom y la panorámica compatibles con los ojos , donde el usuario puede sentir que está buceando exactamente hacia lo que se centra.
La activación y el control de la velocidad del zoom se pueden controlar mediante la entrada de voz o de mano, lo que es importante para proporcionar al usuario la sensación de control al tiempo que evita ser abrumado. Hablaremos sobre estas consideraciones de diseño con más detalle a continuación. Una vez acercado, el usuario puede seguir sin problemas, por ejemplo, el curso de una calle para explorar su barrio con la mirada de los ojos. Puede encontrar ejemplos de demostración para estos tipos de interacciones en el ejemplo de navegación compatible con Mixed Reality Toolkit - Eye-supported.
Otros casos de uso para acciones implícitas pueden incluir:
- Notificaciones inteligentes: ¿Alguna vez te molestan las notificaciones que aparecen en medio de tu vista? Puede mejorar esta experiencia compensando las notificaciones desde donde el usuario está observando actualmente. Esto limita las distracciones y las descarta automáticamente una vez que el usuario termina de leer.
- Hologramas atentos: Estos son hologramas que reaccionan de manera sutil cuando se miran. Esto puede ir desde elementos de interfaz de usuario ligeramente iluminados hasta una flor que florece lentamente hasta un perro virtual que empieza a mirar al usuario y se mete la cola. Esta interacción puede proporcionar una sensación interesante de conectividad y satisfacción en la aplicación.
Seguimiento de la atención
La información sobre dónde o qué miran los usuarios puede ser una herramienta enormemente eficaz. Puede ayudar a evaluar la facilidad de uso de los diseños e identificar problemas en los flujos de trabajo para que sean más eficientes. La visualización y el análisis de seguimiento ocular son una práctica común en varias áreas de aplicación. Con HoloLens 2, proporcionamos una nueva dimensión a esta comprensión; los hologramas 3D se pueden colocar en contextos del mundo real y evaluarse en consecuencia.
El kit de herramientas de Mixed Reality proporciona ejemplos básicos para registrar y cargar datos de seguimiento ocular y cómo visualizarlos.
Microsoft se dedica a facilitar la innovación, a la vez que garantiza que los usuarios tengan una experiencia informada y transparente con la forma en que se usa su información de seguimiento ocular. Seguiremos trabajando con nuestros desarrolladores y equipos de experiencia de usuario para proporcionar orientación a terceros a fin de garantizar que las experiencias se centren en el usuario.
Otras aplicaciones de esta área pueden incluir:
- Visualización remota de la mirada de los ojos: Visualización de lo que están examinando los colaboradores remotos. Esto puede proporcionar comentarios inmediatos y facilitar un procesamiento de información más preciso.
- Estudios de investigación de usuarios: El seguimiento de la atención puede proporcionar información sobre cómo los usuarios perciben y interactúan con el entorno natural sin interferir. Esto puede ayudar a los desarrolladores a diseñar interacciones más instintiva entre humanos y equipos. El seguimiento ocular puede proporcionar información que no está directamente articulada por los participantes en el estudio y que el investigador puede perder fácilmente.
- Entrenamiento y supervisión del rendimiento: Practique y optimice la ejecución de tareas mediante la identificación de cuellos de botella de forma más eficaz en el flujo de ejecución. El seguimiento ocular puede proporcionar información natural, en tiempo real y objetiva para ayudar a mejorar el entrenamiento, la productividad y la seguridad en el lugar de trabajo.
- Evaluaciones de diseño, marketing e investigación de consumidores: El seguimiento ocular permite a las empresas comerciales realizar estudios de marketing y consumo en entornos reales o analizar lo que capta la atención de un usuario para mejorar el diseño de productos o espacios.
Otros casos de uso
- Juego: ¿Alguna vez has querido tener superpoderes? ¡Esta es tu oportunidad!
Puedes levitar hologramas mirándolos fijamente.
Dispara rayos láser desde tus ojos, pruébelo en RoboRaid para HoloLens 2.
Convierte a los enemigos en piedra o congelándolos.
Usa tu visión de rayos X para explorar edificios.
¡Tu imaginación es el límite! Sin embargo, tenga cuidado de no saturar al usuario. Para más información, consulte nuestras directrices de diseño de entrada basadas en miradas oculares.
Avatares expresivos: El seguimiento ocular ayuda a los avatares 3D más expresivos mediante el uso de datos de seguimiento ocular en vivo para animar los ojos del avatar y hacer que sigan lo que el usuario está mirando.
Entrada de texto: El seguimiento ocular se puede usar como alternativa para la entrada de texto de poco esfuerzo, especialmente cuando la voz o las manos no son convenientes de usar.
Uso de la mirada de los ojos para la interacción
Crear una interacción que aproveche las ventajas de la orientación ocular de movimiento rápido puede ser un desafío. Dado que los ojos se pueden mover rápidamente, si no tienes cuidado sobre cómo usar la entrada de mirada ocular, los usuarios pueden encontrar la experiencia abrumadora o distraída. Pero esto vale la pena porque el seguimiento ocular le permite crear experiencias verdaderamente mágicas que entusiasmarán a sus usuarios! Para ayudarle, consulte nuestra introducción a las principales ventajas, desafíos y recomendaciones de diseño para la mirada de los ojos para la interacción.
Soluciones de reserva cuando el seguimiento ocular no está disponible
En raras ocasiones, es posible que los datos de seguimiento ocular no estén disponibles. Esto puede ocurrir por varias razones: las más comunes se enumeran a continuación:
- El sistema no pudo calibrar al usuario.
- El usuario omitió la calibración.
- El usuario está calibrado, pero decidió no conceder permiso a la aplicación para usar sus datos de seguimiento ocular.
- El usuario tiene anteojos únicos o alguna condición ocular que el sistema aún no admite.
- Factores externos que inhiben el seguimiento ocular confiable, como manchas en el visor o anteojos de HoloLens, luz solar directa intensa y oclusiones debido al cabello delante de los ojos.
Los desarrolladores deben asegurarse de que hay compatibilidad de reserva adecuada para estos usuarios. En la página Seguimiento ocular en DirectX , explicamos las API necesarias para detectar si hay datos de seguimiento ocular disponibles.
Algunos usuarios pueden decidir que una mayor privacidad es más importante para ellos que la experiencia mejorada que puede proporcionar el seguimiento ocular, por lo que revocan intencionadamente el acceso a sus datos de seguimiento ocular. Sin embargo, en algunos casos esta revocación puede ser involuntaria. Si la aplicación usa el seguimiento ocular y esta es una parte importante de la experiencia, se recomienda comunicarlo claramente al usuario. Explicar al usuario cómo el seguimiento ocular desbloquea todo el potencial de la aplicación puede ayudarle a comprender mejor lo que está renunciando. Si el seguimiento ocular está activado pero no funciona, ayude al usuario a identificar y resolver el problema mediante la lista de comprobación anterior como guía. Por ejemplo, si puede detectar que el sistema admite el seguimiento ocular y el usuario está calibrado y ha dado su permiso, pero no se reciben datos de seguimiento ocular, esto puede apuntar a problemas como manchas o que los ojos están ocluidos.
Hay casos poco frecuentes en los que el seguimiento ocular simplemente no funciona para alguien y no hay ninguna razón obvia. Sea respetuoso al permitir que el usuario descarte o deshabilite los avisos para habilitar el seguimiento ocular en la aplicación.
Retroceso para las aplicaciones que usan la mirada ocular como puntero de entrada principal
Si la aplicación usa la mirada ocular como entrada de puntero para seleccionar rápidamente hologramas en toda la escena, pero los datos de seguimiento ocular no están disponibles, se recomienda volver a la mirada de la cabeza y mostrar el cursor de mirada con la cabeza. Se recomienda usar un tiempo de espera (por ejemplo, entre 500 y 1500 ms) para determinar si se debe cambiar o no. Esta acción evita que los cursores aparezcan cada vez que el sistema pueda perder brevemente el seguimiento debido a movimientos oculares rápidos o guiños y parpadeos. Si es desarrollador de Unity, la reserva automática para la mirada a la cabeza ya se controla en el kit de herramientas de Mixed Reality. Si es desarrollador de DirectX, debe controlar este cambio usted mismo.
Retroceso para otras aplicaciones específicas del seguimiento ocular
La aplicación puede usar la mirada ocular de una manera única adaptada específicamente a los ojos, por ejemplo, animando los ojos de un avatar o mapas térmicos de atención basados en los ojos que se basan en información precisa sobre la atención visual. En este tipo de caso, no hay ninguna reserva clara. Si el seguimiento ocular no está disponible, es posible que estas funcionalidades deba deshabilitarse. De nuevo, se recomienda comunicarlo claramente al usuario, que puede no ser consciente de que la funcionalidad no funciona.
Con suerte, esta página le ha proporcionado una buena introducción para empezar a comprender el rol del seguimiento ocular y la entrada de mirada ocular para el HoloLens 2. Para empezar a desarrollar, consulte nuestra información sobre el rol de la mirada de los ojos para interactuar con hologramas, la mirada de ojos en Unity y la mirada de ojos en DirectX.