Interação com base no olhar em HoloLens 2
Uma de nossas novas funcionalidades empolgantes no HoloLens 2 é o acompanhamento ocular. Em nosso acompanhamento ocular em HoloLens 2 página, mencionamos a necessidade de cada usuário passar por uma Calibragem, fornecemos algumas diretrizes para desenvolvedores e destacamos casos de uso para acompanhamento ocular. A entrada com foco nos olhos ainda é um novo tipo de entrada do usuário e há muito a aprender.
Embora a entrada de foco com os olhos seja usada apenas sutilmente em nossa experiência do Shell Holographic (a interface do usuário que você vê ao iniciar sua HoloLens 2), vários aplicativos, como o "HoloLens Playground", mostram ótimos exemplos de como a entrada com foco nos olhos pode adicionar à magia da sua experiência holográfica. Nesta página, discutiremos as considerações de design para integrar a entrada de foco com os olhos para interagir com seus aplicativos holográficos.
Você aprenderá sobre as principais vantagens e também os desafios exclusivos que vêm com a entrada com foco nos olhos. Com base nisso, fornecemos várias recomendações de design para ajudá-lo a criar interfaces de usuário compatíveis com o olhar.
Suporte a dispositivos
| Recurso | HoloLens (1ª geração) | HoloLens 2 | Headsets imersivos |
| Olhar para os olhos | ❌ | ✔️ | ❌ |
Demonstração dos conceitos de design de rastreamento da cabeça e dos olhos
Se quiser ver os conceitos de design de rastreamento da cabeça e dos olhos em ação, confira abaixo nosso vídeo de demonstração do Projetando hologramas - Rastreamento da cabeça e rastreamento dos olhos. Depois de assistir ao vídeo, prossiga para saber mais sobre os tópicos específicos.
Este vídeo foi obtido do aplicativo HoloLens 2 "Designing Holograms". Baixe-o e aproveite a experiência completa aqui.
Diretrizes de design de entrada com foco nos olhos
Criar uma interação que aproveite o direcionamento de olho em movimento rápido pode ser um desafio. Nesta seção, resumimos as principais vantagens e desafios a serem considerados ao projetar seu aplicativo.
Benefícios da entrada com foco nos olhos
Apontar com alta velocidade. O músculo ocular é o músculo reativo mais rápido do corpo humano.
Pouco esforço. Quase nenhum movimento físico é necessário.
Capacidade de ser implícito. Geralmente descritas pelos usuários como "leitura da mente", as informações sobre os movimentos oculares de um usuário permitem que o sistema saiba qual destino o usuário planeja envolver.
Canal de entrada alternativo. O foco com os olhos pode fornecer uma entrada de suporte poderosa para a construção de entrada de mão e voz em anos de experiência dos usuários com base em sua coordenação mão-olho.
Atenção visual. Outro benefício importante é a possibilidade de inferir o que um usuário está prestando atenção. Isso pode ajudar em várias áreas de aplicativo, desde avaliar com mais eficiência diferentes designs até ajudar em interfaces de usuário mais inteligentes e indicações sociais aprimoradas para comunicação remota.
Em poucas palavras, usar o foco com os olhos como entrada oferece um sinal de entrada contextual rápido e sem esforço. Isso é poderoso quando combinado com outras entradas, como voz e entrada manual , para confirmar a intenção do usuário.
Desafios do olhar como entrada
Embora o foco com os olhos possa ser usado para criar experiências satisfatórias do usuário, o que faz você se sentir como um super-herói, também é importante saber em que não é bom considerar adequadamente isso. A lista a seguir discute alguns desafios a serem considerados e como resolvê-los ao trabalhar com a entrada de foco com os olhos:
Seu olhar está "sempre ligado" No momento em que você abre as tampas dos olhos, seus olhos começam a se fixar em coisas no ambiente. Reagir a cada olhar que você faz e emitir ações acidentalmente, porque você examinou algo por muito tempo, resultaria em uma experiência insatisfatória. É recomendável combinar o foco com os olhos com um comando de voz, gesto com a mão, clique no botão ou espera estendida para disparar a seleção de um destino (para obter mais informações, consulte foco com os olhos e confirmação). Essa solução também permite um modo no qual o usuário pode olhar livremente sem ser sobrecarregado disparando algo involuntariamente. Esse problema também deve ser considerado ao criar comentários visuais e auditivos ao examinar um destino. Tente não sobrecarregar o usuário com efeitos pop-out imediatos ou sons de foco. Sutileza é a chave. Discutiremos algumas práticas recomendadas para isso mais adiante ao falar sobre recomendações de design.
Observação versus controle Imagine que você quer endireitar precisamente uma fotografia na sua parede. Você olha para as bordas da fotografia e em volta dela para ver se ela fica bem alinhada. Agora imagine como você faria isso quando quisesse usar seu olhar como uma entrada para mover a imagem. Difícil, não é mesmo? Isso descreve a função dupla de foco com os olhos quando é necessário para entrada e controle.
Deixe antes de clicar em: Para seleções de destino rápidas, pesquisas mostraram que o olhar de um usuário pode seguir em frente antes de concluir um clique manual (por exemplo, um toque de ar). Preste atenção especial para sincronizar o sinal de foco com os olhos rápidos com entrada de controle mais lenta (por exemplo, voz, mãos, controlador).
Destinos pequenos: Você sabe a sensação quando tenta ler um texto que é um pouco pequeno demais para ler confortavelmente? Essa sensação tensa em seus olhos pode fazer com que você se sinta cansado e desgastado, porque você tenta reajustar seus olhos para se concentrar melhor. Essa é uma sensação que você pode invocar em seus usuários ao forçá-los a selecionar destinos muito pequenos em seu aplicativo usando o direcionamento ocular. Para o design, visando criar uma experiência agradável e confortável para seus usuários, recomendamos que os alvos tenham um ângulo visual de, pelo menos, 2°, preferencialmente maior.
Movimentos de olhar esfarrapado Nossos olhos executam movimentos rápidos desde a fixação até a correção. Se você examinar os caminhos de exame dos movimentos oculares registrados, poderá ver que eles parecem irregulares. Seus olhos se movem rapidamente e em saltos espontâneos em comparação com movimentos de cabeça ou mão.
Rastreando a confiabilidade: A precisão do acompanhamento ocular pode degradar um pouco a mudança de luz à medida que seus olhos se ajustam às novas condições. Embora isso não deva necessariamente afetar o design do aplicativo, pois a precisão deve estar dentro da limitação de 2°, pode ser necessário que o usuário calibrar novamente.
Recomendações sobre design
Veja a seguir uma lista de recomendações de design específicas com base nas vantagens e desafios descritos para a entrada com foco nos olhos:
O foco com os olhos não é o mesmo que olhar para a cabeça:
Considere se os movimentos oculares rápidos, mas irregulares, se encaixam em sua tarefa de entrada: Embora nossos movimentos oculares rápidos e esfarrapados sejam ótimos na seleção rápida de destinos em nosso campo de exibição, é menos aplicável para tarefas que exigem trajetórias de entrada suaves (por exemplo, anotações de desenho ou cercamento). Nesse caso, apontar com a mão ou a cabeça deve ser preferencial.
Evite anexar algo diretamente ao olhar do usuário (por exemplo, um controle deslizante ou cursor). Com cursores, isso pode resultar em um efeito de "cursor em fuga" devido a pequenos deslocamentos no sinal de foco ocular projetado. Com um controle deslizante, ele pode entrar em conflito com a função dupla de controlar o controle deslizante com os olhos, ao mesmo tempo em que deseja verificar se o objeto está no local correto. Para o exemplo do controle deslizante, faz mais sentido usar o foco com os olhos em combinação com gestos de mão. Isso significa que o usuário pode alternar rapidamente e sem esforço entre muitos controles deslizantes, levantando a mão e beliscando o polegar e o dedo indicador para agarrá-lo e movê-lo. Quando a pinçagem é liberada, o controle deslizante para de se mover. Os usuários podem ficar sobrecarregados e distraídos, especialmente se o sinal for impreciso para esse usuário.
Combine o foco com os olhos com outras entradas: A integração do acompanhamento ocular com outras entradas, como gestos de mão, comandos de voz ou pressionamentos de botão, oferece várias vantagens:
Permitir observação gratuita: Considerando que a função principal de nossos olhos é observar nosso ambiente, é importante que os usuários possam olhar ao redor sem disparar nenhum comentário ou ações (visuais, auditivas e assim por diante). Combinar o acompanhamento ocular com outro controle de entrada permite a transição suave entre a observação de acompanhamento ocular e os modos de controle de entrada.
Provedor de contexto avançado: Usar informações sobre onde e o que o usuário está olhando ao dizer um comando de voz ou usar um gesto de mão permite canalizar perfeitamente a entrada pelo campo de exibição. Por exemplo: diga "coloque isso lá" para selecionar e posicionar de forma rápida e fluente um holograma em toda a cena olhando para um destino e seu destino pretendido.
Necessidade de sincronizar entradas multimodal: Combinar movimentos rápidos dos olhos com entradas mais complexas, como comandos de voz longos ou gestos de mão, traz o risco de que o usuário já continue a olhar antes que o comando de entrada extra seja concluído e reconhecido. Se você criar seus próprios controles de entrada (por exemplo, gestos de mão personalizados), registre o início dessa entrada ou duração aproximada para correlacioná-la com o que um usuário havia olhado no passado.
Comentários sutis para entrada de acompanhamento ocular: É útil fornecer comentários quando um destino é examinado para indicar que o sistema está funcionando conforme o esperado, mas deve ser mantido sutil. Isso pode incluir a mesclagem e a saída lentas, realces visuais ou outros comportamentos sutis de destino, como movimentos lentos, como aumentar ligeiramente o tamanho do destino. Isso indica que o sistema detectou corretamente que o usuário está olhando para um destino sem interromper desnecessariamente o fluxo de trabalho atual do usuário.
Evite impor movimentos oculares não naturais como entrada: Não force os usuários a usar movimentos oculares específicos (gestos de foco) para disparar ações em seu aplicativo.
Conta para imprecisões: Distinguimos dois tipos de imprecisões, que são perceptíveis para os usuários: deslocamento e tremulação. A maneira mais fácil de resolver um deslocamento é fornecer destinos suficientemente grandes com os quais interagir. É recomendável que você use um ângulo visual maior que 2° como referência. Por exemplo, sua miniatura é de cerca de 2° no ângulo visual quando você estica o braço. Isso resulta nas seguintes diretrizes:
- Não force os usuários a selecionar destinos minúsculos. Pesquisas mostraram que, se os destinos forem suficientemente grandes e o sistema for bem projetado, os usuários descreverão suas interações como sem esforço e mágicas. Se os alvos ficarem muito pequenos, os usuários descreverão a experiência como cansativa e frustrante.
Esta página forneceu uma boa visão geral para que você comece a entender o olhar como uma entrada na realidade misturada. Para começar a desenvolver, confira nossas informações sobre foco visual no Unity e foco nos olhos no DirectX.