Focar e confirmar
O foco e a confirmação são um modelo de entrada fundamental que está intimamente relacionado à maneira como estamos interagindo com nossos computadores usando o mouse: Aponte & clique. Nesta página, apresentamos dois tipos de entrada de foco (foco de cabeça e olho) e diferentes tipos de ações de confirmação. O foco e a confirmação são considerados um modelo de entrada distante com manipulação indireta. Ele é melhor usado para interagir com conteúdo holográfico que está fora de alcance.
Os headsets de realidade misturada podem usar a posição e a orientação da cabeça do usuário para determinar o vetor de direção da cabeça. Pense no olhar como um laser apontando diretamente para frente entre os olhos do usuário. Essa é uma aproximação bastante grosseira da direção para a qual o usuário está olhando. Seu aplicativo pode interseccionar esse raio com objetos virtuais ou do mundo real e desenhar um cursor nesse local para informar ao usuário o que ele está direcionando.
Além do foco na cabeça, alguns fones de ouvido de realidade misturada, como HoloLens 2, incluem sistemas de acompanhamento ocular que produzem um vetor de foco ocular. Isso fornece uma medida refinada da direção para a qual o usuário está olhando. Em ambos os casos, o foco representa um sinal importante para a intenção do usuário. Quanto melhor o sistema puder interpretar e prever as ações pretendidas do usuário, mais satisfação e desempenho do usuário melhorarão.
Abaixo estão alguns exemplos de como você, como desenvolvedor de realidade misturada, pode se beneficiar do foco na cabeça ou nos olhos:
- Seu aplicativo pode interseccionar o olhar com os hologramas em sua cena para determinar onde está a atenção do usuário (mais preciso com o olhar).
- Seu aplicativo pode canalizar gestos e pressionamentos do controlador com base no foco do usuário, o que permite que o usuário selecione, ative, segure, role ou interaja de outra forma com seus hologramas.
- Seu aplicativo pode permitir que o usuário coloque hologramas em superfícies do mundo real cruzando seu raio de foco com a malha de mapeamento espacial.
- Seu aplicativo pode saber quando o usuário não está olhando na direção de um objeto importante, o que pode levar seu aplicativo a fornecer indicações visuais e de áudio para se voltar para esse objeto.
Suporte a dispositivos
| Modelo de entrada | HoloLens (1ª geração) | HoloLens 2 | Headsets imersivos |
| Foco com a cabeça e confirmação | ✔️ Recomendado | ✔️ Recomendado (terceira opção – confira as outras opções) | ➕ Opção alternativa |
| Focar com o olhar e confirmar | ❌ Não disponível | ✔️ Recomendado (terceira opção – confira as outras opções) | ❌ Não disponível |
Demonstração dos conceitos de design de rastreamento da cabeça e dos olhos
Se quiser ver os conceitos de design de rastreamento da cabeça e dos olhos em ação, confira abaixo nosso vídeo de demonstração do Projetando hologramas - Rastreamento da cabeça e rastreamento dos olhos. Depois de assistir ao vídeo, prossiga para saber mais sobre os tópicos específicos.
Este vídeo foi obtido do aplicativo HoloLens 2 "Designing Holograms". Baixe-o e aproveite a experiência completa aqui.
Focar
Olhar ou olhar para a cabeça?
Há várias considerações ao se deparar com a pergunta se você deve usar o modelo de entrada "olhar e confirmar" ou "foco com a cabeça e confirmar". Se você estiver desenvolvendo para um headset imersivo ou para o HoloLens (1ª geração), a opção será simples: focar com a cabeça e confirmar. Se você está se desenvolvendo para HoloLens 2, a escolha se torna um pouco mais difícil. É importante entender as vantagens e os desafios que vêm com cada um deles. Compilamos alguns pros e con's amplos na tabela abaixo para contrastar o direcionamento de cabeça contra olhar. Isso está longe de ser completo e sugerimos aprender mais sobre o direcionamento de olhares na realidade misturada aqui:
- Acompanhamento ocular em HoloLens 2: introdução geral de nossa nova funcionalidade de acompanhamento ocular em HoloLens 2 incluindo algumas diretrizes para desenvolvedores.
- Interação com o olhar: considerações e recomendações de design ao planejar o uso do acompanhamento ocular como entrada.
| Direcionamento com foco nos olhos | Direcionamento de foco com a cabeça |
| Rápido! | Lento |
| Baixo esforço (quase nenhum movimento corporal necessário) | Pode ser fatiguing - Possível desconforto (por exemplo, tensão no pescoço) |
| Não requer um cursor, mas comentários sutis são recomendados | Requer a exibição de um cursor |
| Sem movimentos de olhos suaves – por exemplo, não é bom para desenhar | Mais controlado e explícito |
| Difícil para destinos pequenos (por exemplo, botões minúsculos ou weblinks) | Confiável! Grande fallback! |
| ... | ... |
Se você usa foco na cabeça ou foco com os olhos para seu modelo de entrada de foco e confirmação, cada um vem com diferentes conjuntos de restrições de design. Elas são abordadas separadamente nos artigos de foco com os olhos e confirmação e foco na cabeça e confirmação .
Cursor
Para foco na cabeça, a maioria dos aplicativos deve usar um cursor ou outra indicação auditiva/visual para dar ao usuário confiança no que ele está prestes a interagir.
Normalmente, você posiciona esse cursor no mundo em que seu raio de foco de cabeça primeiro cruza um objeto, que pode ser um holograma ou uma superfície do mundo real.
Para o foco com os olhos, geralmente recomendamos não mostrar um cursor, pois isso pode se tornar rapidamente perturbador e irritante para o usuário.
Em vez disso, realce sutilmente os destinos visuais ou use um cursor de olho fraco para fornecer confiança sobre com o que o usuário está prestes a interagir. Para obter mais informações, marcar nossas diretrizes de design para entrada com base nos olhos em HoloLens 2.
Imagem: um cursor visual de exemplo para mostrar o foco
Commit
Depois de falar sobre diferentes maneiras de olhar para um destino, vamos falar um pouco mais sobre a parte de confirmação no foco e no commit. Depois de direcionar um objeto ou elemento de interface do usuário, o usuário pode interagir ou clicar nele usando uma entrada secundária. Isso é conhecido como a etapa de confirmação do modelo de entrada.
Os seguintes métodos de confirmação são compatíveis:
- Gesto de dar um toque de ar na mão (ou seja, levantar a mão na sua frente e reunir o dedo indicador e o polegar)
- Diga "selecionar" ou um dos comandos de voz de destino
- Pressionar um único botão em um Clicker do HoloLens
- Pressione o botão 'A' em um gamepad do Xbox
- Pressione o botão 'A' em um controlador adaptável do Xbox
Gesto de olhar e tocar no ar
Fechar e abrir dedos indicador e polegar é um gesto de tocar feito com a mão levantada. Para usar um toque de ar, levante o dedo indicador para a posição pronta, em seguida, pinça com o polegar e levante o dedo indicador de volta para liberar. No HoloLens (1ª geração), o toque de ar é a entrada secundária mais comum.
Dedo na posição pronta
Pressione o dedo para baixo para tocar ou clicar
O air tap também está disponível no HoloLens 2. Foi relaxado da versão original. Quase todos os tipos de pinçagem agora têm suporte, desde que a mão esteja ereto e parado. Isso torna muito mais fácil para os usuários aprender e usar o gesto. Esse novo toque de ar substitui o antigo pela mesma API, portanto, os aplicativos existentes terão o novo comportamento automaticamente após a recompilação para HoloLens 2.
Comando de voz "Fixar" e "Selecionar"
O comando de voz é um dos principais métodos de interação na realidade misturada. Ele fornece um poderoso mecanismo de mãos livres para controlar o sistema. Há diferentes tipos de modelos de interação de voz:
- O comando genérico "Select" que usa uma atuação de clique ou confirmação como uma entrada secundária.
- Comandos de objeto (por exemplo, "Fechar" ou "Torná-lo maior") executam e confirmam uma ação como uma entrada secundária.
- Comandos globais (por exemplo, "Ir para iniciar") não exigem um destino.
- Interfaces de usuário de conversa ou entidades como a Cortana têm uma funcionalidade de linguagem natural de IA.
- Comandos de voz personalizados
Para saber mais sobre detalhes e uma lista abrangente de comandos de voz disponíveis e como usá-los, marcar nossas diretrizes de comando de voz.
Clicker de Foco e HoloLens
O HoloLens Clicker é o primeiro dispositivo periférico criado especificamente para o HoloLens. Ele está incluído no HoloLens (1ª geração) Development Edition. O Clicker do HoloLens permite que um usuário clique com movimento mínimo da mão e faça commit como uma entrada secundária. O HoloLens Clicker conecta-se ao HoloLens (1ª geração) ou HoloLens 2 usando Bluetooth de Baixa Energia (BTLE).
Mais informações e instruções para emparelhar o dispositivo
Imagem: HoloLens Clicker
Foco e Controle sem Fio Xbox
O Controle sem Fio Xbox executa uma atuação de clique como uma entrada secundária usando o botão 'A'. O dispositivo é mapeado para um conjunto padrão de ações que ajudam a navegar e controlar o sistema. Se você quiser personalizar o controlador, use o aplicativo Acessórios xbox para configurar seu Controle sem Fio Xbox.
Como emparelhar um controlador Xbox com seu computador
Imagem: Controle sem Fio Xbox
Foco e Controlador Adaptável do Xbox
Projetado principalmente para atender às necessidades dos jogadores com mobilidade limitada, o Controlador Adaptável do Xbox é um hub unificado para dispositivos que ajuda a tornar a realidade misturada mais acessível.
O Controlador Adaptável do Xbox executa uma atuação de clique como uma entrada secundária usando o botão 'A'. O dispositivo é mapeado para um conjunto padrão de ações que ajudam a navegar e controlar o sistema. Se você quiser personalizar o controlador, use o aplicativo Acessórios do Xbox para configurar o Controlador Adaptável do Xbox.
Controle Adaptável Xbox
Conecte dispositivos externos, como comutadores, botões, montagens e joysticks, para criar uma experiência de controlador personalizada exclusivamente sua. As entradas de botão, botão e gatilho são controladas com dispositivos adaptativos conectados por meio de tomadas de 3,5 mm e portas USB.
Portas do Controle Adaptável Xbox
Instruções para emparelhar o dispositivo
Mais informações disponíveis no site do Xbox
Gestos compostos
Fechar e abrir dedos indicador e polegar
O gesto de toque de ar (e os outros gestos abaixo) reage apenas a um toque específico. Para detectar outros toques, como Menu ou Garra, seu aplicativo deve usar diretamente as interações de nível inferior descritas na seção de gestos de dois componentes principais acima.
Fechar e abrir dedos indicador e polegar e manter
Manter é simplesmente manter a posição do dedo para baixo no gesto de fechar e abrir dedos indicador e polegar. A combinação de toque e espera de ar permite várias interações mais complexas de "clicar e arrastar" quando combinadas com o movimento do braço, como pegar um objeto em vez de ativá-lo ou interações secundárias do mousedown, como mostrar um menu de contexto. No entanto, tenha cuidado ao projetar esse gesto, pois os usuários podem ser propensos a relaxar suas posturas de mão durante qualquer gesto estendido.
manipulação
Gestos de manipulação podem ser usados para mover, redimensionar ou girar um holograma quando você deseja que o holograma reaja 1:1 aos movimentos das mãos do usuário. Um uso para essas movimentações de 1:1 é permitir que o usuário desenhe ou pinte no mundo. O direcionamento inicial de um gesto de manipulação deve ser feito pelo foco ou apontando. Depois que o toque e a espera são iniciados, qualquer manipulação de objeto é manipulada por movimentos das mãos, o que libera o usuário para olhar ao redor enquanto ele manipula.
Navegação
Os gestos de navegação funcionam como um joystick virtual e podem ser usados para navegar por widgets de interface do usuário, como menus radiais. Feche e abra os dedos indicador e polegar e mantenha para iniciar o gesto e, em seguida, mova a mão dentro de um cubo 3D normalizado, centralizado em torno do pressionamento inicial. Você pode mover sua mão ao longo do eixo X, Y ou Z de um valor de -1 para 1, sendo 0 o ponto de partida. A navegação pode ser usada para criar gestos de rolagem ou zoom contínuo baseados em velocidade, semelhante à rolagem de uma interface do usuário 2D com um clique no botão do meio do mouse e, em seguida, a movimentação do mouse para cima e para baixo.
A navegação com trilhos refere-se à capacidade de reconhecer movimentos em determinados eixos até que um determinado limite seja atingido nesse eixo. Isso só é útil quando a movimentação em mais de um eixo é habilitada em um aplicativo pelo desenvolvedor, como se um aplicativo estivesse configurado para reconhecer gestos de navegação no eixo X, Y, mas também no eixo X especificado com trilhos. Nesse caso, o sistema reconhecerá os movimentos das mãos no eixo X, desde que permaneçam dentro de um trilho imaginário (guia) no eixo X, se o movimento da mão também ocorrer no eixo Y.
Em aplicativos 2D, os usuários podem usar gestos de navegação vertical para rolagem, zoom ou operações de arrastar dentro do aplicativo. Isso injeta toques de dedo virtuais no aplicativo para simular gestos de toque do mesmo tipo. Os usuários podem selecionar quais dessas ações ocorrem alternando entre as ferramentas na barra acima do aplicativo, selecionando o botão ou dizendo "<Ferramenta rolar/arrastar/zoom> ".
Mais informações sobre gestos compostos
Reconhecedores de gestos
Um benefício de usar o reconhecimento de gestos é que você pode configurar um reconhecedor de gestos apenas para os gestos que o holograma de destino atualmente pode aceitar. A plataforma só faz a desambiguação conforme necessário para distinguir esses gestos com suporte específicos. Dessa forma, um holograma que dá suporte apenas à torneira de ar pode aceitar qualquer período de tempo entre a imprensa e a liberação, enquanto um holograma que dá suporte a toque e espera pode promover o toque para uma retenção após o limite de tempo de retenção.
Reconhecimento de mão
O HoloLens reconhece gestos de mão acompanhando a posição de uma ou das duas mãos visíveis para o dispositivo. O HoloLens vê as mãos quando elas estão no estado pronto (parte posterior da mão voltada para você com o dedo indicador para cima) ou no estado pressionado (parte posterior da mão voltada para você com o dedo indicador para baixo). Quando as mãos estão em outras poses, o HoloLens as ignora. Para cada mão detectada pelo HoloLens, você pode acessar sua posição sem orientação e seu estado pressionado. Conforme a mão se aproxima da borda do quadro de gesto, você também recebe um vetor de direção, que você pode mostrar ao usuário para que ele saiba como mover a mão para retorná-la ao local em que o HoloLens possa vê-la.
Quadro de gesto
Para gestos no HoloLens, a mão deve estar dentro de um quadro de gestos, em uma faixa que as câmeras de sensoriamento de gestos podem ver adequadamente, do nariz à cintura e entre os ombros. Os usuários precisam ser treinados nessa área de reconhecimento para o sucesso da ação e para seu próprio conforto. Inicialmente, muitos usuários assumirão que o quadro de gestos deve estar dentro de sua exibição por meio do HoloLens e manter os braços desconfortavelmente para interagir. Ao usar o Clicker do HoloLens, não é necessário que as mãos estejam dentro do quadro de gestos.
Para gestos contínuos em particular, há algum risco de os usuários moverem as mãos para fora do quadro de gestos enquanto estiverem no meio do gesto ao mover um objeto holográfico, por exemplo, e perderem o resultado pretendido.
Há três coisas que você deve considerar:
Educação do usuário sobre a existência do quadro de gestos e limites aproximados. Isso é ensinado durante a instalação do HoloLens.
Notificar os usuários quando seus gestos estão se aproximando ou quebrando os limites do quadro de gestos dentro de um aplicativo na medida em que um gesto perdido leva a resultados indesejados. Pesquisas mostraram as principais qualidades desse sistema de notificação. O shell do HoloLens fornece um bom exemplo desse tipo de notificação– visual, no cursor central, indicando a direção na qual a passagem de limite está ocorrendo.
As consequências de sair dos limites do quadro do gesto deverão ser minimizadas. Em geral, isso significa que o resultado de um gesto deve ser interrompido no limite e não revertido. Por exemplo, se um usuário estiver movendo algum objeto holográfico em uma sala, o movimento deverá parar quando o quadro de gestos for violado e não retornar ao ponto de partida. O usuário pode experimentar alguma frustração, mas pode entender mais rapidamente os limites e não precisar reiniciar suas ações completas a cada vez.