Modelos de interação
O Kit de Ferramentas de Realidade Mista permite consumir entradas de uma variedade de fontes de entrada, como controladores, mãos articuladas ou fala. Escolher o modelo de interação mais adequado para sua experiência de realidade mista exige que você identifique seu usuário e seus objetivos e considere quaisquer fatores situacionais ou ambientais que possam afetar sua experiência. Aqui, você aprenderá sobre os três principais modelos de interação para experiências de realidade mista e como simular a entrada no Unity.
Modelos de interação
Existem três modelos de interação principais que se adequam à maioria das experiências de realidade mista.
| Modelo | Cenários de exemplo | Ajustar |
|---|---|---|
| Comandos de movimento e mãos | Experiências espaciais 3D, como disposição espacial e design, manipulação de conteúdos ou simulação. | Excelente para novos utilizadores quando utilizado em combinação com voz, rastreamento ocular ou seguimento do olhar. Curva de aprendizagem reduzida. Experiência do utilizador consistente entre o rastreamento das mãos e controlos 6DoF. |
| Mãos-livres | Experiências contextuais em que as mãos de um utilizador estão ocupadas, como aprendizagem prática e manutenção. | É necessária alguma aprendizagem. Se as mãos não estiverem livres, o dispositivo funcionará bem com voz e linguagem natural. |
| Olhar e confirmar | Experiências click-through; por exemplo, apresentações 3D ou demonstrações. | Requer treinamento em dispositivos montados na cabeça, mas não em dispositivos móveis. Melhor para comandos acessíveis. |
Embora você possa combinar partes de vários modelos de interação em sua experiência de realidade mista, esteja ciente de que isso cria o risco de entrada de usuário concorrentes, como raios de mão simultâneos e um cursor de olhar para a cabeça. Tal pode sobrecarregar e confundir os utilizadores.
Se a sua experiência exigir vários modelos de interação, tenha em mente que muitos utilizadores poderão encontrar dificuldades ao fazer a transição de um modelo para outro, especialmente os utilizadores que são novos na realidade mista.
Modelo de comandos de movimento e mãos
O modelo de comandos de movimento e mãos requer que os utilizadores utilizem uma ou as duas mãos para interagir com o mundo holográfico. Este modelo remove o limite entre o virtual e o físico.
Alguns cenários específicos incluem:
- Proporcionar aos técnicos de informação ecrãs virtuais 2D com funcionalidades de IU para apresentação e controlo de conteúdos
- Fornecendo tutoriais e guias para os trabalhadores da linha de frente para as linhas de montagem da fábrica
- Desenvolver ferramentas profissionais para auxiliar e formar os profissionais de saúde
- Usando objetos virtuais 3D para decorar o mundo real ou para criar outro mundo
- Criar serviços e jogos baseados na localização com o mundo real como plano de fundo
Existem três modalidades de comandos de movimento e mãos:
- Manipulação direta com as mãos
- Apontar e confirmar com as mãos
- Comandos de movimento
Modelo mãos-livres
O modelo mãos-livres permite que os usuários interajam com conteúdo holográfico sem usar as mãos. Essa abordagem é melhor para usar se o usuário precisar usar as mãos para atingir seus objetivos do mundo real e tiver dificuldade em interagir com uma interface baseada em mãos e controladores.
Alguns cenários específicos incluem:
- Ser guiado através de uma tarefa enquanto as mãos do usuário estão ocupadas
- Referenciar materiais enquanto as mãos do utilizador estão ocupadas
- Fadiga das mãos
- As luvas que não podem ser rastreadas
- Transportar algo nas mãos
- Estranheza social de fazer grandes gestos com as mãos
- Espaços apertados
Existem duas modalidades mãos-livres:
- Entrada de voz
- Olhar e Permanecer
Olhar e confirmar
Olhar e confirmar é um modelo de entrada que está intimamente relacionado com a forma como interagimos com computadores usando o mouse para apontar e clicar. Olhar e confirmar é considerado um modelo de entrada remota com manipulação indireta. Portanto, é melhor usar o olhar e o comprometimento ao interagir com conteúdo holográfico que está fora de alcance. Existem dois tipos de entrada de olhar (olhar de cabeça e olhar de olho) e diferentes ações de compromisso.
Depois que o usuário usa o olhar para direcionar um objeto ou elemento da interface do usuário, o usuário pode interagir ou selecioná-lo usando uma entrada secundária. Conhecido como o passo de confirmação do modelo de entrada. Os métodos de confirmação incluem comandos de voz, premir botões ou gestos de mão.
Simulação de entrada no editor do Unity
A simulação de entrada no editor do Unity permite-lhe testar o comportamento do objeto holográfico ao utilizar a interação com a mão ou com o olho.
Como se movimentar na cena:
- Use as teclas W / A / S / D para mover a câmera para a frente / esquerda / trás / direita.
- Use as teclas Q/E para mover a câmera verticalmente.
- Mantenha premido o botão direito do rato para rodar a câmara.
Como simular uma entrada da mão:
- Mantenha premida a barra de espaços para ativar a mão direita.
- Mantenha premida a barra de espaços e mova o rato para mover a mão.
- Utilize a roda do rato para ajustar a profundidade da mão.
- Clique no botão esquerdo do mouse para simular um gesto de pinçar.
- Use as teclas T/Y para tornar a mão persistente na vista.
- Segure a tecla CTRL e mova o mouse para girar a mão.
- Mantenha premida a tecla de shift esquerda para ativar a mão esquerda.