Comandos de movimento

Os controladores de movimento são acessórios de hardware que permitem que os utilizadores tomem medidas na realidade mista. Uma vantagem dos comandos de movimento em vez dos gestos é que os controladores têm uma posição precisa no espaço, permitindo uma interação detalhada com objetos digitais. Para Windows Mixed Reality headsets envolventes, os comandos de movimento são a principal forma de os utilizadores agirem no seu mundo.

Imagem: Um comando de movimento Windows Mixed Reality

---

Suporte de dispositivos

Funcionalidade	HoloLens (1.ª geração)	HoloLens 2	Headsets envolventes
Comandos de movimento	❌	❌	✔️

Detalhes do hardware

Windows Mixed Reality comandos de movimento oferecem um controlo de movimento preciso e reativo no seu campo de visão através dos sensores nos auscultadores envolventes. Não é necessário instalar hardware nas paredes do seu espaço. Estes comandos de movimento oferecem a mesma facilidade de configuração e portabilidade que Windows Mixed Reality auriculares envolventes. Os nossos parceiros de dispositivos planeiam comercializar e vender estes controladores em prateleiras de retalho neste feriado.

Conhecer o seu controlador

Funcionalidades:

• Controlo ótico
• Acionador
• Botão Agarrar
• Manípulo
• Touchpad

Configuração

Antes de começar

Precisará:

• Um conjunto de dois comandos de movimento.
• Quatro pilhas AA.
• Um PC com suporte Bluetooth 4.0.

Procurar atualizações do Windows, Unity e controladores

• Visite Instalar as ferramentas para as versões preferenciais do Windows, Unity, etc., para desenvolvimento de realidade mista.
• Certifique-se de que tem os auscultadores e os controladores de movimento mais atualizados.

Controladores de emparelhamento

Os controladores de movimento podem ser ligados ao PC anfitrião através das definições do Windows, como qualquer outro dispositivo Bluetooth.

1. Insira duas pilhas AA na parte de trás do comando. Deixe a tampa da bateria desativada por enquanto.
2. Se estiver a utilizar um Adaptador Bluetooth USB externo em vez de um rádio Bluetooth incorporado, reveja as melhores práticas de Bluetooth antes de continuar. Para configuração do ambiente de trabalho com rádio incorporado, certifique-se de que a antena está ligada.
3. Abra As Definições do Windows ->Dispositivos ->Adicionar Bluetooth ou outro dispositivo ->Bluetooth e remova quaisquer instâncias anteriores de "Comando de movimento – Direita" e "Comando de movimento – Esquerda". Verifique também a categoria Outros dispositivos na parte inferior da lista.
4. Selecione Adicionar Bluetooth ou outro dispositivo e veja-o a começar a detetar dispositivos Bluetooth.
5. Prima sem soltar o botão windows do controlador para ativar o controlador, solte assim que tocar.
6. Prima sem soltar o botão de emparelhamento (separador no compartimento das pilhas) até os LEDs começarem a pulsar.

7. Aguarde "Comando de movimento – Esquerda" ou "Comando de movimento – Direita" para aparecer na parte inferior da lista. Selecione para emparelhar. O controlador vibrará uma vez quando estiver ligado.
   
   Imagem: selecione "Comando de movimento" para emparelhar; se existirem várias instâncias, selecione uma na parte inferior da lista

8. Verá o controlador a aparecer nas definições de Bluetooth na categoria "Rato, teclado & caneta" como Ligado. Neste momento, poderá obter uma atualização de firmware – consulte a secção seguinte.
9. Volte a encaixar a tampa da bateria.
10. Repita os passos 1 a 9 para o segundo controlador.

Depois de emparelhar os dois controladores com êxito, as definições deverão ter o seguinte aspeto, na categoria "Rato, teclado & caneta"

Imagem: Comandos de movimento ligados

Se os controladores estiverem desativados após o emparelhamento, o respetivo estado será apresentado como Emparelhado. Para controladores permanentemente na categoria "Outros dispositivos", o emparelhamento só pode ter sido parcialmente concluído. Neste caso, execute novamente os passos de emparelhamento para que o controlador funcione.

Atualizar o firmware do controlador

• Se um headset envolvente estiver ligado ao PC com o novo firmware do controlador disponível, o firmware será enviado automaticamente para os comandos de movimento da próxima vez que os ativar. As atualizações de firmware do controlador são indicadas por um padrão de iluminação dos quadrantes LED num movimento circular e demoram 1 a 2 minutos.

• Após a conclusão da atualização de firmware, os controladores serão reiniciados e restabelecerão a ligação. Ambos os controladores devem estar ligados agora.
  
  Imagem: Controladores ligados nas definições de Bluetooth

• Verifique se os controladores funcionam corretamente:
  1. Inicie Mixed Reality Portal e introduza o seu Mixed Reality Home Page.
  2. Mova os controladores e verifique o controlo, os botões de teste e verifique se a teletransporte funciona. Se não o fizerem, veja a resolução de problemas do controlador de movimento.

Observar e apontar

Windows Mixed Reality suporta dois modelos-chave para interação; olhar e consolidar e apontar e consolidar:

• Com o olhar e a consolidação, os utilizadores direcionam um objeto com o respetivo olhar e, em seguida, selecionam objetos com toques de ar à mão, um gamepad, um clicker ou a respetiva voz.
• Com o ponto e a consolidação, um utilizador pode apontar um controlador de movimento com capacidade para apontar para o objeto de destino e, em seguida, selecionar objetos com o acionador do controlador.

As aplicações que suportam a apontar com controladores de movimento também devem ativar interações orientadas por olhares atentos sempre que possível, para dar aos utilizadores uma escolha em que dispositivos de entrada utilizam.

Gerir o recuo ao apontar

Ao utilizar controladores de movimento para apontar e consolidar, os utilizadores utilizarão o controlador para direcionar e interagir ao solicitar o acionador. Os utilizadores que puxam o acionador vigorosamente podem acabar por apontar o controlador para um nível mais alto no final da solicitação do acionador do que pretendiam.

Para gerir qualquer recuo que possa ocorrer quando os utilizadores solicitam o acionador, a aplicação pode encaixar o raio de destino quando o valor do eixo analógico do acionador é superior a 0,0. Em seguida, pode tomar medidas com esse raio de destino alguns frames mais tarde, assim que o valor do acionador atingir 1,0, desde que a imprensa final ocorra num curto espaço de tempo. Ao utilizar o gesto de Toque composto de nível superior, o Windows irá gerir esta captura de raios de destino e tempo limite para si.

Pose de aderência vs. pose apontando

Windows Mixed Reality suporta controladores de movimento em diferentes fatores de forma, com a estrutura de cada controlador a diferir na sua relação entre a posição da mão do utilizador e a direção natural "para a frente" que as aplicações devem utilizar para apontar ao compor o controlador.

Para representar melhor estes controladores, existem dois tipos de poses que pode investigar para cada origem de interação; a pose de aderência e a posição do ponteiro.

Pose de aderência

A posição de aderência representa a localização da palma de uma mão detetada por um HoloLens ou da palma da mão que segura um controlador de movimento.

Nos auscultadores envolventes, a pose de aderência é melhor utilizada para compor a mão do utilizador ou um objeto na mão do utilizador, como uma espada ou arma. A pose de aderência também é utilizada ao visualizar um controlador de movimento, uma vez que o modelo renderizável fornecido pelo Windows para um controlador de movimento utiliza a pose de aderência como a sua origem e centro de rotação.

A pose de aderência é definida especificamente da seguinte forma:

• Posição de aderência: o centroide da palma da mão ao segurar o controlador naturalmente, ajustado à esquerda ou à direita para centrar a posição dentro da aderência. No comando de movimento Windows Mixed Reality, esta posição alinha-se geralmente com o botão Agarrar.
• Eixo direito da orientação da aderência: quando abre completamente a mão para formar uma pose plana de cinco dedos, o raio que é normal na palma da mão (para a frente a partir da palma da mão esquerda, para trás a partir da palma da mão direita)
• O eixo Reencaminhamento da orientação da aderência: quando fecha parcialmente a mão (como se estivesse a segurar o controlador), o raio que aponta "para a frente" através do tubo formado pelos seus dedos que não sejam polegares.
• A orientação da aderência é Eixo superior: o eixo Cima implícito pelas definições Direita e Reencaminhamento.

Pose de ponteiro

A posição do ponteiro representa a ponta do controlador que aponta para a frente.

A pose de ponteiro fornecida pelo sistema é melhor utilizada para raycast quando estiver a compor o próprio modelo de controlador. Se estiver a compor outro objeto virtual em vez do controlador, como uma arma virtual, deve apontar com um raio mais natural para esse objeto virtual, como um raio que viaja ao longo do cano do modelo de arma definido pela aplicação. Uma vez que os utilizadores podem ver o objeto virtual e não o controlador físico, apontar com o objeto virtual será provavelmente mais natural para aqueles que utilizam a sua aplicação.

Estado de controlo do controlador

Tal como os auscultadores, o comando de movimento Windows Mixed Reality não necessita de configuração de sensores de controlo externos. Em vez disso, os controladores são controlados por sensores nos próprios auscultadores.

Se o utilizador mover os controladores para fora do campo de vista do headset, na maioria dos casos, o Windows continuará a inferir posições de controlador e a disponibilizá-los à aplicação. Quando o controlador perder o controlo visual durante tempo suficiente, as posições do controlador serão baixadas para posições de precisão aproximada.

Neste momento, o sistema irá bloquear o corpo do controlador para o utilizador, seguindo a posição do utilizador à medida que se deslocam, ao mesmo tempo que expõe a verdadeira orientação do controlador com os sensores de orientação internos. Muitas aplicações que utilizam controladores para apontar e ativar elementos de IU podem funcionar normalmente com precisão aproximada sem que o utilizador se aperpere.

Raciocínio sobre o estado de controlo explicitamente

As aplicações que pretendem tratar posições de forma diferente com base no estado de controlo podem ir mais longe e inspecionar as propriedades no estado do controlador, como SourceLossRisk e PositionAccuracy:

Estado de controlo	SourceLossRisk	PositionAccuracy	TryGetPosition
Precisão elevada	< 1.0	Alto	true
Elevada precisão (em risco de perda)	== 1,0	Alto	true
Precisão aproximada	== 1,0	Aproximado	true
Sem posição	== 1,0	Aproximado	false

Estes estados de controlo do controlador de movimento são definidos da seguinte forma:

• Precisão elevada: Embora o controlador de movimento esteja no campo de vista do headset, geralmente fornecerá posições de alta precisão, com base no controlo visual. Um controlador móvel que sai momentaneamente do campo de vista ou está momentaneamente obscurecido dos sensores dos auscultadores (por exemplo, por outra mão do utilizador) continuará a devolver poses de alta precisão por um curto período de tempo, com base no controlo inercial do próprio controlador.
• Elevada precisão (em risco de perda): Quando o utilizador move o controlador de movimento para além da extremidade do campo de vista do headset, o headset não conseguirá controlar visualmente a posição do controlador. A aplicação sabe quando o controlador atingiu este limite FOV ao ver o SourceLossRisk chegar à 1.0. Nessa altura, a aplicação pode optar por colocar em pausa os gestos do controlador que requerem um fluxo constante de poses de alta qualidade.
• Precisão aproximada: Quando o controlador perder o controlo visual durante tempo suficiente, as posições do controlador serão baixadas para posições de precisão aproximada. Neste momento, o sistema irá bloquear o corpo do controlador para o utilizador, seguindo a posição do utilizador à medida que se deslocam, ao mesmo tempo que expõe a verdadeira orientação do controlador com os sensores de orientação internos. Muitas aplicações que utilizam controladores para apontar e ativar elementos de IU podem funcionar normalmente enquanto estão em precisão aproximada sem que o utilizador se aperpere. As aplicações com requisitos de entrada mais pesados podem optar por detetar esta queda de Alta precisão para Precisão aproximada ao inspecionar a propriedade PositionAccuracy , por exemplo, para dar ao utilizador uma caixa de acesso mais generosa em destinos fora do ecrã durante este período.
• Sem posição: Embora o controlador possa operar com precisão aproximada durante muito tempo, por vezes o sistema sabe que mesmo uma posição bloqueada pelo corpo não é significativa neste momento. Por exemplo, um controlador que foi ativado pode nunca ter sido observado visualmente ou um utilizador pode colocar um controlador que é depois recolhido por outra pessoa. Nessas alturas, o sistema não fornecerá qualquer posição à aplicação e TryGetPosition devolverá false.

Interações: entrada espacial de baixo nível

As interações principais entre as mãos e os comandos de movimento são Select, Menu, Grasp, Touchpad, Thumbstick e Home.

• Selecionar é a interação principal para ativar um holograma, que consiste numa premição seguida de uma versão. Para controladores de movimento, efetue uma premição Selecionar com o acionador do controlador. Outras formas de efetuar uma Seleção são ao falar o comando de voz "Selecionar". A mesma interação selecionar pode ser utilizada em qualquer aplicação. Pense em Selecionar como o equivalente a um clique do rato; uma ação universal que aprende uma vez e, em seguida, aplica-se em todas as suas aplicações.
• Menu é a interação secundária para agir num objeto, utilizada para obter um menu de contexto ou efetuar outra ação secundária. Com os comandos de movimento, pode efetuar uma ação de menu com o botão de menu do controlador. (ou seja, o botão com o ícone "menu" de hambúrguer)
• Compreender é como os utilizadores podem agir diretamente sobre os objetos à sua mão para manipulá-los. Com os comandos de movimento, você pode fazer uma ação de agarrar apertando o punho firmemente. Um controlador de movimento pode detetar um Grab com um botão de agarrar, um acionador de palma ou outro sensor.
• O touchpad permite ao utilizador ajustar uma ação em duas dimensões ao longo da superfície do touchpad de um comando de movimento, ao consolidar a ação ao clicar no touchpad. Os touchpads fornecem um estado premido, um estado tátil e coordenadas XY normalizadas. X e Y variam entre -1 e 1 ao longo do intervalo do touchpad circular, com um centro em (0, 0). Para X, -1 está à esquerda e 1 à direita. Para Y, -1 está na parte inferior e 1 está na parte superior.
• O thumbstick permite ao utilizador ajustar uma ação em duas dimensões ao mover o manípulo do controlador de movimento dentro do intervalo circular, ao consolidar a ação ao clicar no manípulo. Os manípulos também fornecem um estado premido e coordenadas XY normalizadas. X e Y variam entre -1 e 1 ao longo do intervalo do touchpad circular, com um centro em (0, 0). Para X, -1 está à esquerda e 1 à direita. Para Y, -1 está na parte inferior e 1 está na parte superior.
• Home Page é uma ação de sistema especial que é utilizada para voltar ao Menu Iniciar. É semelhante a premir a tecla Windows num teclado ou no botão Xbox num comando Xbox. Pode aceder a Base premindo o botão do Windows num comando de movimento. Tenha em atenção que pode sempre voltar a Iniciar ao dizer "Olá Cortana, Ir para Casa". As aplicações não podem reagir especificamente às ações da Home Page, uma vez que são processadas pelo sistema.

Gestos compostos: entrada espacial de alto nível

Tanto os gestos de mão como os comandos de movimento podem ser monitorizados ao longo do tempo para detetar um conjunto comum de gestos compostos de alto nível. Isto permite que a sua aplicação detete gestos de toque, suspensão, manipulação e navegação de alto nível, quer os utilizadores acabem por utilizar mãos ou controladores.

Compor o modelo do controlador de movimento

Modelos de controlador 3D O Windows disponibiliza às aplicações um modelo renderizável de cada controlador de movimento atualmente ativo no sistema. Ao fazer com que a sua aplicação carregue e articulasse dinamicamente estes modelos de controlador fornecidos pelo sistema no runtime, pode garantir que a sua aplicação é compatível com o reencaminhamento para quaisquer designs de controlador futuros.

Recomendamos a composição de todos os modelos renderizáveis na posição de aderência do controlador, uma vez que a origem do modelo está alinhada com este ponto no mundo físico. Se estiver a compor modelos de controlador, poderá então querer fazer raycast na sua cena a partir da pose do ponteiro, que representa o raio ao longo do qual os utilizadores irão naturalmente esperar apontar, dado o design físico desse controlador.

Para obter mais informações sobre como carregar modelos de controlador dinamicamente no Unity, veja a secção Compor o modelo do controlador de movimento no Unity .

Arte de linha do controlador 2D Embora recomendemos anexar sugestões e comandos do controlador na aplicação aos próprios modelos de controlador na aplicação, alguns programadores podem querer utilizar representações de arte de linha 2D dos controladores de movimento na IU "tutorial" simples ou "procedimentos". Para esses programadores, disponibilizámos .png ficheiros art de linha do controlador de movimento a preto e branco abaixo (clique com o botão direito do rato para guardar).

Comandos de movimento de resolução completa line art in '''white''

Comandos de movimento de resolução completa line art in '''black''

FAQ

Posso emparelhar comandos de movimento para vários PCs?

Os comandos de movimento suportam o emparelhamento com um único PC. Siga as instruções sobre a configuração do controlador de movimento para emparelhar os controladores.

Como devo proceder para atualizar o firmware do controlador de movimento?

O firmware do controlador de movimento faz parte do controlador do headset e será atualizado automaticamente na ligação, se necessário. Normalmente, as atualizações de firmware demoram 1 a 2 minutos, dependendo da qualidade da ligação e do rádio Bluetooth. Em casos raros, as atualizações de firmware do controlador podem demorar até 10 minutos, o que pode indicar uma fraca conectividade Bluetooth ou interferência de rádio. Veja As melhores práticas de Bluetooth no Guia do Entusiasta para resolver problemas de conectividade. Após uma atualização de firmware, os controladores serão reiniciados e voltarão a ligar-se ao PC anfitrião (poderá reparar que os LEDs ficam brilhantes para controlo). Se uma atualização de firmware for interrompida (por exemplo, os controladores perdem energia), será novamente tentada da próxima vez que os controladores estiverem ligados.

Como posso verificar o nível da bateria?

Na Windows Mixed Reality casa, pode virar o controlador para ver o nível da bateria no lado inverso do modelo virtual. Não existe nenhum indicador físico ao nível da bateria.

Pode utilizar estes comandos sem auscultadores? Só para a entrada joystick/acionador/etc.?

Não para Aplicações Universais do Windows.

Resolução de problemas

Veja Resolução de problemas do controlador de movimento no Guia do Entusiasta.

Arquivar comentários/erros do controlador de movimento

Envie-nos comentários no Hub de Comentários com a categoria "Mixed Reality -> Input".

Ver também

• Comandos de movimento no Unity
• Comandos de mãos e movimentos no DirectX
• Gestos
• Guia do Entusiasta: A sua casa Windows Mixed Reality
• Guia do Entusiasta: Utilizar aplicações & jogos no Windows Mixed Reality
• Como funciona o controlo interno