O que é o Kit de Ferramentas de Realidade Misturada 2?

MRTK-Unity é um projeto conduzido pela Microsoft que fornece um conjunto de componentes e recursos usados para acelerar o desenvolvimento de aplicativos MR de plataforma cruzada no Unity. Confira algumas funções dele abaixo:

• Fornece o sistema de entrada multiplataforma e os blocos de construção para interações espaciais e interface do usuário.
• Habilita a prototipagem rápida por meio de simulação no editor, que permite ver as alterações imediatamente.
• Opera como uma estrutura extensível que fornece aos desenvolvedores a capacidade de trocar componentes principais.
• Dá suporte a uma ampla variedade de dispositivos:

Plug-in XR SDK (Provedores de plug-in de gerenciamento do Plug-in XR do Unity)	Dispositivos com suporte
Plug-in Unity OpenXR (Unity 2020 ou 2021 LTS) (Plug-in OpenXR de Realidade Misturada necessário para certos recursos em determinados dispositivos)	Microsoft HoloLens 2 Headsets Windows Mixed Reality Meta Quest Dispositivo em execução no SteamVR via OpenXR
Plug-in do Windows XR	Microsoft HoloLens Microsoft HoloLens 2 Headsets do Windows Mixed Reality
Plug-in Oculus XR (Unity 2019 ou LTS mais recente)	Meta Quest (por meio do Pacote de Integração do Oculus)
Plug-in ARCore XR	Android (pelo AR Foundation)
Plug-in ARKit XR	iOS (pelo AR Foundation)

Dispositivos adicionais com suporte:

• Ultraleap Leap Motion Controller para controle de mãos

Observação

Apresentamos a versão prévia pública do MRTK3, o próximo capítulo do MRTK. Para obter mais informações, acesse a documentação do MRTK3.

Introdução ao MRTK

Se você for novato no desenvolvimento com MRTK ou Realidade Misturada no Unity, recomendamos que instale e explore o aplicativo de exemplo do Hub de Exemplos do MRTK em seu dispositivo ou emulador.

Baixar o aplicativo Hub de exemplos de MRTK

Assim que você compreender o que a Realidade Misturada e o MRTK têm a oferecer, instale as ferramentas necessárias e siga nossa série de tutoriais de nível de principiante do HoloLens 2.

Instalar as ferramentas

Série de tutoriais do HoloLens 2

Quer ver o que está acontecendo nos bastidores?

Explorar o MRTK no GitHub

Documentação

Notas de Versão	Visão geral do MRTK	Referência da API

Status do Build

Branch	Status de CI	Status dos documentos
main

Áreas de recursos

Sistema de entrada

Rastreamento de mãos
(HoloLens 2)

Rastreamento ocular
(HoloLens 2)

Perfis

Rastreamento de mãos
(Ultraleap)

Controles da interface do usuário

Solvers

Gerenciador de
Várias Cenas

Espacial
Espacial

Diagnóstico
diagnóstico

Exibição de exemplo do Sombreador Padrão do MRTK

Fala
& Ditado

Fronteira
limites

No editor
editor

Experimental
experimentais

Blocos de construção de experiência do usuário

Botão
Um controle de botão que dá suporte a vários métodos de entrada, incluindo a mão articulada do HoloLens 2

Controle de limites
Interface do usuário padrão para manipular objetos no espaço 3D

Manipulador de objetos
Script para manipular objetos com uma ou duas mãos

Slate
Plano de estilo 2D que dá suporte à rolagem com entrada de mão articulada

Teclado do sistema
Exemplo de script de uso do teclado do sistema no Unity

Interacionável
Um script para tornar os objetos interativos com os estados visuais e o suporte a temas

Solver
Vários comportamentos de posicionamento de objeto, como marca, bloqueio de corpo, tamanho de exibição constante e magnetismo de superfície

Coleção de objetos
Script para dispor uma matriz de objetos em uma forma tridimensional

Tooltip
A interface do usuário de anotações com um sistema de âncora/dinâmico flexível, que pode ser usado para rotular controladores de movimento e objetos

Controle deslizante
Interface do usuário do controle deslizante para ajustar valores que dão suporte à interação direta de acompanhamento da mão

Sombreador Padrão do MRTK
O sombreador padrão do MRTK dá suporte a vários elementos de Fluent Design com desempenho

Menu de Mãos
Interface do usuário protegida por mão para acesso rápido, usando o solucionador de restrição de mão

Barra de aplicativos
Interface do usuário para ativação manual do controle de limites

Ponteiros
Saiba mais sobre os vários tipos de ponteiros

Visualização na ponta do dedo
A funcionalidade visual na ponta do dedo, que aprimora a confiança da interação direta

Próximo ao Menu
Interface do usuário do menu flutuante para as interações próximas

Exibição de Reconhecimento Espacial
Fazer com que seus objetos holográficos interajam com os ambientes físicos

Comando de voz
Scripts e exemplos para integrar a entrada de fala

Indicador de progresso
Indicador visual para comunicação do processo de dados ou operação

Caixa de diálogo
Interface de usuário para solicitar confirmação ou reconhecimento do usuário

Orientador de mão
Componente que ajuda a orientar o usuário quando o gesto não foi ensinado

Serviço de Física da Mão [Experimental]
O serviço de física de mão permite eventos de colisão de corpo rígido e interações com mãos articuladas

Coleção de rolagem
Uma coleção de objetos que rola nativamente objetos 3D

Doca [Experimental]
A Doca permite que os objetos sejam movidos para dentro e para fora das posições predeterminadas

Rastreamento ocular: seleção de alvo
Combine a entrada de olhos, voz e mão para selecionar com rapidez e facilidade os hologramas em sua cena

Rastreamento ocular: navegação
Saiba como rolar automaticamente o texto ou ampliar de maneira fluente o conteúdo focado com base no que você está vendo

Rastreamento ocular: mapa de calor
Exemplos de registro em log, carregamento e visualização do que os usuários estão olhando em seu aplicativo

Ferramentas

Janela Otimizar	Janela de dependência	Janela de construção	Gravação de entrada
Automatizar a configuração de projetos de realidade misturada para otimizações de desempenho	Analisar dependências entre ativos e identificar ativos não utilizados	Configurar e executar um processo de compilação de ponta a ponta para aplicativos de realidade misturada	Movimentação de cabeçotes de gravação e reprodução e dados de acompanhamento da mão no editor

Cenas de exemplo

O MRTK fornece cenas de exemplo que demonstram como usar os recursos do MRTK. Encontre as cenas de exemplo na pasta Assets/MRTK/Examples/Demos. Leia a página Cenas de exemplo para saber como adquirir e executar cenas de exemplo. A cena Exemplos de Interação com a Mão é um ótimo lugar para começar a experimentar com os blocos de construção do MRTK para interações e a interface do usuário.

Hub de exemplos do MRTK

Com o Hub de Exemplos do MRTK, você pode experimentar várias cenas de exemplo no MRTK sem compilação e implantar cada cena. Você pode baixar pacotes de aplicativos pré-criados para o HoloLens (x86), o HoloLens 2(ARM) e os headsets imersivos do Windows Mixed Reality (x64) selecionando o pacote "Exemplos do Kit de Ferramentas de Realidade Misturada" na ferramenta de recurso de MR. Use o Portal de Dispositivos do Windows para instalar aplicativos no HoloLens (1ª geração). No HoloLens 2, você pode baixar e instalar o Hub de exemplos do MRTK por meio do aplicativo Microsoft Store.

Confira a página LEIAME do hub de exemplos para saber mais sobre os detalhes de como criar um hub de várias cenas com o sistema de cena do MRTK e o serviço de transição de cena.

Aplicativos de exemplo feitos com o MRTK

A tabela periódica dos elementos é um aplicativo de exemplo de software livre que demonstra como usar o sistema de entrada e os blocos de construção do MRTK a fim de criar uma experiência de aplicativo para o HoloLens e os headsets imersivos. Leia a história de portagem: Como trazer o aplicativo Tabela periódica dos elementos para o HoloLens 2 com o MRTK v2	O Galaxy Explorer é um aplicativo de exemplo de software livre originalmente desenvolvido em março de 2016 como parte da campanha 'Compartilhe sua ideia' do HoloLens. O Galaxy Explorer foi atualizado com novos recursos para o HoloLens 2, usando o MRTK v2. Leia a história: A criação do Galaxy Explorer para o HoloLens 2	O Surfaces é um aplicativo de exemplo de software livre para o HoloLens 2, que explora como podemos criar uma sensação tátil com visual, áudio e acompanhamento da mão totalmente articulado. Confira a sessão do Microsoft MR Dev Days Aprendizados com o aplicativo Surfaces para ver o design detalhado e a história de desenvolvimento.

Vídeos de sessão do evento Mixed Reality Dev Days 2020

Tutorial sobre como criar um aplicativo MRTK simples do início ao fim. Saiba mais sobre os conceitos de interação e os recursos multiplataforma do MRTK.	Aprofunde-se nos blocos de construção de experiência do usuário do MRTK que ajudam você a criar belas experiências de realidade misturada.	Uma introdução a ferramentas de desempenho, no MRTK e externas, assim como uma visão geral do Sombreador Padrão do MRTK.

Confira o evento Mixed Reality Dev Days para explorar mais vídeos de sessão.

Envolva-se com a comunidade

• Junte-se à conversa sobre MRTK no Slack. Você pode ingressar na comunidade do Slack por meio do remetente de convite automático.

• Faça perguntas sobre como usar o MRTK no Stack Overflow usando a marca MRTK.

• Procure problemas conhecidos ou registre um novo problema se você encontrar algo errado no código MRTK.

• Para dúvidas sobre como contribuir com o MRTK, vá para o canal mixed-reality-toolkit no Slack.

Este projeto adotou o Código de Conduta de Software Livre da Microsoft. Para obter mais informações, confira as Perguntas frequentes sobre o código de conduta ou entre em contato com opencode@microsoft.com para enviar outras perguntas ou comentários.

Recursos úteis no Centro de Desenvolvimento de Realidade Misturada

Descobrir	Projetar	Desenvolver	Distribuir
Saiba como criar experiências de realidade misturada para o HoloLens e headsets imersivos (VR).	Obtenha guias de design. Crie interface do usuário. Saiba mais sobre as interações e a entrada.	Obtenha guias de desenvolvimento. Conheça a tecnologia. Entenda a ciência.	Prepare seu aplicativo para outras pessoas e considere a criação de um iniciador 3D.

Recursos úteis no Azure

Âncoras Espaciais	Serviços de Fala	Serviços de visão
As Âncoras Espaciais são um serviço multiplataforma que permite que você crie experiências de Realidade Misturada usando objetos que mantêm seu local em todos os dispositivos ao longo do tempo.	Descubra e integre as funcionalidades de fala habilitadas para Azure como conversão de fala em texto, reconhecimento de locutor ou tradução de fala em seu aplicativo.	Identifique e analise seu conteúdo de imagem ou de vídeo usando os Serviços de Visão como pesquisa visual computacional, detecção facial, reconhecimento de emoções ou video indexer.

Como colaborar

Saiba como contribuir com o MRTK em Como contribuir.

Obtendo ajuda

Se você tiver problemas causados pelo MRTK ou tiver dúvidas sobre como fazer algo, há alguns recursos que podem ajudar:

• Para relatórios de bugs, registre um problema no repositório GitHub.
• Se tiver dúvidas, entre em contato com StackOverflow ou com o canal mixed-reality-toolkit no Slack. Você pode ingressar na comunidade do Slack por meio do remetente de convite automático.