Che cos'è Realtà mista Toolkit 2?

MRTK-Unity è un progetto basato su Microsoft che fornisce un set di componenti e funzionalità, usato per accelerare lo sviluppo di app MR multipiattaforma in Unity. Ecco alcune delle sue funzioni:

• Fornisce il sistema di input multipiattaforma e i blocchi predefiniti per le interazioni spaziali e l'interfaccia utente.
• Consente la creazione rapida di prototipi tramite la simulazione in-editor che consente di visualizzare immediatamente le modifiche.
• Funziona come un framework estendibile che offre agli sviluppatori la possibilità di scambiare i componenti di base.
• Supporta un'ampia gamma di dispositivi:

Plug-in XR SDK (provider di plug-in per la gestione dei plug-in XR Unity)	Dispositivi supportati
Plug-in Unity OpenXR (Unity 2020 o 2021 LTS) (Realtà mista plug-in OpenXR necessario per determinate funzionalità in determinati dispositivi)	Microsoft HoloLens 2 Windows Mixed Reality auricolari Meta Quest Dispositivo in esecuzione su SteamVR tramite OpenXR
Plug-in XR di Windows	Microsoft HoloLens Microsoft HoloLens 2 Windows Mixed Reality auricolari
Plug-in Oculus XR (Unity 2019 o LTS più recenti)	Meta Quest (tramite Oculus Integration Package)
ARCore XR Plug-in	Android (tramite AR Foundation)
ARKit XR Plug-in	iOS (tramite AR Foundation)

Dispositivi aggiuntivi supportati:

• Controller Ultraleap Leap Motion per il rilevamento della mano

Nota

È stata introdotta l'anteprima pubblica di MRTK3, il prossimo capitolo di MRTK. Per altre informazioni, vedere la documentazione di MRTK3.

Introduzione a MRTK

Se non si ha familiarita' con MRTK o lo sviluppo di Realtà mista in Unity, è consigliabile installare ed esplorare l'applicazione di esempio MRTK Examples Hub nel dispositivo o nell'emulatore.

Scaricare l'app hub MRTK Examples

Dopo aver ottenuto il blocco di ciò che Realtà mista e MRTK ha da offrire, installare gli strumenti necessari e seguire la nostra serie di esercitazioni di livello principiante HoloLens 2.

Installare gli strumenti

serie di esercitazioni HoloLens 2

Vuoi vedere cosa sta succedendo sotto il cofano?

Esplorare MRTK in GitHub

Documentazione

Note sulla versione	Panoramica di MRTK	Informazioni di riferimento sulle API

Stato di compilazione

Branch	Stato ci	Stato della documentazione
main

Aree di funzionalità

Sistema di input

Rilevamento della mano
(HoloLens 2)

Tracciamento oculare
(HoloLens 2)

Profili

Rilevamento della mano
(Ultraleap)

Controlli dell'interfaccia utente

Solvers

Multi-Scene
Direttore

Spaziale
Consapevolezza

Diagnostico
Strumento

Visualizzazione di esempio Standard shader MRTK

Discorso
Dettatura &

Frontiera
Sistema

In-Editor
Simulazione

Sperimentale
Tratti somatici

Blocchi predefiniti dell'esperienza utente

Pulsante pulsante
Controllo pulsante che supporta vari metodi di input, tra cui la mano articolata di HoloLens 2

Controllo Bounds Control Bounds
Standard'interfaccia utente per la modifica di oggetti nello spazio 3D

Manipolatore oggetti Manipolatore oggetti
Script per la modifica di oggetti con una o due mani

Ardesia slate
Piano in stile 2D che supporta lo scorrimento con input della mano articolata

Tastiera di sistema Tastiera di sistema Tastiera
Script di esempio dell'uso della tastiera di sistema in Unity

Uno script per rendere gli oggetti interattivi con gli stati di visualizzazione e il supporto del tema

Risolutore risolutore
Vari comportamenti di posizionamento degli oggetti, ad esempio tag-along, blocco del corpo, dimensioni costanti della vista e magnetismo della superficie

oggetti dell'insieme Object
Script per il layout di una matrice di oggetti in una forma tridimensionale

comando
Interfaccia utente di annotazione con un sistema di ancoraggio/pivot flessibile, che può essere usato per etichettare i controller di movimento e gli oggetti

Dispositivo di scorrimento
Interfaccia utente dispositivo di scorrimento per la regolazione dei valori che supportano l'interazione di rilevamento diretto della mano

MRTK Standard Shader
Lo shader Standard di MRTK supporta vari elementi di progettazione Fluent con prestazioni

Menu a mano Menu a mano
Interfaccia utente bloccata a mano per un accesso rapido, usando il risolutore di vincoli di mano

Barra dell'app Barra delle app
Interfaccia utente per l'attivazione manuale del controllo Bounds

Puntatori puntatori
Informazioni sui vari tipi di puntatori

Visualizzazione della punta del dito Visualizzazione punta del dito
Affordance visiva sulla punta del dito che migliora la fiducia per l'interazione diretta

vicino al menu vicino al menu
Interfaccia utente del menu mobile per le interazioni vicine

Informazioni Introduzione alla visualizzazione consapevolezza spaziale
Fare in modo che gli oggetti olografici interagiscano con gli ambienti fisici

Comando vocale vocale
Script ed esempi per l'integrazione dell'input vocale

stato indicatore di stato
Indicatore visivo per la comunicazione del processo o dell'operazione dei dati

Finestra di dialogo
Interfaccia utente per la richiesta di conferma o conferma dell'utente

Hand Coach
Componente che consente di guidare l'utente quando il movimento non è stato insegnato

Hand Physics Service [Experimental]
Il servizio di fisica della mano consente eventi di collisione del corpo rigidi e interazioni con mani articolate

Raccolta di scorrimento
Raccolta di oggetti che scorre in modo nativo oggetti 3D

Dock [Sperimentale]
Il dock consente di spostare gli oggetti all'interno e all'esterno di posizioni predeterminate

Tracciamento oculare: Selezione destinazione
Combina gli occhi, la voce e l'input della mano per selezionare rapidamente e senza sforzo gli ologrammi nella scena

Tracciamento oculare di navigazione: navigazione
Informazioni su come scorrere automaticamente il testo o ingrandire fluentemente il contenuto attivo in base a ciò che si sta guardando

Tracciamento oculare mappa termica: Mappa termica
Esempi per la registrazione, il caricamento e la visualizzazione di ciò che gli utenti hanno esaminato nell'app

Strumenti

	delle dipendenze	di compilazione	Registrazione di input
Automatizzare la configurazione dei progetti Realtà mista per le ottimizzazioni delle prestazioni	Analizzare le dipendenze tra gli asset e identificare gli asset inutilizzati	Configurare ed eseguire un processo di compilazione end-to-end per le applicazioni Realtà mista	Registrare e riprodurre i dati di movimento della testa e rilevamento della mano nell'editor

Scene di esempio

MRTK offre scene di esempio che illustrano come usare le funzionalità di MRTK. Le scene di esempio sono disponibili nella cartella Assets/MRTK/Examples/Demos. Leggere la pagina Scene di esempio per informazioni su come acquisire ed eseguire scene di esempio. La scena Hand Interaction Examples è un ottimo punto di partenza per iniziare a sperimentare i blocchi predefiniti di MRTK per le interazioni e l'interfaccia utente.

Hub degli esempi di MRTK

Con l'hub degli esempi di MRTK, è possibile provare varie scene di esempio in MRTK senza compilare e distribuire ogni scena. È possibile scaricare pacchetti di app predefiniti per HoloLens(x86), HoloLens 2(ARM) e Windows Mixed Reality visori vr immersive (x64) selezionando il pacchetto "Realtà mista Toolkit Examples" nello strumento di funzionalità MR. Assicurarsi di usare il portale di dispositivi di Windows per installare le app in HoloLens (prima generazione). In HoloLens 2 è possibile scaricare e installare MRTK Examples Hub tramite l'app Microsoft Store.

Per informazioni dettagliate sulla creazione di un hub multi-scena con il sistema di scena e il servizio di transizione della scena di MRTK, vedere la pagina ESEMPI DI FILE LEGGIMI dell'hub.

App di esempio eseguite con MRTK

La tabella periodica degli elementi è un'app di esempio open source che illustra come usare il sistema di input di MRTK e i blocchi predefiniti per creare un'esperienza app per HoloLens e visori vr immersive. Leggi la storia della conversione: Portare la tabella periodica dell'app Elements a HoloLens 2 con MRTK v2	Galaxy Explorer è un'app di esempio open source sviluppata originariamente nel marzo 2016 come parte della campagna "Condividi la tua idea" di HoloLens. Galaxy Explorer è stato aggiornato con nuove funzionalità per HoloLens 2, usando MRTK v2. Leggi la storia: The Making of Galaxy Explorer for HoloLens 2	Surfaces è un'app di esempio open source per HoloLens 2 che esplora come creare una sensazione tattile con il tracciamento manuale visivo, audio e completamente articolato. Per informazioni dettagliate sulla progettazione e lo sviluppo, vedere La sessione di Microsoft MR Dev Days Learnings dall'app Surfaces .

Video di sessione da Realtà mista Dev Days 2020

Esercitazione su come creare una semplice app MRTK dall'inizio alla fine. Informazioni sui concetti di interazione e sulle funzionalità multipiattaforma di MRTK.	Approfondimento sui blocchi predefiniti dell'esperienza utente di MRTK che consentono di creare bellissime esperienze di realtà mista.	Introduzione agli strumenti per le prestazioni, sia in MRTK che all'esterno, nonché una panoramica di MRTK Standard Shader.

Vedere Realtà mista Dev Days per esplorare altri video di sessione.

Engage con la community

• Partecipa alla conversazione su MRTK su Slack. È possibile partecipare alla community di Slack tramite il mittente dell'invito automatico.

• Porre domande sull'uso di MRTK in Stack Overflow usando il tag MRTK .

• Cercare problemi noti o registrare un nuovo problema se si trova un problema nel codice MRTK.

• Per domande sul contributo a MRTK, passare al canale mixed-reality-toolkit su slack.

Il progetto ha adottato il Codice di comportamento Microsoft Open Source. Per altre informazioni, vedere domande frequenti sul codice di condotta o contattare opencode@microsoft.com eventuali domande o commenti aggiuntivi.

Risorse utili in Realtà mista Dev Center

		sviluppo	Distribuire
Informazioni su come creare esperienze di realtà mista per HoloLens e vr immersive.	Ottenere le guide di progettazione. Compilare l'interfaccia utente. Informazioni sulle interazioni e sull'input.	Ottenere le guide di sviluppo. Scopri la tecnologia. Comprendere la scienza.	Preparare l'app per altri utenti e prendere in considerazione la creazione di un launcher 3D.

Risorse utili in Azure

Servizi voce	Vision Services
Individuare e integrare le funzionalità vocali basate su Azure, ad esempio il riconoscimento vocale, il riconoscimento vocale o il riconoscimento vocale nell'applicazione.	Identificare e analizzare il contenuto di immagini o video usando Vision Services, ad esempio visione artificiale, rilevamento dei volti, riconoscimento delle emozioni o indicizzatore video.

Come contribuire

Per informazioni su come contribuire a MRTK, vedere Contribuire.

Visualizzazione della Guida

Se si verificano problemi causati da MRTK o si hanno domande su come eseguire un'operazione, sono disponibili alcune risorse utili:

• Per i report sui bug, registrare un problema nel repository GitHub.
• Per domande, contattare StackOverflow o il canale mixed-reality-toolkit in Slack. È possibile partecipare alla community di Slack tramite il mittente dell'invito automatico.