Panoramica dello sviluppo con Unreal
Importante
Microsoft & Unreal ha interrotto il supporto per Unreal Engine per HoloLens 2. I clienti possono continuare a usare Unreal Engine per sviluppare applicazioni per HoloLens 2, ma il supporto non è più disponibile (nessuna correzione di bug, aggiornamenti del contenuto o supporto tecnico). Le applicazioni esistenti continueranno a essere eseguite nell'ultima versione di Unreal 4. Le applicazioni per HoloLens 2 possono essere sviluppate in alternativa con Unity.
L'introduzione alle applicazioni di realtà mista è un'attività importante. Nuovi concetti, nuove piattaforme e hardware all'avanguardia possono sembrare ostacoli difficili da superare. Gli sviluppatori che usano Unreal, però, hanno un asso nella manica. Unreal Engine 5 include il supporto completo per i dispositivi Windows Realtà mista (VR) e HoloLens 2 (AR).
Le versioni più recenti di Unreal Engine 4.27+ includono:
- Plug-in Windows Realtà mista (WMR) sostituito da OpenXR e plug-in Microsoft OpenXR (Marketplace o GitHub)
- OpenXR offre parità di funzionalità con WMR
- API unificata per lo sviluppo multipiattaforma
- OpenXR disponibile per la creazione di applicazioni nel motore : set di funzionalità completo disponibile con il plug-in Microsoft OpenXR
- Rilascio degli aggiornamenti del plug-in Microsoft OpenXR quando sono pronti invece degli aggiornamenti nel motore
- Usare il plug-in Strumenti di grafica per Unreal per migliorare la fedeltà visiva delle applicazioni Realtà mista mantenendo al tempo stesso le prestazioni
- Il plug-in HoloLensAR viene rimosso in Unreal 5.0
- Supporto per gli strumenti di blocco globale (5.0+)
- Supporto per Ancoraggi oggetti di Azure (4.27+)
Per altre informazioni, vedere le note sulla versione di Unreal Engine 5.0.
Se non si ha esperienza di sviluppo con Unreal, non iniziare alla cieca. Esplorare le risorse Unreal e cercare gli asset nel marketplace Unreal. È anche possibile trovare supporto nei forum di realtà mista e nella documentazione di Unreal. Queste risorse consentono di entrare in contatto con la community di sviluppatori e risolutori di problemi che operano oggi sul mercato della realtà mista.
Importante
Se si ha a disposizione un progetto Unreal da trasferire in un visore VR immersive come Reverb G2, consultare la guida per il porting.
Checkpoint di sviluppo
Usare i checkpoint seguenti per portare i giochi e le applicazioni Unreal nel mondo della realtà mista. Se non si è ancora esaminata l'applicazione di esempio Designing Holograms, è consigliabile scaricarla per acquisire familiarità con i concetti di base dell'esperienza utente in realtà mista.
1. Introduzione
Prima di tutto, è necessario installare gli strumenti per lo sviluppo di app per HoloLens 2. Completare quindi la serie di esercitazioni per acquisire una conoscenza di base di Mixed Reality Toolkit, un ambiente di sviluppo appositamente configurato per le app di realtà mista e un progetto MRTK funzionante in Unreal. A partire da Unreal 4.26, è anche possibile sviluppare un'app OpenXR per HoloLens 2.
| Checkpoint | Risultato |
|---|---|
| Installare gli strumenti più recenti | Scaricare e installare la versione più recente di Unreal Engine e configurare il progetto per la realtà mista |
| Configurare il progetto | Ottenere la versione più recente di Unreal Engine e MRTK |
| Creazione della prima applicazione HoloLens Unreal | Iniziare il percorso di sviluppo di Unreal e HoloLens creando un'applicazione di base Realtà mista |
| Serie di esercitazioni su HoloLens 2 | Acquisire le informazioni necessarie per sviluppare app di realtà mista in Unreal, compilare la prima app con MRTK e distribuire l'app in HoloLens 2 |
| Introduzione a OpenXR in Unreal | Installare e abilitare il plug-in seguente da Unreal Engine Marketplace:Assicurarsi che il plug-in Microsoft Windows Realtà mista sia disabilitato. L'elenco completo delle funzionalità attualmente supportate in OpenXR è riportato di seguito. |
2. Blocchi predefiniti di base
Ci sono diverse funzionalità chiave per la realtà mista che non vengono trattate in questa serie di esercitazioni. Questi blocchi predefiniti sono disponibili come funzionalità autonome e tramite il Mixed Reality Toolkit. Potrebbero non essere tutti necessari nell'immediato, ma è bene esaminarli nella fase iniziale. Dopo avere esaminato i blocchi predefiniti fondamentali indicati di seguito, si avrà a disposizione un insieme completo di funzionalità da integrare nei progetti di realtà mista.
Mixed Reality Toolkit per Unreal è un set di plug-in progettati per accelerare lo sviluppo in Unreal. Ogni plug-in include componenti, esempi e documentazione per la creazione di esperienze immersive.
UX Tools for Unreal è il primo plug-in rilasciato ed è attualmente supportato solo su HoloLens 2. Il plug-in include codice C++, progetti e asset di esempio di funzionalità di UX comuni per la simulazione di input, le interazioni con le mani, il magnetismo della superficie e altro ancora.
Strumenti grafici per Unreal è un plug-in di giochi UE con codice, progetti e asset di esempio creati per migliorare la fedeltà visiva delle applicazioni Realtà mista mantenendo al tempo stesso budget di prestazioni.
| Funzionalità | Funzionalità |
|---|---|
| Simulazione di input | Usare l'input da mouse e tastiera nell'editor per simulare un casco con visore e le funzionalità di tracciamento della mano |
| Interazione manuale | Interagire con i componenti dell'esperienza utente usando gli input della mano articolata |
| Pulsante premuto | Determinare lo stato di progetti di pulsanti tramite componenti di basso livello |
| Manipolatore | Spostare e ruotare un attore con l'input di manipolazione con una o due mani |
| Comportamento a seguire | Mantenere un attore o componente nel campo visivo di un altro componente |
Nota
Per informazioni dettagliate, esaminare il repository di GitHub su UX Tools per Unreal.
3. Funzionalità avanzate
Altre funzionalità chiave per le applicazioni di realtà mista sono disponibili senza ulteriori pacchetti o configurazioni. Queste funzionalità possono essere aggiunte ai progetti Unreal anche senza avere installato MRTK. Dopo avere esaminato queste funzionalità più avanzate, sarà possibile creare app di realtà mista più complesse.
| Funzionalità | Funzionalità |
|---|---|
| Fotocamera HoloLens | Acquisire contenuti visivi di realtà mista e del mondo reale dall'app in esecuzione su un dispositivo HoloLens |
| Codici QR | Eseguire il rendering di codici a matrice come ologrammi usando un sistema di coordinate nella posizione reale di ogni codice |
| WinRT | Creare un file binario separato con codice WinRT che può essere utilizzato dal sistema di compilazione di Unreal |
4. Streaming e distribuzione in un dispositivo
Se si vuole testare l'applicazione in un dispositivo HoloLens mentre è ancora in fase di sviluppo, è possibile trasmetterla in streaming direttamente dal PC usando l'editor Unreal o un eseguibile Windows in pacchetto.
Se è la prima volta che si distribuisce un'app Unreal in HoloLens 2, sarà necessario scaricare i file di supporto dal launcher Epic. Una volta installati i file, è possibile eseguire la distribuzione dall'editor Unreal o dal portale di dispositivi.
5. Aggiunta di servizi
A questo punto del percorso di sviluppo, potrebbe essere necessario aggiungere servizi o ricevere supporto per una distribuzione commerciale. L'integrazione di Azure Servizi cloud può aumentare il livello dei progetti in modo significativo. Abbiamo stilato alcuni punti di partenza per acquisire maggiori competenze sulla realtà mista.
Ancoraggi nello spazio di Azure (ASA) è un servizio multipiattaforma che consente di creare applicazioni di realtà mista con riconoscimento dello spazio. Con Ancoraggi nello spazio di Azure è possibile eseguire il mapping, mantenere in modo permanente e condividere contenuto olografico tra più dispositivi in scala reale.
6. Alternative a basso codice
Microsoft Dynamics 365 Guides è un'applicazione di realtà mista per Microsoft HoloLens che consente agli operatori di apprendere durante il lavoro offrendo istruzioni olografiche quando e dove sono necessarie. Queste schede di istruzioni sono collegate visivamente al luogo in cui deve essere svolto il lavoro e possono includere immagini, video e modelli olografici 3D.
Passaggi successivi
Il lavoro di uno sviluppatore non finisce mai, soprattutto per quanto riguarda l'apprendimento di nuovi strumenti o SDK. Le sezioni seguenti consentono di affrontare aspetti più avanzati rispetto al materiale di livello principiante già completato e di accedere a risorse utili se si rimane bloccati. Questi argomenti e queste risorse non sono presentati in ordine sequenziale, quindi possono essere esplorati liberamente.
Debug
Se si vuole eseguire il debug dell'applicazione in esecuzione sul dispositivo con Visual Studio, seguire queste istruzioni.
Prestazioni
Lo sviluppo per la realtà mista prevede punti di controllo delle prestazioni che dipendono dalla piattaforma. Un'app HoloLens 2 deve essere eseguita a 60 fotogrammi al secondo perché gli ologrammi risultino stabili e reattivi. Nei consigli sulle prestazioni è possibile trovare informazioni su come migliorare le prestazioni nelle applicazioni Unreal.
Funzionalità supportate
| Funzionalità di HoloLens 2 | Prima versione di Unreal Engine supportata | Supportato in OpenXR (4.26+) |
|---|---|---|
| Supporto per ARM64 | 4.23 | ✔️ |
| Streaming da un PC | 4.23 | ✔️ |
| Mapping spaziale | 4.23 | ✔️ |
| Tracciamento mano e articolazioni | 4.23 | ✔️ |
| Tracciatore oculare | 4.23 | ✔️ |
| Input vocale | 4.23 | ✔️ |
| Ancoraggi nello spazio | 4.23 | ✔️ |
| Accesso alla fotocamera | 4.23 | ✔️ |
| Codici QR | 4.23 | ✔️ |
| Audio spaziale | 4.23 | ✔️ |
| LSR planare sullo streaming | 4.24 | |
| App di esempio | 4.24 | ✔️ |
| Mobile multi-View: prestazioni raggiunge i 60 fps | 4.25 | ✔️ |
| Streaming da un'app desktop in pacchetto | 4.25.1 | ✔️ |
| Ancoraggi nello spazio di Azure per HoloLens 2 | 4.25 | ✔️ |
| Supporto del plug-in UX Tools di Mixed Reality Toolkit | 4.25 | ✔️ |
| Documentazione ed esercitazioni per sviluppatori | 4.25 | ✔️ |
| Tastiera di sistema | 4.26 | ✔️ |
| Plug-in HoloLens Media Player | 4.26 | ✔️ |
| Ancoraggi nello spazio di Azure per iOS e Android | 4.26 | |
| Plug-in Microsoft OpenXR con estensioni OpenXR specifiche del fornitore Microsoft | 4.26 | ✔️ |
| Streaming da Azure a HoloLens 2 | 4.26 | ✔️ |
| Conformità del kit di certificazione app Windows per le app in pacchetto | 4.26 | ✔️ |
| Supporto del controller HP Reverb G2 | 4.26 | ✔️ |
Vedi anche
- Unreal docs for streaming, deploying to emulator and device (Documentazione su Unreal per lo streaming e la distribuzione in un emulatore e un dispositivo)
- Unreal performance guidelines for mobile devices (Linee guida sulle prestazioni di Unreal per i dispositivi mobili)