Emulatore HoloLens avanzato e input per il simulatore di realtà mista
La maggior parte degli utenti dell'emulatore dovrà usare solo i controlli di input di base per l'emulatore HoloLens o il simulatore di Windows Mixed Reality. I dettagli seguenti sono per gli utenti avanzati che hanno trovato una necessità di simulare tipi di input più complessi.
Concetti
Per iniziare a controllare l'input virtuale nell'emulatore HoloLens e nel simulatore di Windows Mixed Reality, è prima necessario comprendere alcuni concetti.
Il movimento fa riferimento al controllo e alla modifica della posizione e dell'orientamento di qualcosa nella scena. Per un oggetto controllabile di destinazione, il movimento viene controllato sia con rotazione che traslazione (movimento) lungo tre assi.
- Yaw: girare a sinistra o a destra.
- Passo: alza o giù.
- Roll: roll-to-side.
- X: spostare a sinistra o a destra.
- Y: spostarsi verso l'alto o verso il basso.
- Z: spostarsi avanti o indietro.
L'input del controller di movimento e movimento viene mappato strettamente ai dispositivi fisici:
- Azione: simula l'azione di pressione del forefinger sul pollice o sul pulsante di azione su un controller. Ad esempio, l'input azione può essere usato per simulare il movimento di tocco aria, per scorrere il contenuto e per premere e tenere premuto.
- Movimento Bloom/System o Home: il movimento di fioritura/sistema di HoloLens o il pulsante Home di un controller viene usato per tornare alla shell e per attivare le azioni del sistema.
Le mani hanno una rappresentazione ricca in HoloLens 2. Oltre a essere tracciati o non tracciati e utilizzabili per i movimenti di guida, le mani ora hanno un modello di scheletro articolato adatto a loro ed esposto allo sviluppatore. Il modello scheletro ha 26 punti tracciati su ogni mano.
- Joint: una delle 20 posizioni tracciate per una determinata mano tracciata con un punto associato nello spazio 3d.
- Pose: una raccolta completa di tutte le Articolazioni in una mano tracciata, 26 Joint in tutto.
Attualmente non si espone il controllo diretto delle singole posizioni comuni tramite l'emulatore, ma è possibile impostarli tramite l'API di simulazione. È disponibile un set di posizioni rappresentative utili che l'emulatore consente di attivare l'opzione tra.
È anche possibile controllare lo stato di input del sensore simulato:
- Reimpostazione: restituisce tutti i sensori simulati ai valori predefiniti. A partire dall'emulatore di HoloLens 2, è possibile definire l'ambito di una o entrambe le mani. Coinvolgere le mani desiderate usando i tasti o i pulsanti del modificatore (sinistro e/o destro alt) o il paraurti sinistro e/o destro sul gamepad.
- Rilevamento: esegue il ciclo attraverso le modalità di rilevamento posizionale, tra cui:
- Impostazione predefinita: il sistema operativo sceglie la modalità di rilevamento migliore in base alle richieste effettuate dal sistema.
- Orientamento: forza il rilevamento solo orientamento, indipendentemente dalle richieste di sistema.
- Positional: forza il rilevamento posizione, indipendentemente dalle richieste di sistema.
Tipi di input
Nella tabella seguente viene illustrato il modo in cui ogni tipo di input viene mappato alla tastiera, al mouse e al controller Xbox. Ogni tipo ha un mapping diverso a seconda della modalità di controllo di input. Più avanti in questo documento sono disponibili altre informazioni sulle modalità di controllo di input.
| Input | Tastiera | Mouse | Controller Xbox |
|---|---|---|---|
| Imbardata | Frecce a sinistra/destra | Trascinare sinistra/destra | Pollice destro a sinistra/destra |
| Tonalità | Freccia su/giù | Trascinare verso l'alto o verso il basso | Pollice destro su/giù |
| Rotolo | Q/E | DPad a sinistra/destra | |
| X | A/D | Levetta sinistra/destra | |
| S | Pagina su/pagina verso il basso | DPad su/giù | |
| Z | W/S | Pollice sinistro verso l'alto/giù | |
| Azione | Immettere o spazio | Pulsante destro | Pulsante o trigger |
| Bloom/System | Tasto F2 o Windows | Pulsante B | |
| Pulsante di presa controller/Mano | G | ||
| Pulsante del menu controller | M | ||
| Tocco del touchpad del controller | U | ||
| Premere touchpad controller | P | ||
| Tasto di scorrimento del controller | K | ||
| Stato di rilevamento del controller sinistro | F9 | ||
| Stato di rilevamento del controller corretto | F10 | ||
| Posa 'Close' mano | 7 | ||
| Hand 'Open' Pose (impostazione predefinita) | 8 | ||
| Posa 'point' mano | 9 | ||
| Posa 'pizzica' mano | 0 | ||
| Reset | Chiave di escape | Pulsante Avvia | |
| Rilevamento | T o F3 | Pulsante X |
Nota: i pulsanti del controller possono essere destinati a una mano/controller o all'altra usando i modificatori di destinazione della mano.
Targeting
Alcuni dei concetti di input precedenti si trovano autonomamente. Action, Bloom/System, Reset e Tracking sono concetti completi, non necessari e non sono interessati da altri modificatori per la destinazione. I concetti rimanenti possono essere applicati a una di più destinazioni. Sono stati introdotti modi per specificare a quale destinazione deve essere applicato il comando desiderato. In tutti i casi, è possibile specificare tramite l'interfaccia utente o tramite le pressioni da tastiera, quale oggetto scegliere come destinazione. In alcuni casi, è anche possibile specificare direttamente con il controller Xbox.
La tabella seguente descrive le opzioni per la destinazione e la modalità di attivazione di ognuna di esse.
| Oggetto | Modificatore della tastiera | Modificatore controller | Modificatore dell'interfaccia utente dell'emulatore |
|---|---|---|---|
| Corpo | (predefinito) | (predefinito) | (predefinito) |
| Head | Tenere premuto H | (Non disponibile) | (Non disponibile) |
| Mano sinistra/Controller | Tenere premuto il pulsante ALT sinistro | Tieni premuto il pulsante Spalla sinistra | Left-Hand puntina |
| Mano destra/Controller | Tenere premuto il pulsante ALT DESTRO | Tieni premuto il pulsante Spalla destra | Right-Hand puntina |
| Occhi | Tenere premuto Y | (Non disponibile) | Puntina occhi |
La tabella seguente illustra come ogni modificatore di destinazione esegue il mapping di ognuno dei concetti di input dello spostamento principale
| Input | Impostazione predefinita (corpo) | Mano/controller (tenere premuto ALT, tenere premuto il pulsante della spalla del game pad o attivare o disattivare la puntina dell'interfaccia utente) | Testa (hold H) | Occhi (tieni premuto Y o attiva/disattiva la puntina dell'interfaccia utente) |
|---|---|---|---|---|
| Imbardata | Girare il corpo a sinistra/a destra | Sposta la mano sinistra/destra | Girare la testa a sinistra/destra | Sguardo fisso sembra sinistro/destro |
| Tonalità | Girare la testa verso l'alto/giù | Sposta la mano verso l'alto o verso il basso | Gira la testa su/giù | Sguardo fisso verso l'alto o verso il basso |
| Rotolo | Rotolare la testa sinistra/destra | Rotolare la testa sinistra/destra | (Nessuna azione) | |
| X | Corpo diapositiva a sinistra/destra | Sposta mano/controller a sinistra/destra | Girare la testa a sinistra/destra | (Nessuna azione) |
| S | Spostare il corpo verso l'alto o verso il basso | Spostare la mano/controller verso l'alto/verso il basso | Girare la testa verso l'alto/giù | (Nessuna azione) |
| Z | Spostare il corpo avanti/indietro | Sposta mano/controller avanti/indietro | Girare la testa verso l'alto/giù | (Nessuna azione) |
Controllo di un'app
Il set di controlli seguente è consigliato per l'uso quotidiano:
| Operazione | Tastiera e mouse | Controller |
|---|---|---|
| Corpo X | A/D | Levetta sinistra/destra |
| Corpo Y | Pagina verso l'alto o verso il basso | DPad su/giù |
| Corpo Z | W/S | Levetta sinistra su/giù |
| Yaw corpo | Trascinare il mouse a sinistra/destra | Levetta destra sinistra/destra |
| Yaw testa | H + trascina il mouse a sinistra/destra | H (su tastiera) + levetta destra a sinistra/destra |
| Inclinazione della testa | Trascinare il mouse verso l'alto o verso il basso | Levetta destra su/giù |
| Rotolo testa | Q/E | DPad a sinistra/destra |
| Mano/Controller X | ALT + A /D | Spalla + levetta sinistra/destra |
| Mano/Controller Y | ALT + Pagina su/pagina verso il basso | Spalla + DPad su/giù |
| Mano/Controller Z | Alt + W / S | Spalla + pollice sinistro su/giù |
| Yaw di mano/controller | Alt + trascina mouse a sinistra/destra | Spalla + pollice destro a sinistra/destra |
| Passo/Controller | Alt + trascinare il mouse verso l'alto o verso il basso | Spalla + pollice destro su/giù |
| Rollio mano/controller | ALT + Q/E | Spalla + DPad sinistra/destra |
| Azione | Pulsante destro del mouse | Trigger |
| Bloom/System/Home | Tasto F2 o Windows | Pulsante B |
| Reset | Carattere speciale di escape | Pulsante Avvia |
| Rilevamento | T | Pulsante X |
| Scorrimento | Alt + pulsante destro del mouse + trascinare il mouse verso l'alto/ verso il basso | Spalla + trigger + pollice destro su/giù |
| Sposta/ruota più velocemente | Tasto Maiusc a sinistra o destra | Premere e tenere premuto il pollice destro |
| Sposta/ruota lenta | Tasto CTRL sinistro o destro | Premere e tenere premuto il pollice sinistro |
Uso di un visore VR immersive di Windows Mixed Reality e di controller del movimento con l'emulatore HoloLens 2
Quando si usa un visore visore Windows Mixed Reality immersivo con l'emulatore HoloLens 2, lo spostamento e la rotazione vengono mappati automaticamente allo spostamento e alla rotazione del visore. La posizione e l'orientamento del controller di movimento vengono mappati automaticamente alla posizione e all'orientamento della mano nell'emulatore. La tabella seguente elenca altre azioni disponibili quando si usa un controller di movimento.
Nota
Quando si usa un visore visore, la tastiera standard, il mouse e i controlli gamepad vengono ignorati automaticamente.
| Operazione | Azione | Note |
|---|---|---|
| Corpo X | Levetta sinistra/destra | |
| Corpo Z | Rientro avanti/Indietro | |
| Corpo Y | Pagina della tastiera su /Giù | Assicurarsi che Windows Mixed Reality abbia lo stato attivo. Premere Win+Y se lo stato attivo è su Windows Desktop per tornare a Windows Mixed Reality. |
| Occhi guarda a sinistra/destra | DPad Left/Right | |
| Occhi guarda verso l'alto/giù | DPad su/giù | |
| Tocco | Trigger | |
| Pizzica/afferramento | Pulsante di presa | |
| Movimento di sistema | Pulsante Menu | |
| Reimposta posizione | Fare clic sul pollice |
Simulazione della percezione Pannello di controllo tasti di scelta rapida
È possibile accedere al pannello di controllo simulazione percezione e abilitare o disabilitare i dispositivi di input pc con i tasti di scelta rapida seguenti.
| Operazione | Tasto di scelta rapida | Descrizione/Note |
|---|---|---|
| Disattiva "Usa tastiera per la simulazione" | F4 | Quando disattivato, l'input della tastiera passa all'applicazione HoloLens o Windows Mixed Reality. |
| Disattiva "Usa il mouse per la simulazione" | F5 | Se disattivato, l'input del mouse passa all'ambiente Realtà mista (solo Windows Mixed Reality) |
| Disattiva "Usa gamepad per la simulazione" | F6 | Quando disattivato, l'input del gamepad viene ignorato dalla simulazione |
| Visualizzare o nascondere il pannello di controllo | F7 | |
| Impostare lo stato attivo della tastiera sul pannello di controllo | F8 | Se il pannello non è attualmente visibile, verrà visualizzato prima. |
| Ancorare o scollegare il pannello da/verso l'emulatore o la finestra del portale di Realtà mista | F9 | Se la finestra viene chiusa quando si scollega, è ancorata e nascosta. |