Sguardo fisso e commit
Sguardo e commit è un modello di input fondamentale strettamente correlato al modo in cui si interagisce con i computer usando il mouse: Punto & clic. In questa pagina vengono introdotti due tipi di input di sguardo (testa e sguardo visivo) e diversi tipi di azioni di commit. Sguardo e commit è considerato un modello di input lontano con manipolazione indiretta. È consigliabile usare per interagire con contenuto olografico non raggiungibile.
I visori di realtà mista possono usare la posizione e l'orientamento della testa dell'utente per determinare il vettore di direzione della testa. Pensa di guardare come un laser che punta direttamente dall'occhio dell'utente. Questa è una grossolana approssimazione del punto guardato dall'utente. L'applicazione può intersecare questo raggio con oggetti virtuali o reali e disegnare un cursore in corrispondenza di tale posizione per consentire all'utente di sapere cosa sono destinati.
Oltre allo sguardo testa, alcuni visori di realtà mista, ad esempio HoloLens 2, includono sistemi di rilevamento oculare che producono un vettore di sguardo oculare. In questo modo si ottiene una misurazione precisa di dove sta guardando l'utente. In entrambi i casi, lo sguardo rappresenta un segnale importante per la finalità dell'utente. Meglio il sistema può interpretare e stimare le azioni previste dell'utente, maggiore soddisfazione e prestazioni dell'utente migliora.
Di seguito sono riportati alcuni esempi per come uno sviluppatore di realtà mista può trarre vantaggio dalla testa o dallo sguardo visivo:
- L'app può intersecare lo sguardo con gli ologrammi nella scena per determinare dove l'attenzione dell'utente è (più precisa con lo sguardo visivo).
- L'app può scorrere i movimenti e i controller in base allo sguardo dell'utente, che consente all'utente di selezionare, attivare, afferrare, scorrere o interagire con gli ologrammi.
- L'app può consentire all'utente di inserire ologrammi in superfici reali intersecando il raggio di sguardo con la mesh di mapping spaziale.
- L'app può sapere quando l'utente non sta cercando nella direzione di un oggetto importante, che può portare l'app a dare segnali visivi e audio per girare verso tale oggetto.
Supporto di dispositivi
| Modello di input | HoloLens (prima generazione) | HoloLens 2 | Visori VR immersive |
| Puntamento con la testa e commit | ✔️ Consigliato | ✔️ Consigliato (terza scelta - Vedi le altre opzioni) | ➕ Opzione alternativa |
| Sguardo fisso e commit | ❌ Non disponibile | ✔️ Consigliato (terza scelta - Vedi le altre opzioni) | ❌ Non disponibile |
Demo dei concetti di progettazione di rilevamento testa e occhio
Per visualizzare i concetti di progettazione head e eye tracking in azione, vedere la demo video Designing Holograms - Head Tracking and Eye Tracking sotto. Al termine, continuare per un'analisi più dettagliata di argomenti specifici.
Questo video è stato tratto dall'app "Designing Holograms" HoloLens 2. Scaricare e godere dell'esperienza completa qui.
Sguardo fisso
Occhio o sguardo in testa?
Esistono diverse considerazioni in caso di domanda se è necessario usare il modello di input "sguardo e commit" o "sguardo verso la testa e il commit". Se si sta sviluppando per un visore visore immersivo o per HoloLens (prima generazione), la scelta è semplice: sguardo head e commit. Se si sta sviluppando per HoloLens 2, la scelta diventa un po 'più difficile. È importante comprendere i vantaggi e le sfide che si presentano con ognuno di essi. Abbiamo compilato alcuni pro di grandi dimensioni e con nella tabella seguente per contrastare la destinazione head-vs.eye-gaze. Questo è lontano dal completamento e consigliamo di imparare di più sulla destinazione dello sguardo visivo in realtà mista qui:
- Rilevamento oculare su HoloLens 2: introduzione generale della nuova funzionalità di rilevamento oculare su HoloLens 2 incluse alcune indicazioni per gli sviluppatori.
- Interazione con sguardo oculare: considerazioni di progettazione e consigli quando si prevede di usare il rilevamento oculare come input.
| Destinazione dello sguardo oculare | Selezione della destinazione mediante puntamento con la testa |
| Veloce! | Più lento |
| Sforzo ridotto (senza necessità di movimenti del corpo) | Può essere fatiguing - Possibile disagio (ad esempio, sforzo del collo) |
| Non richiede un cursore, ma è consigliabile un feedback sottile | Richiede di visualizzare un cursore |
| Nessun movimento degli occhi lisci, ad esempio non è buono per il disegno | Più controllato ed esplicito |
| Difficile per le destinazioni di piccole dimensioni (ad esempio, piccoli pulsanti o collegamenti Web) | Affidabile! Grande fallback! |
| ... | ... |
Indipendentemente dal fatto che si usi lo sguardo verso la testa o lo sguardo per il modello di input di sguardo e commit, ognuno include diversi set di vincoli di progettazione. Questi sono trattati separatamente negli articoli di sguardo oculare e commit esguardo head e commit .
Cursore
Per lo sguardo verso la testa, la maggior parte delle app deve usare un cursore o un'altra indicazione di controllo/oggetto visivo per dare la fiducia dell'utente a ciò che stanno per interagire con.
In genere si posiziona questo cursore nel mondo in cui il raggio di sguardo della testa interseca prima un oggetto, che può essere un ologramma o una superficie reale.
Per lo sguardo oculare, in genere è consigliabile non mostrare un cursore, perché questo può diventare rapidamente distraente e fastidioso per l'utente.
Evidenziare invece in modo secondario le destinazioni visive o usare un cursore oculare debole per fornire fiducia su ciò che l'utente sta per interagire con. Per altre informazioni, vedere le linee guida per la progettazione per l'input basato sull'occhio su HoloLens 2.
Immagine: cursore visivo di esempio per mostrare lo sguardo
Commit
Dopo aver parlato di modi diversi per osservare una destinazione, parliamo di un po ' di più sulla parte di commit nello sguardo e nel commit. Dopo aver destinato un oggetto o un elemento dell'interfaccia utente, l'utente può interagire o fare clic su di esso usando un input secondario. Questo processo è noto come passaggio di commit del modello di input.
Sono supportati i metodi di commit seguenti:
- Movimento mano tocco aria (ovvero, alza la mano davanti a te e unisce il dito dell'indice e il pollice)
- Dire "select" o uno dei comandi vocali di destinazione
- Premere un singolo pulsante su un clicker HoloLens
- Premere il pulsante "A" su un gamepad Xbox
- Premere il pulsante "A" su un controller adattivo Xbox
Sguardo e tocco d'aria
Per simulazione del tocco si intende un gesto tocco fatto con la mano mantenuta in verticale. Per usare un tocco d'aria, elevare il dito dell'indice alla posizione pronta, quindi pizzicare con il pollice e aumentare il dito dell'indice fino al rilascio. In HoloLens (prima generazione), il tocco aria è l'input secondario più comune.
Dito nella posizione pronta
Premere il dito verso il basso per toccare o fare clic
Il tocco aria è disponibile anche su HoloLens 2. È stato rilassato dalla versione originale. Quasi tutti i tipi di pizzichi sono ora supportati fino a quando la mano è in alto e tenendo ancora. In questo modo è molto più facile per gli utenti imparare e usare il movimento. Questo nuovo tocco d'aria sostituisce quello precedente tramite la stessa API, quindi le applicazioni esistenti avranno automaticamente il nuovo comportamento dopo la ricompilazione per HoloLens 2.
Sguardo e comando vocale "Seleziona"
Il comando vocale è uno dei metodi di interazione principali nella realtà mista. Fornisce un potente meccanismo pratico per controllare il sistema. Esistono diversi tipi di modelli di interazione vocale:
- Comando generico "Select" che usa un clic actuation o commit come input secondario.
- I comandi oggetto (ad esempio, "Chiudi" o "Rendi più grande") eseguono il commit in un'azione come input secondario.
- I comandi globali (ad esempio, "Vai all'avvio") non richiedono una destinazione.
- Le interfacce utente di conversazione o le entità come Cortana hanno una funzionalità di linguaggio naturale per intelligenza artificiale.
- Comandi vocali personalizzati
Per altre informazioni sui dettagli e un elenco completo dei comandi vocali disponibili e su come usarli, vedere le linee guida per i comandi vocali .
Sguardo fisso e Clicker di HoloLens
HoloLens Clicker è il primo dispositivo periferico creato appositamente per HoloLens. È incluso in HoloLens (prima generazione) Development Edition. HoloLens Clicker consente a un utente di fare clic con un movimento minimo della mano e di eseguire il commit come input secondario. HoloLens Clicker si connette a HoloLens (prima generazione) o HoloLens 2 tramite Bluetooth Low Energy (BTLE).
Altre informazioni e istruzioni per associare il dispositivo
Immagine: Clicker holoLens
Sguardo fisso e controller Wireless per Xbox
Il controller Wireless per Xbox esegue un'actuation di clic come input secondario usando il pulsante 'A'. Il dispositivo viene mappato a un set predefinito di azioni che consentono di spostarsi e controllare il sistema. Se vuoi personalizzare il controller, usa l'applicazione Accessori Xbox per configurare il tuo controller Wireless per Xbox.
Come associare un controller Xbox al PC
Immagine: controller Wireless per Xbox
Sguardo fisso e controller adattivo Xbox
Progettato principalmente per soddisfare le esigenze dei giocatori con mobilità limitata, Xbox Adaptive Controller è un hub unificato per i dispositivi che consente di rendere la realtà mista più accessibile.
Il controller adattivo Xbox esegue una punteggiatura di clic come input secondario usando il pulsante "A". Il dispositivo viene mappato a un set predefinito di azioni che consentono di spostarsi e controllare il sistema. Se vuoi personalizzare il controller, usa l'applicazione Accessori Xbox per configurare il controller adattivo Xbox.
Controller adattivo Xbox
Connettere dispositivi esterni come interruttori, pulsanti, montaggi e joystick per creare un'esperienza di controller personalizzata che sia univoca. Gli input dei pulsanti, delle levette e dei trigger sono controllati con dispositivi di assistive connessi tramite jack USB e jack da 3,5 mm.
Porte del controller adattivo Xbox
Istruzioni per associare il dispositivo
Altre informazioni disponibili sul sito Xbox
Movimenti compositi
Simulazione del tocco
Il movimento di tocco dell'aria (e gli altri movimenti seguenti) reagisce solo a un tocco specifico. Per rilevare altri tocco, ad esempio Menu o Afferra, l'applicazione deve usare direttamente le interazioni di livello inferiore descritte nella sezione due movimenti dei componenti principali precedente.
Tocco e pressione prolungata
La pressione prolungata consiste nel mantenere la posizione del dito abbassato della simulazione del tocco. La combinazione di tocco e blocco dell'aria consente varie interazioni "click e trascinamento" più complesse quando vengono combinate con il movimento del braccio, ad esempio raccogliendo un oggetto invece di attivarlo o le interazioni secondarie del mousedown, ad esempio mostrando un menu di scelta rapida. È consigliabile prestare attenzione durante la progettazione di questo gesto, tuttavia, poiché gli utenti possono essere soggetti a rilassare la postura della mano durante qualsiasi movimento esteso.
modifica
I movimenti di manipolazione possono essere usati per spostare, ridimensionare o ruotare un ologramma quando si desidera che l'ologramma reagisca 1:1 ai movimenti della mano dell'utente. Uno degli usi possibili di tali movimenti 1:1 è quello di consentire all'utente di disegnare o dipingere nel mondo. La selezione iniziale della destinazione per un movimento di manipolazione dovrebbe avvenire mediante sguardo fisso o puntamento. Quando il tocco e il blocco iniziano, qualsiasi manipolazione degli oggetti viene gestita da movimenti della mano, che libera l'utente di guardare intorno mentre manipolano.
Spostamento
I movimenti di navigazione funzionano come un joystick virtuale e possono essere usati per spostarsi nei widget dell'interfaccia utente, ad esempio nei menu radiali. Tocca e tieni premuto per avviare il movimento, quindi sposta la mano all'interno di un cubo 3D normalizzato, centrato attorno al punto di pressione iniziale. È possibile spostare la mano lungo l'asse X, Y o Z da un valore compreso tra -1 e 1, con 0 come punto iniziale. La navigazione può essere usata per creare movimenti continui di scorrimento o zoom basati sulla velocità, analoghi allo scorrimento di un'interfaccia utente 2D mediante il clic sul pulsante centrale del mouse e il successivo spostamento del mouse verso l'alto o il basso.
La navigazione con guide si riferisce alla capacità di riconoscere i movimenti in un determinato asse fino a quando non viene raggiunta una determinata soglia su tale asse. Ciò è utile solo quando lo spostamento in più assi è abilitato in un'applicazione da parte dello sviluppatore, ad esempio se un'applicazione è configurata per riconoscere i movimenti di spostamento su X, asse Y, ma anche l'asse X specificato con guide. In questo caso, il sistema riconoscerà i movimenti delle mani sull'asse X purché rimangano all'interno di una guida immaginaria (guida) sull'asse X, se lo spostamento della mano si verifica anche sull'asse Y.
Nelle app 2D gli utenti possono usare movimenti di navigazione verticali per scorrere, eseguire lo zoom o trascinare all'interno dell'app. In questo modo vengono inseriti nell'app tocchi delle dita virtuali per simulare tocchi dello stesso tipo. Gli utenti possono selezionare quali di queste azioni vengono eseguite attivando o disattivando tra gli strumenti sulla barra sopra l'applicazione, selezionando il pulsante o pronunciando "<Scroll/Drag/Zoom> Tool".
Altre informazioni sui movimenti compositi
Strumenti di riconoscimento dei movimenti
Un vantaggio dell'uso del riconoscimento dei movimenti consiste nel fatto che è possibile configurare un riconoscitore dei movimenti solo per i movimenti che l'ologramma attualmente di destinazione può accettare. La piattaforma esegue solo la disambiguazione in base alle esigenze per distinguere i movimenti supportati specifici. In questo modo, un ologramma che supporta solo il tocco dell'aria può accettare qualsiasi intervallo di tempo tra la pressione e il rilascio, mentre un ologramma che supporta sia il tocco che il blocco può promuovere il tocco a un blocco dopo la soglia del tempo di attesa.
Riconoscimento della mano
HoloLens riconosce i movimenti della mano tenendo traccia della posizione di una o di entrambe le mani visibili al dispositivo. HoloLens vede le mani quando sono in stato pronto (dorso della mano rivolto verso di te con il dito indice alzato) o in stato premuto (dorso della mano rivolto verso di te con il dito indice abbassato). Quando le mani sono in altre posizioni, HoloLens li ignora. Per ogni mano rilevata da HoloLens, è possibile accedervi senza orientamento e lo stato premuto. Non appena la mano si avvicina al bordo della cornice di movimento, viene fornito anche un vettore direzionale che puoi decidere di mostrare all'utente in modo che sappia come muovere la mano per riportarla dove può essere vista da HoloLens.
Cornice di movimento
Per i movimenti in HoloLens, la mano deve trovarsi all'interno di un frame di movimento, in un intervallo che le fotocamere di rilevamento dei movimenti possono vedere in modo appropriato, dal naso alla vita e tra le spalle. Gli utenti devono essere addestrati su questo settore di riconoscimento sia per il successo dell'azione che per il proprio comfort. Molti utenti presuppongono inizialmente che il frame di movimento deve trovarsi all'interno della visualizzazione tramite HoloLens e tenere premute le braccia per interagire in modo sfortunato. Quando si usa HoloLens Clicker, non è necessario che le mani siano all'interno del frame di movimento.
Per i movimenti continui in particolare, c'è qualche rischio che gli utenti spostano le mani all'esterno della cornice di movimento mentre si sposta un oggetto olografico, ad esempio, e perdono il risultato previsto.
Sono tre gli aspetti da considerare:
Istruzione utente sull'esistenza del frame di movimento e limiti approssimativi. Questo viene insegnato durante la configurazione di HoloLens.
Notificare agli utenti quando i movimenti si avvicinano o infrangono i limiti del frame di movimento all'interno di un'applicazione, in modo che un movimento perso porti a risultati indesiderati. La ricerca ha dimostrato le principali qualità di un sistema di notifica di questo tipo. La shell HoloLens offre un buon esempio di questo tipo di oggetto visivo di notifica, sul cursore centrale, che indica la direzione in cui si sta verificando l'attraversamento dei limiti.
Necessità di ridurre al minimo le conseguenze del superamento dei limiti della cornice di movimento. In generale, ciò significa che il risultato di un gesto deve essere arrestato al limite e non invertito. Ad esempio, se un utente sta spostando un oggetto olografico in una stanza, lo spostamento deve arrestarsi quando la cornice del movimento viene violata e non viene restituita al punto iniziale. L'utente potrebbe riscontrare una certa frustrazione, ma potrebbe comprendere più rapidamente i limiti e non dover riavviare ogni volta le azioni previste complete.