Interazione basata su sguardo fisso su HoloLens 2
Una delle nostre nuove entusiasmanti funzionalità su HoloLens 2 è il tracciamento oculare. Nella pagina Tracciamento oculare HoloLens 2 è stata menzionata la necessità per ogni utente di eseguire una calibrazione, sono stati forniti alcuni consigli per gli sviluppatori e sono stati evidenziati i casi d'uso per il tracciamento oculare. L'input dello sguardo fisso è ancora un nuovo tipo di input utente e c'è molto da imparare.
Mentre l'input dello sguardo fisso viene usato in modo semplice nell'esperienza holographic Shell (l'interfaccia utente visualizzata all'avvio del HoloLens 2), diverse app, ad esempio "HoloLens Playground", mostrano ottimi esempi su come l'input dello sguardo fisso può aggiungere alla magia dell'esperienza olografica. In questa pagina vengono illustrate le considerazioni di progettazione per l'integrazione dell'input dello sguardo fisso per interagire con le applicazioni olografiche.
Si apprenderanno i vantaggi principali e anche le sfide uniche che vengono fornite con l'input dello sguardo fisso. In base a questi, vengono fornite diverse raccomandazioni di progettazione che consentono di creare interfacce utente soddisfacenti supportate dagli occhi.
Supporto dei dispositivi
| Caratteristica | HoloLens (prima generazione) | HoloLens 2 | Visori vr immersive |
| Sguardo fisso | ❌ | ✔️ | ❌ |
Demo dei concetti di progettazione del tracciamento oculare e della testa
Se vuoi vedere i concetti di progettazione di Head e Eye Tracking in azione, vedi la demo di progettazione di ologrammi - Tracciamento della testa e tracciamento oculare di seguito. Al termine, continuare per un'analisi più dettagliata di argomenti specifici.
Questo video è stato tratto dall'app "Progettazione di ologrammi" HoloLens 2. Scarica e goditi l'esperienza completa qui.
Linee guida per la progettazione dell'input con sguardo fisso
La creazione di un'interazione che sfrutta i vantaggi della selezione rapida degli occhi può essere complessa. In questa sezione vengono riepilogati i vantaggi e le sfide principali da considerare durante la progettazione dell'applicazione.
Vantaggi dell'input dello sguardo fisso
Puntamento ad alta velocità. Il muscolo oculare è il muscolo che reagisce più velocemente nel corpo umano.
Sforzo ridotto. A malapena sono necessari movimenti fisici.
Implicitità. Spesso descritto dagli utenti come "lettura mentale", le informazioni sui movimenti oculari di un utente consentono al sistema di sapere quale destinazione l'utente prevede di coinvolgere.
Canale di input alternativo. Lo sguardo fisso può fornire un potente input di supporto per l'input di mano e voce che si basa su anni di esperienza degli utenti in base al loro coordinamento occhio-mano.
Attenzione visiva. Un altro importante vantaggio è la possibilità di dedurre ciò a cui un utente sta prestando attenzione. Questo può aiutare in varie aree di applicazione che vanno dalla valutazione più efficace di progetti diversi all'assistenza in interfacce utente più intelligenti e segnali sociali avanzati per la comunicazione remota.
In poche parole, l'uso dello sguardo fisso come input offre un segnale di input contestuale rapido e senza sforzo. Questo è potente se combinato con altri input, ad esempio voce e input manuale , per confermare la finalità dell'utente.
Sfide dello sguardo fisso come input
Mentre lo sguardo fisso può essere usato per creare esperienze utente soddisfacenti, che ti fanno sentire come un supereroe, è anche importante sapere cosa non è bravo a tenere conto di questo. L'elenco seguente illustra alcune sfide da considerare e come risolverle quando si lavora con l'input dello sguardo fisso:
Il tuo sguardo è "sempre acceso" Nel momento in cui apri i coperchi degli occhi, i tuoi occhi iniziano ad fissarsi sulle cose nell'ambiente. Reagire a ogni aspetto che fai e rilasciare accidentalmente azioni, perché hai guardato qualcosa per troppo tempo, comporterebbe un'esperienza insoddisfacente. È consigliabile combinare lo sguardo fisso con un comando vocale, un movimento della mano, un clic del pulsante o un'attesa estesa per attivare la selezione di una destinazione (per altre informazioni, vedere sguardo fisso e commit). Questa soluzione consente anche una modalità in cui l'utente può guardarsi liberamente senza essere sopraffatto dall'attivazione involontaria di qualcosa. Questo problema deve essere considerato anche quando si progetta un feedback visivo e uditivo quando si esamina una destinazione. Cerca di non sovraccaricare l'utente con effetti pop-out immediati o suoni al passaggio del mouse. La sottigliezza è la chiave. Verranno illustrate alcune procedure consigliate per questo argomento più avanti quando si parla di raccomandazioni di progettazione.
Osservazione e controllo Si supponga di voler raddrizzare con precisione una fotografia sul muro. Si guardano i suoi bordi e i suoi dintorni per vedere se si allinea bene. Ora immagina come faresti quando vuoi usare lo sguardo fisso come input per spostare l'immagine. Difficile, vero? Questo descrive il doppio ruolo dello sguardo fisso quando è necessario sia per l'input che per il controllo.
Lasciare prima di fare clic su: Per le selezioni di destinazione rapide, la ricerca ha dimostrato che lo sguardo di un utente può andare avanti prima di concludere un clic manuale (ad esempio, un tocco d'aria). Prestare particolare attenzione alla sincronizzazione del segnale di sguardo rapido con input di controllo più lento (ad esempio, voce, mani, controller).
Destinazioni di piccole dimensioni: Si conosce la sensazione quando si tenta di leggere testo che è solo un po 'troppo piccolo per leggere comodamente? Questa sensazione di tensione sui tuoi occhi può farti sentire stanco e logorato, perché cerchi di riaggiustare gli occhi per concentrarti meglio. Si tratta di una sensazione che si potrebbe richiamare negli utenti quando li obbliga a selezionare destinazioni troppo piccole nell'applicazione usando la destinazione oculare. Per la progettazione, per creare un'esperienza piacevole e confortevole per gli utenti, è consigliabile che gli obiettivi siano di almeno 2° in angolo visivo, preferibilmente più grandi.
Movimenti oculari ostruiti I nostri occhi eseguono rapidi movimenti dalla fissazione alla fissazione. Se si guardano i percorsi di scansione dei movimenti oculari registrati, si può vedere che sembrano irregolari. I tuoi occhi si muovono rapidamente e in salti spontanei rispetto ai movimenti della testa o della mano.
Verifica dell'affidabilità: L'accuratezza del tracciamento oculare può degradare leggermente la luce che cambia man mano che gli occhi si adattano alle nuove condizioni. Anche se questo non deve necessariamente influire sulla progettazione dell'applicazione, poiché l'accuratezza deve essere entro il limite di 2°, potrebbe essere necessario che l'utente si calibri di nuovo.
Consigli per la progettazione
Di seguito è riportato un elenco di raccomandazioni di progettazione specifiche basate sui vantaggi e sulle sfide descritti per l'input dello sguardo fisso:
Lo sguardo fisso non è lo stesso dello sguardo fisso:
Valutare se i movimenti oculari veloci ma irregolari si adattano all'attività di input: Anche se i nostri movimenti oculari veloci e irregolari sono ideali per selezionare rapidamente le destinazioni nel campo visivo, è meno applicabile per le attività che richiedono traiettorie di input fluide (ad esempio, annotazioni di disegno o circoncercazioni). In questo caso, è consigliabile puntare la mano o la testa.
Evitare di collegare qualcosa direttamente allo sguardo dell'utente (ad esempio, un dispositivo di scorrimento o un cursore). Con i cursori, questo può causare un effetto di "cursore in fuga" a causa di lievi offset nel segnale dello sguardo proiettato. Con un dispositivo di scorrimento, può entrare in conflitto con il doppio ruolo di controllo del dispositivo di scorrimento con gli occhi, mentre vuole anche controllare se l'oggetto si trova nella posizione corretta. Per l'esempio del dispositivo di scorrimento, ha più senso usare lo sguardo fisso in combinazione con i movimenti della mano. Ciò significa che l'utente potrebbe passare rapidamente e senza sforzo tra molti dispositivi di scorrimento, alzando la mano e pizzicando il pollice e il dito indice per afferrarlo e spostarlo. Quando l'avvicinamento delle dita viene rilasciato, il dispositivo di scorrimento smette di muoversi. Gli utenti potrebbero essere sopraffatti e distratti, soprattutto se il segnale è impreciso per tale utente.
Combinare lo sguardo fisso con altri input: L'integrazione del tracciamento oculare con altri input, ad esempio movimenti della mano, comandi vocali o pressione di pulsanti, offre diversi vantaggi:
Consentire l'osservazione gratuita: Dato che il ruolo principale dei nostri occhi è quello di osservare l'ambiente, è importante che gli utenti possano guardarsi intorno senza attivare alcun feedback o azione (visiva, uditiva e così via). La combinazione del tracciamento oculare con un altro controllo di input consente una transizione uniforme tra l'osservazione del tracciamento oculare e le modalità di controllo di input.
Provider di contesto potente: L'uso di informazioni su dove e ciò che l'utente sta guardando mentre pronuncia un comando vocale o usa un movimento della mano consente di incanalare facilmente l'input attraverso il campo di visualizzazione. Ad esempio: dire "mettilo lì" per selezionare e posizionare rapidamente e fluentemente un ologramma nella scena guardando una destinazione e la destinazione prevista.
Necessità di sincronizzare gli input multimodali: La combinazione di movimenti oculari rapidi con input più complessi, ad esempio comandi vocali lunghi o movimenti della mano, comporta il rischio che l'utente continui a guardarsi intorno prima che il comando di input aggiuntivo venga completato e riconosciuto. Se crei controlli di input personalizzati (ad esempio, movimenti di mano personalizzati), assicurati di registrare l'inizio di questo input o la durata approssimativa per correlarlo con ciò che un utente aveva guardato in passato.
Feedback sottile per l'input di tracciamento oculare: È utile fornire feedback quando si esamina una destinazione per indicare che il sistema funziona come previsto, ma deve essere mantenuto sottile. Ciò può includere la fusione lenta in avanti e in uscita, le evidenziazioni visive o l'esecuzione di altri comportamenti di destinazione sottili, ad esempio movimenti lenti, ad esempio un leggero aumento delle dimensioni della destinazione. Ciò indica che il sistema ha rilevato correttamente che l'utente sta esaminando una destinazione senza interrompere inutilmente il flusso di lavoro corrente dell'utente.
Evitare di applicare movimenti oculari innaturali come input: Non forzare gli utenti a usare movimenti oculari specifici (movimenti dello sguardo fisso) per attivare azioni nell'applicazione.
Tenere conto delle imprecisioni: Si distinguono due tipi di imprecisioni, che sono evidenti agli utenti: offset e jitter. Il modo più semplice per risolvere un offset consiste nel fornire destinazioni sufficientemente grandi con cui interagire. È consigliabile usare un angolo visivo maggiore di 2° come riferimento. Ad esempio, l'anteprima è di circa 2° in angolo visivo quando si estende il braccio. Di seguito sono riportate le indicazioni seguenti:
- Non forzare gli utenti a selezionare destinazioni minuscole. La ricerca ha dimostrato che se gli obiettivi sono sufficientemente grandi e il sistema è progettato bene, gli utenti descrivono le loro interazioni come senza sforzo e magiche. Se gli obiettivi diventano troppo piccoli, gli utenti descrivono l'esperienza come fastidiosa e frustrante.
Questa pagina fornisce una buona panoramica per iniziare a comprendere lo sguardo fisso come input nella realtà mista. Per iniziare a sviluppare, consulta le nostre informazioni sullo sguardo fisso in Unity e lo sguardo fisso in DirectX.