Oogtracering op HoloLens 2
HoloLens 2 zorgt voor een nieuw niveau van context en menselijk begrip binnen de holografische ervaring door ontwikkelaars de mogelijkheid te bieden om informatie te gebruiken over wat de gebruiker bekijkt. Op deze pagina wordt uitgelegd hoe ontwikkelaars kunnen profiteren van oogtracering voor verschillende gebruiksscenario's en waar ze op moeten letten bij het ontwerpen van gebruikersinteracties op basis van ogen.
De Eye Tracking-API is ontworpen met de privacy van een gebruiker in het achterhoofd; het doorgeven van identificeerbare informatie, met name biometrie, wordt voorkomen. Voor toepassingen die geschikt zijn voor oogtracering moet de gebruiker de app toestemming geven om oogtraceringsgegevens te gebruiken.
Apparaatondersteuning
| Functie | HoloLens (1e generatie) | HoloLens 2 | Meeslepende headsets |
| Ogen staren | ❌ | ✔️ | ❌ |
Ontwerpconcepten voor hoofden en ogen volgen demo
Als u ontwerpconcepten voor hoofd- en ogentracering in actie wilt zien, bekijkt u de videodemo Hologrammen ontwerpen - Hoofdtracering en oogtracering hieronder. Wanneer u klaar bent, gaat u verder voor een gedetailleerdere bespreking van specifieke onderwerpen.
Deze video is afkomstig uit de HoloLens 2-app 'Hologrammen ontwerpen'. Download en geniet hier van de volledige ervaring.
Calibratie
Oogtracering werkt alleen nauwkeurig als elke gebruiker een kalibratie voor ogentracering moet doorlopen waarvoor de gebruiker een set holografische doelen moet bekijken. Hierdoor kan het apparaat het systeem aanpassen, wat resulteert in een comfortabelere en betere kijkervaring voor de gebruiker en nauwkeurige oogtracering op hetzelfde moment.
Oogtracering werkt voor de meeste gebruikers, maar er zijn zeldzame gevallen waarin een gebruiker niet kan kalibreren. Kalibratie kan om verschillende redenen mislukken, waaronder maar niet beperkt tot:
- De gebruiker heeft zich eerder afgemeld voor het kalibratieproces.
- De gebruiker is afgeleid en heeft de kalibratiedoelen niet gevolgd.
- De gebruiker heeft bepaalde soorten contactlenzen en brillen die het systeem nog niet ondersteunt.
- De gebruiker heeft bepaalde oogfysiologie of oogaandoeningen of heeft oogoperaties gehad, die het systeem nog niet ondersteunt.
- Externe factoren die betrouwbare oogtracering belemmeren, zoals vlekken op het HoloLens-vizier of de bril, intens direct zonlicht en occlusies als gevolg van haar voor de ogen.
Ontwikkelaars moeten ervoor zorgen dat er voldoende ondersteuning wordt geboden voor gebruikers voor wie oogtraceringsgegevens mogelijk niet beschikbaar zijn (die niet met succes kunnen kalibreren). We hebben aanbevelingen voor terugvaloplossingen gegeven in de sectie onderaan deze pagina.
Voor meer informatie over de kalibratie en hoe u een soepele ervaring kunt garanderen, raadpleegt u onze pagina voor het kalibreren van oogtracering van gebruikers .
Beschikbare oogtraceringsgegevens
Met oogtracering op HoloLens 2 kunnen ontwikkelaars natuurlijke en intuïtieve invoer- en interactiescenario's ontwerpen. De Eye Tracking-API biedt de informatie over wat de gebruiker bekijkt als een enkele oogblikstraal (oorsprong en richting van de blik) bij ongeveer 30 FPS (30 Hz). Voor een nauwkeurige werking van ogentracering moet elke gebruiker een gebruikerskalibratie voor oogtracering doorlopen. Raadpleeg onze ontwikkelaarshandleidingen voor het gebruik van ogen kijken in DirectX en ogen kijken in Unity voor meer gedetailleerde informatie over het openen van oogtraceringsgegevens.
De voorspelde oog-blik ligt ongeveer binnen 1,5 graden in visuele hoek rond het werkelijke doel (zie de onderstaande afbeelding). Er worden kleine onnauwkeurigheden verwacht, dus ontwikkelaars moeten plannen voor een marge rond deze ondergrenswaarde (2,0-3,0 graden kan bijvoorbeeld leiden tot een veel comfortabelere ervaring). Hieronder bespreken we hoe u de selectie van kleine doelen kunt aanpakken.
Optimale doelgrootte op 2 meter afstand
Uitgebreide oogtraceringsgegevens
Met uitgebreide oogtracering-API's kunnen ontwikkelaars het volgende niveau van innovatieve scenario's ontgrendelen, zoals gezondheidsevaluatie, bewaking en therapie door gedetailleerdere informatie te bieden over de ogen van de gebruiker.
Uitgebreide oogtracering-API's bieden toegang tot bestaande oogtraceringswaarden en nieuwe functies, zoals afzonderlijke (linker- en rechter) oogblikkenvectors, ondersteunde framesnelheden en de mogelijkheid om de framesnelheid voor oogtracering in te stellen op 30, 60 of 90fps. Als u de Extended Eye Tracking-API wilt gebruiken, raadpleegt u onze ontwikkelaarshandleidingen voor het gebruik van Extended Eye Tracking-API's voor systeemeigen of Unity.
Gebruiksvoorbeelden
Met oogtracering kunnen toepassingen in realtime bijhouden waar de gebruiker naar kijkt. In de volgende use cases worden enkele interacties beschreven die mogelijk zijn met oogtracering op HoloLens 2 in mixed reality. Deze use cases maken nog geen deel uit van de Holographic Shell-ervaring (de interface die u ziet wanneer u uw HoloLens 2 opstart). U kunt een aantal ervan proberen in de Mixed Reality Toolkit. De toolkit biedt verschillende interessante en krachtige voorbeelden voor het gebruik van oogtracering, zoals snelle en moeiteloze door ogen ondersteunde doelselecties en automatisch schuiven door tekst op basis van wat de gebruiker bekijkt.
Gebruikersintentie
Informatie over waar en wat een gebruiker bekijkt, biedt een krachtige context voor andere invoer, zoals spraak, handen en controllers. Dit kan voor verschillende taken worden gebruikt. De gebruiker kan zich bijvoorbeeld snel en moeiteloos richten op de scène door naar een hologram te kijken en 'selecteren' te zeggen (zie ook staren en doorvoeren) of 'zet dit...', en vervolgens kijken naar waar ze het hologram willen plaatsen en '... daar". Voorbeelden hiervan vindt u in Mixed Reality Toolkit - Door het oog ondersteunde doelselectie en Mixed Reality Toolkit - Door het oog ondersteunde doelpositionering.
Daarnaast kan een voorbeeld voor de intentie van de gebruiker informatie bevatten over wat gebruikers bekijken om de betrokkenheid met opgenomen virtuele agents en interactieve hologrammen te verbeteren. Virtuele agents kunnen bijvoorbeeld de beschikbare opties en hun gedrag aanpassen op basis van inhoud die momenteel wordt bekeken.
Impliciete acties
De categorie impliciete acties is nauw verbonden met de intentie van de gebruiker. Het idee is dat hologrammen of elementen van de gebruikersinterface op een instinctieve manier reageren die misschien niet eens het gevoel hebben dat de gebruiker met het systeem communiceert, maar dat het systeem en de gebruiker gesynchroniseerd zijn. Een voorbeeld is automatisch schuiven op basis van ogen , waarbij de gebruiker een lange tekst kan lezen die automatisch begint te schuiven zodra de gebruiker de onderkant van het tekstvak heeft gevonden. Hierdoor blijft de gebruiker in de stroom van lezen zonder een vinger op te tillen. Een belangrijk aspect hiervan is dat de schuifsnelheid wordt aangepast aan de leessnelheid van de gebruiker.
Een ander voorbeeld is zoomen en pannen met ogen , waarbij de gebruiker het gevoel krijgt dat ze precies naar waar ze zich op richten.
Het activeren en regelen van de zoomsnelheid kan worden geregeld met spraak of handinvoer, wat belangrijk is om de gebruiker het gevoel van controle te geven en tegelijkertijd te voorkomen dat ze overweldigd worden. We bespreken deze ontwerpoverwegingen hieronder in meer detail. Eenmaal ingezoomd, kan de gebruiker soepel, bijvoorbeeld, het verloop van een straat volgen om zijn of haar buurt te verkennen met behulp van hun ogen. Demo-voorbeelden voor deze typen interacties vindt u in het voorbeeld van Mixed Reality Toolkit - Door het oog ondersteunde navigatie.
Andere gebruiksvoorbeelden voor impliciete acties zijn:
- Slimme meldingen: Wordt u ooit geïrriteerd door meldingen die midden in uw weergave verschijnen? U kunt deze ervaring verbeteren door meldingen te compenseren van waar de gebruiker momenteel naar kijkt. Hierdoor wordt de afleiding beperkt en automatisch gesloten zodra de gebruiker klaar is met lezen.
- Attente hologrammen: Dit zijn hologrammen die op een subtiele manier reageren wanneer ze worden bekeken. Dit kan variëren van licht gloeiende UI-elementen tot een langzaam bloeiende bloem tot een virtuele hond die terugkijkt op de gebruiker en z'n staart kwispelen. Deze interactie kan een interessant gevoel van connectiviteit en tevredenheid in uw toepassing bieden.
Aandacht bijhouden
Informatie over waar of wat gebruikers bekijken, kan een enorm krachtig hulpmiddel zijn. Het kan helpen bij het beoordelen van de bruikbaarheid van ontwerpen en het identificeren van problemen in werkstromen om ze efficiënter te maken. Oogtraceringsvisualisatie en -analyse zijn een veelvoorkomende praktijk in verschillende toepassingsgebieden. Met HoloLens 2 bieden we een nieuwe dimensie aan dit begrip. 3D-hologrammen kunnen in de praktijk worden geplaatst en dienovereenkomstig worden beoordeeld.
De Mixed Reality Toolkit biedt basisvoorbeelden voor logboekregistratie en het laden van oogtraceringsgegevens en hoe u deze kunt visualiseren.
Microsoft zet zich in om innovatie te faciliteren en ervoor te zorgen dat gebruikers een geïnformeerde en transparante ervaring hebben met hoe hun oogtraceringsgegevens worden gebruikt. We blijven samenwerken met onze ontwikkelaars en UX-teams om hulp te bieden aan derden om ervoor te zorgen dat ervaringen zijn gericht op de gebruiker.
Andere toepassingen op dit gebied kunnen zijn:
- Visualisatie van externe ogen: Visualiseer waar externe medewerkers naar kijken. Dit kan onmiddellijke feedback geven en een nauwkeurigere informatieverwerking vergemakkelijken.
- Onderzoek van gebruikers: Aandachtstracering kan inzicht geven in hoe gebruikers de natuurlijke omgeving zien en gebruiken zonder dat dit interfereert. Dit kan ontwikkelaars helpen meer instinctieve mens-computer-interacties te ontwerpen. Oogtracering kan informatie bieden die niet rechtstreeks wordt verwoord door deelnemers aan het onderzoek en gemakkelijk kan worden gemist door de onderzoeker.
- Training en prestatiebewaking: Oefen en optimaliseer de uitvoering van taken door knelpunten effectiever in de uitvoeringsstroom te identificeren. Oogtracering kan natuurlijke, realtime en objectieve informatie bieden om training, productiviteit en veiligheid op de werkplek te verbeteren.
- Ontwerpevaluaties, marketing en consumentenonderzoek: Met oogtracering kunnen commerciële bedrijven marketing- en consumentenstudies uitvoeren in echte omgevingen of analyseren wat de aandacht van een gebruiker vastlegt om het product- of ruimteontwerp te verbeteren.
Andere use cases
- Gaming: Heb je ooit superkrachten willen hebben? Hier is je kans!
U kunt hologrammen zweven door ernaar te staren.
Schiet laserstralen vanuit je ogen- probeer het uit in RoboRaid voor HoloLens 2.
Zet vijanden in steen of bevriezen ze.
Gebruik uw X-ray vision om gebouwen te verkennen.
Je verbeelding is de limiet! Pas op dat u de gebruiker niet overweldigt. Zie onze richtlijnen voor het ontwerpen van invoer op basis van ogen voor meer informatie.
Expressieve avatars: Oogtracering helpt bij het maken van expressieve 3D-avatars door live oogtraceringsgegevens te gebruiken om de ogen van de avatar te animeren en ze te laten volgen wat de gebruiker bekijkt.
Tekstvermelding: Oogtracering kan worden gebruikt als alternatief voor tekstinvoer met weinig inspanning, met name wanneer spraak of handen lastig te gebruiken zijn.
Oog-blik gebruiken voor interactie
Het kan lastig zijn om een interactie op te bouwen die gebruikmaakt van snel bewegende oogtargeting. Omdat ogen snel kunnen bewegen, kunnen gebruikers de ervaring overweldigend of afleiden als u niet voorzichtig bent met het gebruik van blikinvoer. Maar dit is de uitdaging zeker waard, want met oogtracering kunt u echt magische ervaringen creëren die uw gebruikers zullen prikkelen! Bekijk ons overzicht van de belangrijkste voordelen, uitdagingen en ontwerpaanbevelingen voor interactie om u te helpen.
Terugvaloplossingen wanneer oogtracering niet beschikbaar is
In zeldzame gevallen zijn oogtraceringsgegevens mogelijk niet beschikbaar. Dit kan een aantal redenen hebben. De meest voorkomende worden hieronder vermeld:
- Het systeem kan de gebruiker niet kalibreren.
- De gebruiker heeft de kalibratie overgeslagen.
- De gebruiker is gekalibreerd, maar heeft besloten uw app geen toestemming te geven om zijn oogtraceringsgegevens te gebruiken.
- De gebruiker heeft een unieke bril of een oogconditie die het systeem nog niet ondersteunt.
- Externe factoren die betrouwbare oogtracering belemmeren, zoals vlekken op het HoloLens-vizier of de bril, intens direct zonlicht en occlusies vanwege haar voor de ogen.
Ontwikkelaars moeten ervoor zorgen dat er de juiste terugvalondersteuning voor deze gebruikers is. Op de pagina Oogtracering in DirectX leggen we de API's uit die nodig zijn om te detecteren of oogtraceringsgegevens beschikbaar zijn.
Sommige gebruikers kunnen besluiten dat meer privacy voor hen belangrijker is dan de verbeterde ervaring die oogtracering kan bieden, zodat ze de toegang tot hun oogtraceringsgegevens opzettelijk intrekken. In sommige gevallen kan deze intrekking echter onbedoeld zijn. Als uw app gebruikmaakt van oogtracering en dit een belangrijk onderdeel van de ervaring is, raden we u aan dit duidelijk aan de gebruiker door te geven. Door de gebruiker uit te leggen hoe oogtracering het volledige potentieel van uw toepassing ontgrendelt, kan deze beter begrijpen wat ze opgeven. Als oogtracering is ingeschakeld, maar niet werkt, helpt u de gebruiker het probleem te identificeren en op te lossen met behulp van de bovenstaande controlelijst. Als u bijvoorbeeld kunt detecteren dat het systeem oogtracering ondersteunt en de gebruiker is gekalibreerd en toestemming heeft gegeven, maar er geen oogtraceringsgegevens worden ontvangen, kan dit wijzen op problemen zoals vlekken of de ogen die worden gesloten.
Er zijn zeldzame gevallen waarin oogtracering gewoon niet werkt voor iemand en er geen duidelijke reden is. Respecteer dit door toe te staan dat de gebruiker herinneringen voor het inschakelen van oogtracering in uw app kan negeren of uitschakelen.
Terugvallen voor apps die ogen kijken als primaire invoerpointer gebruiken
Als uw app oog-staren gebruikt als een aanwijzerinvoer om snel hologrammen in de scène te selecteren, maar oogtraceringsgegevens niet beschikbaar zijn, raden we u aan terug te vallen op hoofd-staren en de hoofd-starencursor weer te geven. We raden u aan een time-out te gebruiken (bijvoorbeeld 500-1500 ms) om te bepalen of u wilt overschakelen of niet. Met deze actie voorkomt u dat cursors worden weergegeven telkens wanneer het systeem de tracering kort verliest vanwege snelle oogbewegingen of knipogen en knipperen. Als u een Unity-ontwikkelaar bent, wordt de automatische terugval naar head-star al verwerkt in de Mixed Reality Toolkit. Als u een DirectX-ontwikkelaar bent, moet u deze switch zelf afhandelen.
Terugvallen voor andere oogtraceringsspecifieke toepassingen
Uw app kan ooggerichtheid gebruiken op een unieke manier die specifiek is afgestemd op de ogen, bijvoorbeeld het animeren van de ogen van een avatar of op ogen gebaseerde aandachts-heatmaps die afhankelijk zijn van nauwkeurige informatie over visuele aandacht. In dit soort gevallen is er geen duidelijke terugval. Als oogtracering niet beschikbaar is, moeten deze mogelijkheden mogelijk worden uitgeschakeld. We raden u nogmaals aan dit duidelijk door te geven aan de gebruiker, die zich er mogelijk niet van bewust is dat de mogelijkheid niet werkt.
Deze pagina heeft u hopelijk een goed overzicht gegeven om u op weg te helpen met het begrijpen van de rol van oogtracering en blikinvoer voor de HoloLens 2. Als u aan de slag wilt gaan met ontwikkelen, bekijkt u onze informatie over de rol van oog-staren voor interactie met hologrammen, oog-staren in Unity en oog-staren in DirectX.