Eye tracking on HoloLens 2
HoloLens 2 ermöglicht eine neue Ebene des Kontexts und des menschlichen Verständnisses innerhalb der holografischen Erfahrung, indem entwickler die Möglichkeit erhalten, Informationen darüber zu verwenden, was der Benutzer betrachtet. Auf dieser Seite wird erläutert, wie Entwickler von Eyetracking für verschiedene Anwendungsfälle profitieren können und worauf sie beim Entwerfen von Benutzerinteraktionen mit blickbasierten Blicken achten sollten.
Die Eye Tracking-API wurde unter Berücksichtigung der Privatsphäre eines Benutzers entwickelt. es vermeidet die Weitergabe von identifizierbaren Informationen, insbesondere biometrischen Daten. Für Eyetracking-fähige Anwendungen muss der Benutzer der App die Berechtigung erteilen, Eyetracking-Informationen zu verwenden.
Geräteunterstützung
| Feature | HoloLens (1. Generation) | HoloLens 2 | Immersive Headsets |
| Anvisieren mit den Augen | ❌ | ✔️ | ❌ |
Demo zu Den Designkonzepten für Kopf- und Eyetracking
Wenn Sie die Designkonzepte von Head and Eye Tracking in Aktion sehen möchten, sehen Sie sich unten unsere Videodemo Designing Holograms - Head Tracking and Eye Tracking an. Wenn Sie fertig sind, fahren Sie mit fort, um einen ausführlicheren Einblick in bestimmte Themen zu finden.
Dieses Video stammt aus der App "Designing Holograms" HoloLens 2. Laden Sie hier herunter, und genießen Sie die gesamte Erfahrung.
Kalibrierung
Damit eye tracking genau funktioniert, muss jeder Benutzer eine Eyetracking-Benutzerkalibrierung durchlaufen, für die der Benutzer eine Reihe von holografischen Zielen betrachten muss. Dies ermöglicht es dem Gerät, das System anzupassen, was zu einem komfortableren und qualitativ hochwertigeren Seherlebnis für den Benutzer führt und gleichzeitig eine genaue Eyetracking gewährleistet.
Eyetracking sollte für die meisten Benutzer funktionieren, aber es gibt selten Fälle, in denen ein Benutzer nicht erfolgreich kalibrieren kann. Die Kalibrierung kann aus verschiedenen Gründen fehlschlagen, einschließlich, aber nicht beschränkt auf:
- Der Benutzer hat den Kalibrierungsprozess zuvor abgemeldet.
- Der Benutzer wurde abgelenkt und hat die Kalibrierungsziele nicht befolgt.
- Der Benutzer verfügt über bestimmte Arten von Kontaktlinsen und Brillen, die das System noch nicht unterstützt.
- Der Benutzer hat bestimmte Augenphysiologie oder Augenerkrankungen oder hatte Augenoperationen, die das System noch nicht unterstützt.
- Externe Faktoren, die ein zuverlässiges EyeTracking verhindern, wie z. B. Flecke auf dem HoloLens-Visier oder die Brille, intensives direktes Sonnenlicht und Verdeckungen aufgrund von Haaren vor den Augen.
Entwickler sollten sicherstellen, dass sie ausreichend Unterstützung für Benutzer bereitstellen, für die Eyetracking-Daten möglicherweise nicht verfügbar sind (die nicht in der Lage sind, erfolgreich zu kalibrieren). Empfehlungen für Fallbacklösungen finden Sie im Abschnitt unten auf dieser Seite.
Weitere Informationen zur Kalibrierung und zum Sicherstellen einer reibungslosen Benutzererfahrung finden Sie auf unserer Seite zur Eyetracking-Benutzerkalibrierung .
Verfügbare Eyetracking-Daten
Mit eye tracking on HoloLens 2 können Entwickler natürliche und intuitive Eingabe- und Interaktionsszenarien entwerfen. Die Eye Tracking-API stellt Informationen darüber bereit, was der Benutzer als einzelner Blickstrahl (Ursprung und Richtung des Anvisierens) bei ungefähr 30 FPS (30 Hz) betrachtet. Damit eye tracking genau funktioniert, muss jeder Benutzer eine Eyetracking-Benutzerkalibrierung durchlaufen. Ausführlichere Informationen zum Zugriff auf Eyetracking-Daten finden Sie in unseren Entwicklerhandbüchern zur Verwendung des Anvisierens in DirectX und des Anvisierens von Augen in Unity.
Das vorhergesagte Anvisieren mit den Augen liegt ungefähr innerhalb von 1,5 Grad im Sichtwinkel um das tatsächliche Ziel (siehe Abbildung unten). Es werden geringfügige Ungenauigkeiten erwartet, sodass Entwickler eine gewisse Marge um diesen niedrigeren Wert herum einplanen sollten (z. B. können 2,0 bis 3,0 Grad zu einer viel komfortableren Erfahrung führen). Im Folgenden erfahren Sie ausführlicher, wie Sie die Auswahl kleiner Ziele behandeln können.
Optimale Zielgröße bei einem Abstand von 2 Metern
Erweiterte Eye Tracking-Daten
Erweiterte Eyetracking-APIs ermöglichen Es Entwicklern, die nächste Ebene innovativer Szenarien wie Gesundheitsbewertung, Überwachung und Therapie zu erschließen, indem sie differenziertere Informationen über das Anvisieren der Augen des Benutzers bereitstellen.
Erweiterte Eyetracking-APIs bieten Zugriff auf vorhandene Eyetrackingwerte und neue Features wie einzelne (linke und rechte) Blickvektoren, unterstützte Bildfrequenzen und die Möglichkeit, die Eyetracking-Framerate auf 30, 60 oder 90fps festzulegen. Informationen zur Verwendung der erweiterten EyeTracking-API finden Sie in unseren Entwicklerhandbüchern zur Verwendung von Erweiterten Eye Tracking-APIs für systemeigene oder Unity-Apps.
Anwendungsfälle
Mit eye tracking können Anwendungen in Echtzeit nachverfolgen, wo der Benutzer sucht. In den folgenden Anwendungsfällen werden einige Interaktionen beschrieben, die mit Eyetracking auf HoloLens 2 in Mixed Reality möglich sind. Diese Anwendungsfälle sind noch nicht Teil der Holographic Shell-Benutzeroberfläche (die Benutzeroberfläche, die Sie sehen, wenn Sie Ihre HoloLens 2 starten). Sie können einige davon im Mixed Reality Toolkit ausprobieren. Das Toolkit bietet mehrere interessante und leistungsstarke Beispiele für die Verwendung von Eyetracking, z. B. schnelle und mühelose, durch augengestützte Zielauswahl und automatischen Bildlauf durch Text basierend auf dem, was der Benutzer betrachtet.
Benutzerabsicht
Informationen darüber, wo und was ein Benutzer betrachtet, bieten einen leistungsfähigen Kontext für andere Eingaben, z. B. Stimme, Hände und Controller. Dies kann für verschiedene Aufgaben verwendet werden. Beispielsweise kann der Benutzer schnell und mühelos auf die gesamte Szene ausgerichtet werden, indem er sich ein Hologramm ansieht und "Select" (siehe auch Anvisieren und Commit) oder "Put this..." sagt, und dann hinüberschauen, wo er das Hologramm platzieren möchte, und " ... dort". Beispiele hierfür finden Sie unter Mixed Reality Toolkit – Augengestützte Zielauswahl und Mixed Reality Toolkit – Augengestützte Zielpositionierung.
Darüber hinaus kann ein Beispiel für die Benutzerabsicht die Verwendung von Informationen darüber enthalten, was Benutzer betrachten, um die Interaktion mit verkörperten virtuellen Agents und interaktiven Hologrammen zu verbessern. Beispielsweise können virtuelle Agents verfügbare Optionen und deren Verhalten basierend auf aktuell angezeigten Inhalten anpassen.
Implizite Aktionen
Die Kategorie der impliziten Aktionen bezieht sich eng auf die Benutzerabsicht. Die Idee ist, dass Hologramme oder Benutzeroberflächenelemente instinktiv reagieren, die möglicherweise nicht einmal das Gefühl hat, dass der Benutzer überhaupt mit dem System interagiert, sondern dass das System und der Benutzer synchron sind. Ein Beispiel ist ein auf augenzenden Blicken basierender automatischer Bildlauf , bei dem der Benutzer einen langen Text lesen kann, der automatisch mit dem Scrollen beginnt, sobald der Benutzer am Ende des Textfelds steht. Dadurch bleibt der Benutzer im Lesefluss, ohne einen Finger anzuheben. Ein wichtiger Aspekt ist, dass sich die Bildlaufgeschwindigkeit an die Lesegeschwindigkeit des Benutzers anpasst.
Ein weiteres Beispiel ist der von den Augen unterstützte Zoom und Schwenken , bei dem der Benutzer das Gefühl hat, genau auf das zu springen, worauf er sich konzentriert.
Das Auslösen und Steuern der Zoomgeschwindigkeit kann durch Sprach- oder Handeingaben gesteuert werden, was wichtig ist, um dem Benutzer das Gefühl der Kontrolle zu geben und gleichzeitig nicht überfordert zu werden. Diese Entwurfsüberlegungen werden im Folgenden ausführlicher behandelt. Nach dem Vergrößern kann der Benutzer z. B. den Verlauf einer Straße reibungslos verfolgen, um seine Nachbarschaft mithilfe seines Blicks zu erkunden. Demobeispiele für diese Arten von Interaktionen finden Sie im Beispiel Mixed Reality Toolkit – Augengestützte Navigation.
Weitere Anwendungsfälle für implizite Aktionen können sein:
- Intelligente Benachrichtigungen: Ärgern Sie sich jemals über Benachrichtigungen, die mitten in Ihrer Ansicht angezeigt werden? Sie können diese Erfahrung verbessern, indem Sie Benachrichtigungen aus dem Ort ausgleichen, von dem aus der Benutzer gerade blickt. Dies schränkt Ablenkungen ein und schließt sie automatisch, sobald der Benutzer mit dem Lesen fertig ist.
- Aufmerksame Hologramme: Dies sind Hologramme, die auf subtile Weise reagieren, wenn sie anvisiert werden. Dies kann von leicht leuchtenden UI-Elementen über eine langsam blühende Blume bis hin zu einem virtuellen Hund reichen, der auf den Benutzer zurückschaut und mit dem Schwanz wedelt. Diese Interaktion kann ein interessantes Gefühl der Konnektivität und Zufriedenheit in Ihrer Anwendung liefern.
Aufmerksamkeitsnachverfolgung
Informationen dazu, wo oder was Benutzer betrachten, können ein immens leistungsfähiges Tool sein. Es kann dabei helfen, die Nutzbarkeit von Designs zu bewerten und Probleme in Workflows zu identifizieren, um sie effizienter zu gestalten. Eyetrackingvisualisierung und -analyse sind eine gängige Praxis in verschiedenen Anwendungsbereichen. Mit HoloLens 2 bieten wir diesem Verständnis eine neue Dimension: 3D-Hologramme können in realen Kontexten platziert und entsprechend bewertet werden.
Das Mixed Reality Toolkit bietet grundlegende Beispiele für die Protokollierung und das Laden von Eyetracking-Daten und deren Visualisierung.
Microsoft ist bestrebt, Innovationen zu fördern und gleichzeitig sicherzustellen, dass Benutzer eine informierte und transparente Erfahrung mit der Verwendung ihrer Eyetracking-Informationen haben. Wir arbeiten weiterhin mit unseren Entwicklern und UX-Teams zusammen, um Anleitungen für Dritte bereitzustellen, um sicherzustellen, dass die Benutzeroberflächen im Mittelpunkt stehen.
Weitere Anwendungen in diesem Bereich können sein:
- Remotevisualisierung mit Blick: Visualisieren Sie, was Remotemitarbeiter betrachten. Dies kann sofortiges Feedback geben und eine genauere Informationsverarbeitung ermöglichen.
- Nutzerforschungsstudien: Das Aufmerksamkeitstracking kann Erkenntnisse darüber liefern, wie Benutzer die natürliche Umgebung wahrnehmen und damit interagieren, ohne sich zu stören. Dies kann Entwicklern helfen, mehr instinktive Mensch-Computer-Interaktionen zu entwerfen. Eyetracking kann Informationen liefern, die von den Teilnehmern der Studie nicht direkt artikuliert werden und vom Forscher leicht übersehen werden können.
- Trainings- und Leistungsüberwachung: Üben und optimieren Sie die Ausführung von Aufgaben, indem Sie Engpässe im Ausführungsablauf effektiver identifizieren. Eyetracking kann natürliche, in Echtzeit und objektive Informationen liefern, um Training, Produktivität und Sicherheit am Arbeitsplatz zu verbessern.
- Designbewertungen, Marketing und Verbraucherforschung: Eyetracking ermöglicht es kommerziellen Unternehmen, Marketing- und Verbraucherstudien in realen Umgebungen durchzuführen oder zu analysieren, was die Aufmerksamkeit eines Benutzers auf sich nimmt, um das Produkt- oder Raumdesign zu verbessern.
Andere Anwendungsfälle
- Spiel: Wollten Sie schon einmal Superkräfte haben? Hier ist Ihre Chance!
Sie können Hologramme schweben, indem Sie sie anstarren.
Schießen Sie Laserstrahlen aus Ihren Augen - probieren Sie es in RoboRaid aus, um HoloLens 2.
Verwandeln Sie Feinde in Stein oder frieren Sie sie ein.
Verwenden Sie Ihr Röntgenbild, um Gebäude zu erkunden.
Ihre Fantasie ist die Grenze! Achten Sie jedoch darauf, den Benutzer nicht zu überfordern. Weitere Informationen finden Sie in unseren Richtlinien für eingabebasiertes Anvisieren.
Ausdrucksstarke Avatare: Eyetracking hilft in ausdrucksstärkeren 3D-Avataren, indem Live-Eye-Tracking-Daten verwendet werden, um die Augen des Avatars zu animieren und sie dem folgen zu lassen, was der Benutzer betrachtet.
Texteingabe: Eyetracking kann als Alternative für die Texteingabe mit geringem Aufwand verwendet werden, insbesondere wenn Die Verwendung von Sprache oder Händen unpraktisch ist.
Verwenden des Anvisierens mit den Augen für die Interaktion
Es kann schwierig sein, eine Interaktion zu entwickeln, die sich schnell bewegende Augenadressierung ausnutzt. Da sich die Augen schnell bewegen können, kann es für Benutzer überwältigend oder ablenkend sein, wenn Sie nicht vorsichtig sind, wie die Eingabe des Anvisierens mit den Augen verwendet wird. Aber dies ist die Herausforderung wert, denn Eyetracking ermöglicht es Ihnen, wirklich magische Erlebnisse zu schaffen, die Ihre Benutzer begeistern werden! Um Ihnen zu helfen, sehen Sie sich unsere Übersicht über die wichtigsten Vorteile, Herausforderungen und Designempfehlungen für die Interaktion mit blickend an.
Fallbacklösungen, wenn Eyetracking nicht verfügbar ist
In seltenen Fällen sind Eyetracking-Daten möglicherweise nicht verfügbar. Dies kann aus einer Reihe von Gründen geschehen– die häufigsten sind unten aufgeführt:
- Das System konnte den Benutzer nicht kalibrieren.
- Der Benutzer hat die Kalibrierung übersprungen.
- Der Benutzer ist kalibriert, hat sich aber entschieden, Ihrer App keine Berechtigung zur Verwendung seiner Eyetracking-Daten zu erteilen.
- Der Benutzer verfügt über eine einzigartige Brille oder eine Augenbedingung, die das System noch nicht unterstützt.
- Externe Faktoren, die ein zuverlässiges EyeTracking verhindern, z. B. Flecke auf dem HoloLens-Visier oder die Brille, intensive direkte Sonneneinstrahlung und Verdeckungen aufgrund von Haaren vor den Augen.
Entwickler sollten sicherstellen, dass für diese Benutzer geeignete Fallbackunterstützung vorhanden ist. Auf der Seite Eye Tracking in DirectX erläutern wir die APIs, die erforderlich sind, um zu erkennen, ob Eyetracking-Daten verfügbar sind.
Einige Benutzer sind möglicherweise der Ansicht, dass mehr Datenschutz für sie wichtiger ist als die verbesserte Benutzererfahrung, die Eye-Tracking bieten kann, sodass sie den Zugriff auf ihre Eyetracking-Daten absichtlich widerrufen. In einigen Fällen kann dieser Widerruf jedoch unbeabsichtigt sein. Wenn Ihre App Eyetracking verwendet und dies ein wichtiger Bestandteil der Benutzeroberfläche ist, empfehlen wir, dies dem Benutzer klar zu kommunizieren. Wenn Sie dem Benutzer erklären, wie Eyetracking das volle Potenzial Ihrer Anwendung freischaltet, kann er besser verstehen, was er aufgibt. Wenn eye-tracking aktiviert ist, aber nicht funktioniert, helfen Sie dem Benutzer, das Problem zu identifizieren und zu beheben, indem Sie die obige Checkliste als Leitfaden verwenden. Wenn Sie z. B. erkennen können, dass das System Eyetracking unterstützt und der Benutzer kalibriert ist und seine Erlaubnis erteilt hat, aber keine Eyetracking-Daten empfangen werden, kann dies auf Probleme wie Smudges oder verdeckende Augen hinweisen.
Es gibt selten Fälle, in denen Eyetracking für jemanden einfach nicht funktioniert und es keinen offensichtlichen Grund gibt. Achten Sie darauf, indem Sie dem Benutzer erlauben, Erinnerungen zum Aktivieren der Augenverfolgung in Ihrer App zu schließen oder zu deaktivieren.
Fallback für Apps, die das Anvisieren als primären Eingabezeiger verwenden
Wenn Ihre App das Anvisieren mit den Augen als Zeigereingabe verwendet, um schnell Hologramme in der gesamten Szene auszuwählen, aber keine Eyetracking-Daten verfügbar sind, empfehlen wir, zum Anvisieren mit dem Kopf zurückzukehren und den Kopf-Anvisieren-Cursor anzuzeigen. Es wird empfohlen, ein Timeout (z. B. 500–1500 ms) zu verwenden, um zu bestimmen, ob gewechselt werden soll oder nicht. Diese Aktion verhindert, dass Cursor jedes Mal angezeigt werden, wenn das System aufgrund schneller Augenbewegungen oder Augenzwinkern und Blinken kurz die Nachverfolgung verliert. Wenn Sie Unity-Entwickler sind, wird das automatische Fallback zum Anvisieren auf den Kopf bereits im Mixed Reality Toolkit behandelt. Wenn Sie ein DirectX-Entwickler sind, müssen Sie diesen Wechsel selbst durchführen.
Fallback für andere Eyetracking-spezifische Anwendungen
Ihre App kann das Anvisieren mit den Augen auf eine einzigartige Weise verwenden, die speziell auf die Augen zugeschnitten ist, z. B. das Animieren der Augen eines Avatars oder augenbasierte Aufmerksamkeits-Wärmebilder, die auf präzisen Informationen zur visuellen Aufmerksamkeit angewiesen sind. In diesem Fall gibt es keinen eindeutigen Fallback. Wenn Eyetracking nicht verfügbar ist, müssen diese Funktionen möglicherweise deaktiviert werden. Auch hier wird empfohlen, dies dem Benutzer klar mitzuteilen, der möglicherweise nicht weiß, dass die Funktion nicht funktioniert.
Diese Seite bietet Ihnen hoffentlich einen guten Überblick, damit Sie die Rolle von Eyetracking und Blickeingaben für die HoloLens 2 verstehen können. Um mit der Entwicklung zu beginnen, sehen Sie sich unsere Informationen über die Rolle des Anvisierens für die Interaktion mit Hologrammen, das Anvisieren der Augen in Unity und das Anvisieren mit den Augen in DirectX an.