HoloLens 2 시선 추적
HoloLens 2 개발자에게 사용자가 보고 있는 내용에 대한 정보를 사용할 수 있는 기능을 제공하여 홀로그램 환경 내에서 새로운 수준의 컨텍스트 및 인간 이해를 허용합니다. 이 페이지에서는 개발자가 다양한 사용 사례에 대한 시선 추적의 이점을 누릴 수 있는 방법과 시선 응시 기반 사용자 상호 작용을 디자인할 때 무엇을 찾아야 하는지 설명합니다.
시선 추적 API는 사용자의 개인 정보를 염두에 두고 설계되었습니다. 식별 가능한 정보, 특히 생체 인식이 전달되는 것을 방지합니다. 시선 추적이 가능한 애플리케이션의 경우 사용자는 아이 트래킹 정보를 사용할 수 있는 권한을 앱에 부여해야 합니다.
디바이스 지원
| 기능 | HoloLens(1세대) | HoloLens 2 | 몰입형 헤드셋 |
| 시선 응시 | ❌ | ✔️ | ❌ |
헤드 및 시선 추적 디자인 개념 데모
헤드 및 아이 트래킹 디자인 개념이 작동하는 것을 확인하려면 아래 홀로그램 디자인 - 헤드 추적 및 시선 추적 비디오 데모를 검사. 작업을 마치면 특정 topics 자세히 알아보려면 계속 진행하세요.
이 비디오는 "홀로그램 디자인" HoloLens 2 앱에서 찍은 것입니다. 여기에서 전체 환경을 다운로드하고 즐길 수 있습니다.
교정
시선 추적이 정확하게 작동하려면 각 사용자가 홀로그램 대상 집합을 확인해야 하는 시선 추적 사용자 보정 을 거쳐야 합니다. 이렇게 하면 디바이스가 시스템을 조정하여 사용자에게 더 편안하고 고품질의 시청 환경을 제공하고 동시에 정확한 시선 추적을 보장할 수 있습니다.
시선 추적은 대부분의 사용자에게 작동하지만 사용자가 성공적으로 보정할 수 없는 경우는 드뭅니다. 다음을 포함하지만 이에 국한되지 않는 다양한 이유로 보정이 실패할 수 있습니다.
- 사용자가 이전에 보정 프로세스를 옵트아웃했습니다.
- 사용자가 산만해졌고 보정 대상을 따르지 않았습니다.
- 사용자는 시스템에서 아직 지원하지 않는 특정 유형의 콘택트 렌즈와 안경을 가지고 있습니다.
- 사용자는 특정 눈 생리학 또는 눈 상태를 가지고 또는 눈 수술을했다, 이는 시스템은 아직 지원하지 않습니다.
- HoloLens 바이저 또는 안경의 얼룩, 강렬한 직사광선 및 눈 앞의 머리카락으로 인한 폐색과 같은 신뢰할 수 있는 시선 추적을 억제하는 외부 요인.
개발자는 시선 추적 데이터를 사용할 수 없는 사용자(성공적으로 보정할 수 없는 사용자)에 대해 적절한 지원을 제공해야 합니다. 이 페이지의 맨 아래에 있는 섹션에서 대체 솔루션에 대한 권장 사항을 제공했습니다.
보정 및 원활한 환경을 보장하는 방법에 대한 자세한 내용은 시선 추적 사용자 보정 페이지를 참조하세요.
사용 가능한 시선 추적 데이터
HoloLens 2 대한 시선 추적을 통해 개발자는 자연스럽고 직관적인 입력 및 상호 작용 시나리오를 설계할 수 있습니다. 시선 추적 API는 사용자가 약 30FPS(30Hz)에서 단일 시선 응시 광선(응시 원점 및 방향)으로 보고 있는 내용에 대한 정보를 제공합니다. 시선 추적이 정확하게 작동하려면 각 사용자가 시선 추적 사용자 보정을 거쳐야 합니다. 시선 추적 데이터에 액세스하는 방법에 대한 자세한 내용은 DirectX에서 시선 응시 및 Unity 시선 응시를 사용하기 위한 개발자 가이드를 참조하세요.
예측된 시선 응시는 실제 대상 주위의 시각적 각도에서 약 1.5도 이내입니다(아래 그림 참조). 약간의 부정확성이 예상되므로 개발자는 이 하한 값에 대한 약간의 여백을 계획해야 합니다(예: 2.0-3.0도는 훨씬 더 편안한 환경을 초래할 수 있음). 아래에서 작은 대상의 선택을 해결하는 방법에 대해 자세히 설명합니다.
2미터 거리에서 최적의 대상 크기
확장된 시선 추적 데이터
확장된 시선 추적 API를 통해 개발자는 사용자의 시선 응시에 대한 보다 세분화된 정보를 제공하여 건강 평가, 모니터링 및 치료와 같은 혁신적인 시나리오의 다음 수준을 잠금 해제할 수 있습니다.
확장된 시선 추적 API는 기존 시선 추적 값과 개별(왼쪽 및 오른쪽) 시선 응시 벡터, 지원되는 프레임 속도 및 시선 추적 프레임 속도를 30, 60 또는 90fps로 설정하는 기능과 같은 새로운 기능에 대한 액세스를 제공합니다. 확장 눈 추적 API를 사용하려면 네이티브 또는 Unity 확장된 시선 추적 API를 사용하기 위한 개발자 가이드를 참조하세요.
사용 사례
시선 추적을 사용하면 애플리케이션에서 사용자가 실시간으로 찾고 있는 위치를 추적할 수 있습니다. 다음 사용 사례에서는 혼합 현실에서 HoloLens 2 대한 시선 추적과 함께 가능한 몇 가지 상호 작용을 설명합니다. 이러한 사용 사례는 홀로그램 셸 환경(HoloLens 2 시작할 때 표시되는 인터페이스)의 일부가 아닙니다. Mixed Reality 도구 키트에서 그 중 일부를 사용해 볼 수 있습니다. 도구 키트는 시선 추적을 사용하기 위한 몇 가지 흥미롭고 강력한 예제를 제공합니다. 예를 들어 빠르고 쉽게 눈에 지원되는 대상 선택 및 사용자가 보는 내용에 따라 텍스트를 자동으로 스크롤합니다.
사용자 의도
사용자가 보는 위치와 대상에 대한 정보는 음성, 손 및 컨트롤러와 같은 다른 입력에 대한 강력한 컨텍스트를 제공합니다. 다양한 작업에 사용할 수 있습니다. 예를 들어 사용자는 홀로그램을 보고 "선택" ( 응시 및 커밋 참조) 또는 "이 것을 넣습니다..."라고 말한 다음 홀로그램을 배치하고 "...라고 말하여 장면을 빠르고 쉽게 대상으로 지정할 수 있습니다 . 거기에". 이에 대한 예는 Mixed Reality 도구 키트 - 시선 지원 대상 선택 및 Mixed Reality 도구 키트 - 시선 지원 대상 위치 지정에서 찾을 수 있습니다.
또한 사용자 의도의 예로는 구현된 가상 에이전트 및 대화형 홀로그램과의 참여를 향상시키기 위해 사용자가 보는 내용에 대한 정보를 사용하는 것이 포함될 수 있습니다. 예를 들어 가상 에이전트는 현재 본 콘텐츠에 따라 사용 가능한 옵션 및 해당 동작을 조정할 수 있습니다.
암시적 작업
암시적 작업의 범주는 사용자 의도와 밀접하게 관련됩니다. 홀로그램 또는 사용자 인터페이스 요소는 사용자가 시스템과 전혀 상호 작용하는 것처럼 느껴지지 않고 시스템과 사용자가 동기화되어 있다고 느낄 수 있는 본능적인 방식으로 반응한다는 것입니다. 한 가지 예는 사용자가 텍스트 상자의 맨 아래에 도달하면 자동으로 스크롤을 시작하는 긴 텍스트를 읽을 수 있는 시선 응시 기반 자동 스크롤 입니다. 이렇게 하면 사용자가 손가락을 떼지 않고 읽기 흐름을 유지할 수 있습니다. 이 것의 주요 측면은 스크롤 속도가 사용자의 읽기 속도에 적응한다는 것입니다.
또 다른 예는 사용자가 포커스가 있는 모든 것을 향해 정확하게 다이빙하는 것처럼 느낄 수 있는 눈 지원 확대/축소 및 팬 입니다.
확대/축소 속도 트리거 및 제어는 음성 또는 손 입력으로 제어할 수 있으며, 이는 사용자에게 제어 느낌을 제공하는 동시에 과부하되는 것을 방지하는 데 중요합니다. 아래에서 이러한 디자인 고려 사항에 대해 자세히 살펴보겠습니다. 확대하면 사용자는 눈 응시를 사용하여 자신의 이웃을 탐험하는 거리 과정을 원활하게 따를 수 있습니다. 이러한 유형의 상호 작용에 대한 데모 예제는 Mixed Reality 도구 키트 - 시선 지원 탐색 샘플에서 찾을 수 있습니다.
암시적 작업에 대한 다른 사용 사례는 다음과 같습니다.
- 스마트 알림: 보기 중간에 알림이 표시되는 것에 짜증이 난 적이 있나요? 사용자가 현재 응시 중인 위치에서 알림을 오프셋하여 이 환경을 더 좋게 만들 수 있습니다. 이렇게 하면 방해가 제한되고 사용자가 읽기를 마치면 자동으로 해제됩니다.
- 세심한 홀로그램: 이들은 그들이 응시 할 때 미묘한 방식으로 반응하는 홀로그램입니다. 이는 약간 빛나는 UI 요소부터 천천히 피어나는 꽃, 사용자를 되돌아보고 꼬리를 흔들기 시작하는 가상 개에 이르기까지 다양할 수 있습니다. 이 상호 작용은 애플리케이션에서 흥미로운 연결감과 만족감을 제공할 수 있습니다.
주의 추적
사용자가 보는 위치 또는 내용에 대한 정보는 매우 강력한 도구가 될 수 있습니다. 디자인의 유용성을 평가하고 워크플로의 문제를 식별하여 더 효율적으로 만들 수 있습니다. 시선 추적 시각화 및 분석은 다양한 애플리케이션 영역에서 일반적인 관행입니다. HoloLens 2 통해 이러한 이해에 새로운 차원을 제공합니다. 3D 홀로그램은 실제 컨텍스트에 배치하고 그에 따라 평가할 수 있습니다.
Mixed Reality 도구 키트는 시선 추적 데이터를 로깅 및 로드하고 시각화하는 방법에 대한 기본 예제를 제공합니다.
Microsoft는 혁신을 촉진하는 동시에 사용자가 시선 추적 정보를 사용하는 방법에 대한 정보와 투명한 경험을 갖도록 하기 위해 최선을 다하고 있습니다. Microsoft는 개발자 및 UX 팀과 계속 협력하여 타사에 대한 지침을 제공하여 환경이 사용자를 중심으로 이루어지도록 할 것입니다.
이 영역의 다른 애플리케이션에는 다음이 포함될 수 있습니다.
- 원격 시선 응시 시각화: 원격 협력자가 보고 있는 내용을 시각화합니다. 이를 통해 즉각적인 피드백을 제공하고 보다 정확한 정보 처리를 용이하게 할 수 있습니다.
- 사용자 연구 연구: 주의 추적은 사용자가 방해 없이 자연 환경을 인식하고 참여하는 방식에 대한 인사이트를 제공할 수 있습니다. 이는 개발자가 더 본능적인 인간-컴퓨터 상호 작용을 설계하는 데 도움이 될 수 있습니다. 시선 추적은 연구 참가자가 직접 명시하지 않고 연구원이 쉽게 놓칠 수 있는 정보를 제공할 수 있습니다.
- 교육 및 성능 모니터링: 실행 흐름에서 병목 상태를 보다 효과적으로 식별하여 태스크 실행을 연습하고 최적화합니다. 시선 추적은 직장에서 학습, 생산성 및 안전을 개선하는 데 도움이 되는 자연적이고 실시간이며 객관적인 정보를 제공할 수 있습니다.
- 평가, 마케팅 및 소비자 연구 설계: 시선 추적을 통해 상업 기업은 실제 환경에서 마케팅 및 소비자 연구를 수행하거나 제품 또는 공간 디자인을 개선하기 위해 사용자의 관심을 끄는 것을 분석할 수 있습니다.
기타 사용 사례
- 게임: 초강대국을 갖고 싶었던 적이 있나요? 여기에 당신의 기회입니다!
홀로그램을 응시하여 부과할 수 있습니다.
눈에서 레이저 빔을 쏘십시오 - HoloLens 2 위해 RoboRaid에서 사용해 보세요.
적을 돌로 바꾸거나 얼립니다.
X선 비전을 사용하여 건물을 탐색합니다.
당신의 상상력은 한계입니다! 하지만 사용자를 압도하지 않도록 주의하세요. 자세한 내용은 시선 응시 기반 입력 디자인 지침을 참조하세요.
표현 아바타: 시선 추적은 라이브 시선 추적 데이터를 사용하여 아바타의 눈에 애니메이션 효과를 주고 사용자가 보고 있는 것을 따르도록 하여 표현력이 더 좋은 3D 아바타를 지원합니다.
텍스트 항목: 시선 추적은 특히 음성이나 손을 사용하기가 불편할 때 저조도 텍스트 입력의 대안으로 사용할 수 있습니다.
상호 작용에 시선 응시 사용
빠르게 움직이는 눈 타기팅을 활용하는 상호 작용을 구축하는 것은 어려울 수 있습니다. 눈이 빠르게 움직일 수 있으므로 시선 응시 입력을 사용하는 방법에 대해 주의를 기울이지 않으면 사용자가 압도적이거나 산만한 경험을 찾을 수 있습니다. 그러나 시선 추적을 통해 사용자를 흥분시킬 진정한 마법의 환경을 만들 수 있기 때문에 이것은 도전의 가치가 있습니다! 도움이 되도록 상호 작용을 위한 시선 응시를 위한 주요 이점, 과제 및 디자인 권장 사항에 대한 개요를 검사.
시선 추적을 사용할 수 없는 경우 대체 솔루션
드물게 시선 추적 데이터를 사용할 수 없을 수 있습니다. 이 문제는 여러 가지 이유로 발생할 수 있습니다. 가장 일반적인 내용은 다음과 같습니다.
- 시스템에서 사용자를 보정하지 못했습니다.
- 사용자가 보정을 건너뛰었다.
- 사용자가 보정되었지만 앱에 시선 추적 데이터를 사용할 수 있는 권한을 부여하지 않기로 결정했습니다.
- 사용자에게는 시스템이 아직 지원하지 않는 고유한 안경 또는 일부 눈 상태가 있습니다.
- HoloLens 바이저 또는 안경의 얼룩, 강렬한 직사광선 및 눈 앞의 머리카락으로 인한 폐색과 같은 신뢰할 수 있는 시선 추적을 억제하는 외부 요인.
개발자는 이러한 사용자에 대한 적절한 대체 지원이 있는지 확인해야 합니다. DirectX의 시선 추적 페이지에서 시선 추적 데이터를 사용할 수 있는지 여부를 감지하는 데 필요한 API에 대해 설명합니다.
일부 사용자는 시선 추적이 제공할 수 있는 향상된 환경보다 더 큰 개인 정보 보호가 더 중요하다고 판단하여 시선 추적 데이터에 대한 액세스를 의도적으로 취소할 수 있습니다. 그러나 경우에 따라 이 해지는 의도하지 않을 수 있습니다. 앱에서 시선 추적을 사용하고 이것이 환경의 중요한 부분인 경우 이를 사용자에게 명확하게 전달하는 것이 좋습니다. 아이 트래킹이 애플리케이션의 잠재력을 최대한 발휘하는 방법을 사용자에게 설명하면 포기할 내용을 더 잘 이해하는 데 도움이 될 수 있습니다. 시선 추적이 켜져 있지만 작동하지 않는 경우 위의 검사 목록을 가이드로 사용하여 문제를 식별하고 resolve. 예를 들어 시스템이 시선 추적을 지원하고 사용자가 보정되어 권한을 부여받았지만 시선 추적 데이터가 수신되지 않은 것을 감지할 수 있는 경우, 이는 얼룩이나 눈이 가려지는 것과 같은 문제를 가리킬 수 있습니다.
시선 추적이 누군가를 위해 작동하지 않고 명백한 이유가 없는 드문 경우가 있습니다. 사용자가 앱에서 시선 추적을 사용하도록 설정하기 위해 미리 알림을 해제하거나 사용하지 않도록 설정하여 이를 존중해야 합니다.
시선 응시를 기본 입력 포인터로 사용하여 앱에 대한 대체
앱에서 시선 응시를 포인터 입력으로 사용하여 장면 전체에서 홀로그램을 빠르게 선택하면서도 시선 추적 데이터를 사용할 수 없는 경우 머리 응시로 돌아가서 머리 응시 커서를 표시하는 것이 좋습니다. 시간 제한(예: 500~1500ms)을 사용하여 전환 여부를 결정하는 것이 좋습니다. 이 작업을 수행하면 빠른 눈 동작이나 윙크 및 깜박임으로 인해 시스템이 잠시 추적을 잃을 때마다 커서가 나타나지 않습니다. Unity 개발자인 경우 Mixed Reality 도구 키트에서 헤드 응시에 대한 자동 대체가 이미 처리되어 있습니다. DirectX 개발자인 경우 이 스위치를 직접 처리해야 합니다.
다른 시선 추적 관련 애플리케이션에 대한 대체
앱은 눈에 맞게 조정된 고유한 방식으로 시선 응시를 사용할 수 있습니다(예: 시각적 주의에 대한 정확한 정보에 의존하는 아바타의 눈 또는 눈 기반 주의 열 지도에 애니메이션 효과 적용). 이러한 유형의 경우 명확한 대체가 없습니다. 시선 추적을 사용할 수 없는 경우 이러한 기능을 사용하지 않도록 설정해야 할 수 있습니다. 다시 말하지만, 기능이 작동하지 않는다는 것을 인식하지 못하는 사용자에게 이를 명확하게 전달하는 것이 좋습니다.
이 페이지에서는 HoloLens 2 대한 시선 추적 및 시선 응시 입력의 역할을 이해하기 시작할 수 있는 좋은 개요를 제공해 주셨으면 합니다. 개발을 시작하려면 홀로그램과 상호 작용하기 위한 시선 응시, Unity 시선 응시 및 DirectX의 시선 응시 역할에 대한 정보를 검사.