HoloLens 2 시선 응시 기반 상호 작용
HoloLens 2 대한 흥미로운 새로운 기능 중 하나는 시선 추적입니다. HoloLens 2 페이지의 시선 추적에서 각 사용자가 보정을 거쳐야 할 필요성을 언급하고, 개발자 지침을 제공하고, 시선 추적에 대한 사용 사례를 강조 표시했습니다. 시선 응시 입력은 여전히 새로운 유형의 사용자 입력이며 배울 것이 많습니다.
시선 응시 입력은 Holographic Shell 환경(HoloLens 2 시작할 때 표시되는 사용자 인터페이스)에서만 미묘하게 사용되지만 "HoloLens Playground"와 같은 여러 앱은 시선 응시 입력이 홀로그램 환경의 마법에 어떻게 추가되는지에 대한 훌륭한 예를 보여줍니다. 이 페이지에서는 홀로그램 애플리케이션과 상호 작용하기 위해 시선 응시 입력을 통합하기 위한 디자인 고려 사항에 대해 설명합니다.
시선 응시 입력과 함께 제공되는 주요 이점과 고유한 과제에 대해 알아봅니다. 이를 기반으로, 만족스러운 시선 응시 지원 사용자 인터페이스를 만드는 데 도움이 되는 몇 가지 디자인 권장 사항을 제공합니다.
디바이스 지원
| 기능 | HoloLens(1세대) | HoloLens 2 | 몰입형 헤드셋 |
| 시선 응시 | ❌ | ✔️ | ❌ |
머리 및 눈 추적 디자인 개념 데모
실제 머리 및 눈 추적 디자인 개념을 보려면 아래의 홀로그램 디자인 - 머리 추적 및 눈 추적 동영상 데모를 확인합니다. 완료되면 계속해서 특정 주제에 대해 자세히 알아봅니다.
이 비디오는 "홀로그램 디자인" HoloLens 2 앱에서 가져온 것입니다. 여기에서 전체 환경을 다운로드하여 즐겨보세요.
시선 응시 입력 디자인 지침
빠르게 움직이는 눈 대상 지정을 활용하는 상호 작용을 구축하는 것은 어려울 수 있습니다. 이 섹션에서는 애플리케이션을 디자인할 때 고려해야 할 주요 이점과 과제를 요약합니다.
시선 응시 입력의 이점
고속 가리키기. 눈 근육은 인체에서 가장 빠르게 반응하는 근육입니다.
낮은 노력. 신체 움직임은 거의 필요하지 않습니다.
암시성. 사용자가 "마음 읽기"로 자주 설명하는 경우 사용자의 눈 움직임에 대한 정보를 통해 시스템에서 사용자가 참여하려는 대상을 알 수 있습니다.
대체 입력 채널. 시선 응시는 손과 눈의 조정에 따라 사용자로부터 수년간의 경험을 바탕으로 손 및 음성 입력 빌드에 대한 강력한 지원 입력을 제공할 수 있습니다.
시각적 주의. 또 다른 중요한 이점은 사용자가 관심을 기울이고 있는 것을 유추할 수 있다는 것입니다. 이는 다양한 디자인을 보다 효과적으로 평가하는 것부터 더 스마트한 사용자 인터페이스 지원 및 원격 통신을 위한 향상된 소셜 큐에 이르기까지 다양한 애플리케이션 영역에서 도움이 될 수 있습니다.
간단히 말해서 시선 응시를 입력으로 사용하면 빠르고 손쉽게 상황별 입력 신호를 제공합니다. 이는 음성 및 수동 입력과 같은 다른 입력과 결합하여 사용자의 의도를 확인하는 경우에 강력합니다.
입력으로 시선 응시의 과제
시선 응시를 사용하여 만족스러운 사용자 환경을 만들어 슈퍼 히어로처럼 느낄 수 있지만 이를 적절하게 설명하는 것이 좋지 않은 것을 아는 것도 중요합니다. 다음 목록에서는 고려해야 할 몇 가지 과제 와 시선 응시 입력으로 작업할 때 문제를 해결하는 방법에 대해 설명합니다.
시선 응시는 "항상 켜집니다" 눈 뚜껑을 여는 순간, 눈은 환경의 사물에 고정하기 시작합니다. 너무 오랫동안 무언가를 보았기 때문에 모든 모양에 반응하고 실수로 작업을 실행하면 만족스럽지 못한 경험을 할 수 있습니다. 시선 응시를 음성 명령, 손 제스처, 단추 클릭 또는 확장된 체류와 결합하여 대상 선택을 트리거하는 것이 좋습니다(자세한 내용은 시선 응시 및 커밋 참조). 또한 이 솔루션을 사용하면 사용자가 무의식적으로 무언가를 트리거하여 압도당하지 않고 자유롭게 둘러볼 수 있는 모드를 사용할 수 있습니다. 이 문제는 대상을 살펴볼 때 시각적 및 청각적 피드백을 디자인할 때도 고려해야 합니다. 즉각적인 팝업 효과 또는 가리키기 소리로 사용자를 압도하지 마세요. 미묘함이 핵심입니다. 디자인 권장 사항에 대해 이야기할 때 아래에서 이에 대한 몇 가지 모범 사례를 살펴보겠습니다.
관찰 및 제어 벽에 사진을 정확하게 곧게 펴고 싶다고 상상해 보십시오. 벽에 맞는지 보기 위해 테두리와 주변을 보게 됩니다. 이제 시선 응시를 입력으로 사용하여 그림을 이동하려는 경우 어떻게 할 것인지 상상해 보십시오. 어렵죠. 그렇지 않나요? 이는 입력 및 제어에 모두 필요한 경우 시선 응시의 이중 역할을 설명합니다.
클릭하기 전에 그대로 둡니다. 빠른 대상 선택을 위해 연구에 따르면 수동 클릭(예: 에어 탭)을 완료하기 전에 사용자의 시선 응시가 계속 진행될 수 있습니다. 빠른 시선 응시 신호를 느린 제어 입력(예: 음성, 손, 컨트롤러)과 동기화하는 데 특히 주의하세요.
작은 대상: 너무 작아서 편안하게 읽을 수 없는 텍스트를 읽으려고 할 때의 느낌을 알고 계십니까? 당신이 더 나은 초점을 눈을 재조정하려고하기 때문에 눈에이 긴장 느낌은 피곤하고 낡은 느낌을 일으킬 수 있습니다. 이는 사용자가 아이 타겟팅을 사용하여 애플리케이션에서 너무 작은 대상을 선택하도록 강요할 때 호출할 수 있는 느낌입니다. 사용자를 위해 기분 좋고 편리한 환경을 디자인하려면 대상에 대한 시각적 각도를 2° 이상으로 유지하는 것이 좋습니다.
비정형 시선 응시 움직임 우리의 눈은 고정에서 고정에 이르기까지 빠른 움직임을 수행합니다. 기록된 시선 움직임의 검색 경로를 바라보면 불규칙하다는 것을 알 수 있습니다. 당신의 눈은 머리 응시 또는 손 동작에 비해 신속하고 자발적인 점프로 이동합니다.
안정성 추적: 시선 추적 정확도는 눈이 새로운 조건에 적응할 때 빛을 변경할 때 약간 저하될 수 있습니다. 정확도가 2° 제한 내에 있어야 하므로 애플리케이션 디자인에 반드시 영향을 주지는 않지만 사용자가 다시 보정해야 할 수 있습니다.
디자인 권장 사항
다음은 시선 응시 입력에 대한 설명된 이점 및 과제를 기반으로 하는 특정 디자인 권장 사항 목록입니다.
시선 응시는 헤드 응시와 동일하지 않습니다.
빠르고 비정형 눈의 움직임이 입력 작업에 적합한지 여부를 고려합니다 . 빠르고 비정형 눈의 움직임은 보기 영역에서 대상을 빠르게 선택하는 데 뛰어나지만 부드러운 입력 궤적(예: 주석 그리기 또는 둘러싸기)이 필요한 작업에는 덜 적용할 수 있습니다. 이 경우 손 또는 머리 가리키기가 더 나을 수 있습니다.
사용자의 시선 응시에 직접 연결하지 마세요(예: 슬라이더 또는 커서). 커서를 사용하면 프로젝팅된 시선 응시 신호의 약간의 오프셋으로 인해 "도망가는 커서" 효과가 발생할 수 있습니다. 슬라이더를 사용하면 개체가 올바른 위치에 있는지 확인하는 동시에 눈으로 슬라이더를 제어하는 이중 역할과 충돌할 수 있습니다. 슬라이더의 예에서는 손 제스처와 함께 시선 응시를 사용하는 것이 더 합리적입니다. 즉, 사용자는 빠르고 쉽게 많은 슬라이더 사이를 전환하여 손을 들어 엄지 손가락과 검지 손가락을 꼬집어 잡고 이동할 수 있습니다. 손가락 모으기가 해제되면 슬라이더의 이동이 중지됩니다. 특히 해당 사용자에게 신호가 부정확한 경우 사용자는 과부하되고 산만해질 수 있습니다.
시선 응시를 다른 입력과 결합합니다. 손 제스처, 음성 명령 또는 단추 누름과 같은 다른 입력과 시선 추적을 통합하면 다음과 같은 몇 가지 이점이 있습니다.
무료 관찰 허용: 우리의 눈의 주요 역할은 환경을 관찰하는 것입니다 주어진, 사용자가 어떤 (시각적, 청각 등) 피드백이나 작업을 트리거하지 않고 주위를 둘러 볼 수 있도록하는 것이 중요합니다. 시선 추적을 다른 입력 컨트롤과 결합하면 시선 추적 관찰과 입력 제어 모드 간에 원활하게 전환할 수 있습니다.
강력한 컨텍스트 공급자: 음성 명령을 말하거나 손 제스처를 사용하여 사용자가 보고 있는 위치와 내용에 대한 정보를 사용하면 필드 전체에서 입력을 원활하게 채널링할 수 있습니다. 예를 들어 대상과 의도한 대상을 확인하여 장면 전체에 홀로그램을 빠르고 유창하게 선택하고 배치하려면 "배치 "라고 말합니다.
멀티모달 입력을 동기화해야 합니다. 빠른 눈 움직임과 긴 음성 명령 또는 손 제스처와 같은 더 복잡한 입력을 결합하면 추가 입력 명령이 완료되고 인식되기 전에 사용자가 이미 주변을 계속 둘러볼 위험이 있습니다. 사용자 고유의 입력 컨트롤(예: 사용자 지정 손 제스처)을 만드는 경우 이 입력의 시작 또는 대략적인 기간을 기록하여 사용자가 과거에 살펴본 내용과 상관 관계를 지정해야 합니다.
시선 추적 입력에 대한 미묘한 피드백: 대상을 볼 때 시스템이 의도한 대로 작동하지만 미묘한 상태를 유지해야 함을 나타내는 피드백을 제공하는 것이 유용합니다. 여기에는 천천히 블렌딩 및 출력, 시각적 강조 표시 또는 슬로우 모션과 같은 다른 미묘한 대상 동작(예: 대상 크기 약간 증가)을 수행하는 것이 포함될 수 있습니다. 이는 시스템에서 사용자가 사용자의 현재 워크플로를 불필요하게 중단하지 않고 대상을 보고 있음을 올바르게 감지했음을 나타냅니다.
부자연스러운 눈 움직임을 입력으로 적용하지 마세요. 사용자가 특정 눈 움직임(응시 제스처)을 사용하여 애플리케이션에서 작업을 트리거하도록 강요하지 마세요.
부정확성 고려: 사용자에게 눈에 띄는 두 가지 유형의 부정확성(오프셋 및 지터)을 구분합니다. 오프셋을 해결하는 가장 쉬운 방법은 상호 작용할 수 있는 충분히 큰 대상을 제공하는 것입니다. 2°보다 큰 시각적 각도를 참조로 사용하는 것이 좋습니다. 예를 들어 팔을 뻗을 때 썸네일은 시각적 각도에서 약 2°입니다. 이에 따라 다음과 같은 지침이 적용됩니다.
- 사용자가 작은 대상을 선택하도록 강요하지 마세요. 연구에 따르면 대상이 충분히 크고 시스템이 잘 설계된 경우 사용자는 상호 작용을 손쉽고 마법같은 것으로 묘사합니다. 대상이 너무 작으면 조작 경험을 피곤하고 당황스러운 것으로 설명합니다.
이 페이지에서는 혼합 현실의 입력으로 시선 응시를 이해하기 시작할 수 있는 좋은 개요를 제공했습니다. 개발을 시작하려면 Unity의 시선 응시 및 DirectX의 시선 응시에 대한 정보를 확인하세요.