고급 HoloLens 에뮬레이터 및 Mixed Reality 시뮬레이터 입력
대부분의 에뮬레이터 사용자는 HoloLens 에뮬레이터 또는 Windows Mixed Reality 시뮬레이터에 대한 기본 입력 컨트롤만 사용해야 합니다. 아래 세부 정보는 더 복잡한 유형의 입력을 시뮬레이션해야 하는 고급 사용자를 위한 것입니다.
개념
HoloLens 에뮬레이터 및 Windows Mixed Reality 시뮬레이터에 대한 가상 입력 제어를 시작하려면 먼저 몇 가지 개념을 이해해야 합니다.
동작은 장면에서 무언가의 위치와 방향을 제어하고 변경하는 것을 의미합니다. 대상 제어 가능한 개체의 경우 동작은 세 축을 따라 회전 및 변환(이동)으로 제어됩니다.
- Yaw: 왼쪽 또는 오른쪽으로 돌립니다.
- 피치: 켜거나 낮추세요.
- 롤: 좌우로 굴려야 합니다.
- X: 왼쪽 또는 오른쪽으로 이동합니다.
- Y: 위아래로 이동합니다.
- Z: 앞으로 또는 뒤로 이동합니다.
제스처 및 모션 컨트롤러 입력은 물리적 디바이스에 밀접하게 매핑됩니다.
- 작업: 집게 손가락으로 집게를 누르거나 컨트롤러에서 작업 단추를 당기는 동작을 시뮬레이션합니다. 예를 들어 작업 입력을 사용하여 에어 탭 제스처를 시뮬레이션하고, 콘텐츠를 스크롤하고, 길게 누를 수 있습니다.
- 블룸/시스템 제스처 또는 홈: HoloLens 블룸/시스템 제스처 또는 컨트롤러의 홈 단추는 셸로 돌아가서 시스템 작업을 실행하기 위해 사용됩니다.
손은 HoloLens 2 풍부한 표현을 가지고 있습니다. 추적/추적되지 않고 주행 제스처에 사용할 수 있을 뿐만 아니라, 손은 이제 관절형 스켈레톤 모델이 자신에게 적합하고 개발자에게 노출됩니다. 스켈레톤 모델에는 각 손에 26개의 추적 지점이 있습니다.
- 조인트: 지정된 추적된 손의 추적된 위치 20개 중 하나로, 3d 공간에서 연결된 지점이 있습니다.
- 포즈: 추적된 손에 있는 모든 관절의 전체 컬렉션, 모두 26개의 조인트.
현재 에뮬레이터를 통해 개별 조인트 위치를 직접 제어하지는 않지만 시뮬레이션 API를 통해 설정할 수 있습니다. 에뮬레이터에서 전환할 수 있는 유용한 대표 포즈 집합이 있습니다.
시뮬레이션된 센서 입력의 상태를 제어할 수도 있습니다.
- 초기화: 시뮬레이션된 모든 센서를 기본값으로 반환합니다. HoloLens 2 에뮬레이터부터 재설정 범위를 한 손 또는 양손으로 지정할 수 있습니다. 한정자 키 또는 단추(왼쪽 및/또는 오른쪽 Alt 또는 게임 패드의 왼쪽 및/또는 오른쪽 범퍼)를 사용하여 원하는 손을 연결합니다.
- 추적: 다음을 포함하여 위치 추적 모드를 순환합니다.
- 기본값: OS는 시스템의 요청에 따라 최상의 추적 모드를 선택합니다.
- 방향: 시스템 요청에 관계없이 방향 전용 추적을 강제 적용합니다.
- 위치: 시스템 요청에 관계없이 위치 추적을 강제로 적용합니다.
입력 유형
다음 표에서는 각 입력 유형이 키보드, 마우스 및 Xbox 컨트롤러에 매핑되는 방법을 보여줍니다. 각 형식에는 입력 제어 모드에 따라 다른 매핑이 있습니다. 입력 제어 모드에 대한 자세한 내용은 이 문서의 뒷부분에서 확인할 수 있습니다.
| 입력 | Keyboard | 마우스 | Xbox 컨트롤러 |
|---|---|---|---|
| Yaw | 왼쪽/오른쪽 화살표 | 왼쪽/오른쪽으로 끌기 | 오른쪽 엄지스틱 왼쪽/오른쪽 |
| 피치 | 위쪽/아래쪽 화살표 | 위로/아래로 끌기 | 오른쪽 엄지스틱 위쪽/아래쪽 |
| Roll | Q/E | DPad 왼쪽/오른쪽 | |
| X | A/D | 왼쪽 엄지스틱 왼쪽/오른쪽 | |
| Y | 페이지 위로/페이지 아래로 | DPad 위쪽/아래쪽 | |
| Z | W / S | 왼쪽 엄지스틱 위쪽/아래쪽 | |
| 작업 | 입력 또는 공백 | 오른쪽 단추 | 단추 또는 트리거 |
| 블룸/시스템 | F2 또는 Windows 키 | B 버튼 | |
| 컨트롤러 그립 버튼/손 잡기 | G | ||
| 컨트롤러 메뉴 단추 | M | ||
| 컨트롤러 터치 패드 터치 | U | ||
| 컨트롤러 터치 패드 누르기 | P | ||
| 컨트롤러 엄지스틱 누르기 | K | ||
| 왼쪽 컨트롤러 추적 상태 | F9 | ||
| 오른쪽 컨트롤러 추적 상태 | F10 | ||
| 손 '닫기' 포즈 | 7 | ||
| 손 '열기' 포즈(기본값) | 8 | ||
| 손 '포인트' 포즈 | 9 | ||
| 손 '핀치' 포즈 | 0 | ||
| 다시 설정 | 이스케이프 키 | 시작 단추 | |
| 추적 | T 또는 F3 | X 버튼 |
참고: 컨트롤러 단추는 손 대상 한정자를 사용하여 한 손/컨트롤러 또는 다른 단추를 대상으로 지정할 수 있습니다.
대상 지정
위의 입력 개념 중 일부는 자체에 서 있습니다. 작업, 블룸/시스템, 재설정 및 추적은 완전한 개념이며, 대상 지정을 위한 추가 한정자가 필요하지 않으며 영향을 받지 않습니다. 나머지 개념은 여러 대상 중 하나에 적용할 수 있습니다. 명령을 적용할 대상을 지정하는 방법을 도입했습니다. 모든 경우에 UI를 통해 또는 대상 개체인 키보드 누름을 통해 지정할 수 있습니다. 경우에 따라 xbox 컨트롤러로 직접 지정할 수도 있습니다.
다음 표에서는 대상 지정 옵션과 각 대상을 활성화하는 방법을 설명합니다.
| 개체 | 키보드 한정자 | 컨트롤러 한정자 | 에뮬레이터 UI 한정자 |
|---|---|---|---|
| 본문 | (기본값) | (기본값) | (기본값) |
| Head | H 보류 | (사용할 수 없음) | (사용할 수 없음) |
| 왼손/컨트롤러 | 왼쪽 Alt 누르기 단추 | 왼쪽 어깨 단추 누르기 | Left-Hand 압정 |
| 오른손/컨트롤러 | 오른쪽 Alt 단추 누르기 | 오른쪽 어깨 단추 누르기 | Right-Hand 압정 |
| 눈 | Y 길게 누르기 | (사용할 수 없음) | 눈 압정 |
다음 표에서는 각 대상 한정자가 각 핵심 이동 입력 개념을 매핑하는 방법을 보여 줍니다.
| 입력 | 기본값(본문) | 손/컨트롤러(Alt 누르기, 게임 패드 어깨 단추 누르기 또는 UI 압정 토글) | 헤드(H 홀드) | 눈(Y 고정 또는 UI 압정 토글) |
|---|---|---|---|---|
| Yaw | 본문을 왼쪽/오른쪽으로 돌립니다. | 왼쪽/오른쪽으로 이동 | 왼쪽/오른쪽으로 머리 돌기 | 시선 응시는 왼쪽/오른쪽으로 보입니다. |
| 피치 | 머리를 위로/아래로 돌립니다. | 손을 위로/아래로 이동 | 머리를 위로/아래로 돌립니다. | 시선 응시가 위쪽/아래쪽으로 보입니다. |
| Roll | 왼쪽/오른쪽으로 머리 굴리기 | 왼쪽/오른쪽으로 머리 굴리기 | (작업 없음) | |
| X | 슬라이드 본문 왼쪽/오른쪽 | 왼쪽/오른쪽으로 손/컨트롤러 이동 | 왼쪽/오른쪽으로 머리 돌기 | (작업 없음) |
| Y | 몸을 위로/아래로 이동 | 손/컨트롤러 위로/아래로 이동 | 머리를 위로/아래로 돌립니다. | (작업 없음) |
| Z | 본문을 앞으로/뒤로 이동 | 손/컨트롤러 앞으로/뒤로 이동 | 머리를 위로/아래로 돌립니다. | (작업 없음) |
앱 제어
일상적인 사용을 위해 다음과 같은 컨트롤 집합이 권장됩니다.
| 작업(Operation) | 키보드 및 마우스 | 컨트롤러 |
|---|---|---|
| 본문 X | A/D | 왼쪽 엄지스틱 왼쪽/오른쪽 |
| 본문 Y | 페이지 위로/페이지 아래로 | DPad 위쪽/아래쪽 |
| 본문 Z | W / S | 왼쪽 엄지스틱 위쪽/아래쪽 |
| 본문 요 | 마우스 왼쪽/오른쪽으로 끌기 | 오른쪽 엄지스틱 왼쪽/오른쪽 |
| Head Yaw | H + 마우스 왼쪽/오른쪽으로 끌기 | H(키보드) + 오른쪽 엄지스틱 왼쪽/오른쪽 |
| 헤드 피치 | 마우스를 위로/아래로 끌어다 놓기 | 오른쪽 엄지스틱 위쪽/아래쪽 |
| 헤드 롤 | Q/E | DPad 왼쪽/오른쪽 |
| Hand/Controller X | Alt + A/D | 어깨 + 왼쪽 엄지스틱 왼쪽/오른쪽 |
| Hand/Controller Y | Alt + 페이지 위로/페이지 아래로 | 어깨 + DPad 위로 / 아래로 |
| 손/컨트롤러 Z | Alt + W/S | 어깨 + 왼쪽 엄지스틱 위쪽/아래쪽 |
| 손/컨트롤러 Yaw | Alt + 마우스 왼쪽/오른쪽으로 끌기 | 어깨 + 오른쪽 엄지스틱 왼쪽/ 오른쪽 |
| 손/컨트롤러 피치 | Alt + 마우스 위로/아래로 끌기 | 어깨 + 오른쪽 엄지스틱 위쪽/아래쪽 |
| 손/컨트롤러 롤 | Alt + Q/E | 어깨 + DPad 왼쪽 / 오른쪽 |
| 작업 | 마우스 오른쪽 단추 | 트리거 |
| 블룸/시스템/홈 | F2 또는 Windows 키 | B 버튼 |
| 다시 설정 | 이스케이프 | 시작 단추 |
| 추적 | T | X 버튼 |
| 스크롤 | Alt + 오른쪽 마우스 단추 + 마우스 위로/아래로 끌기 | 어깨 + 트리거 + 오른쪽 엄지스틱 위쪽/아래쪽 |
| 더 빠르게 이동/회전 | 왼쪽 또는 오른쪽 Shift 키 | 오른쪽 엄지스틱을 길게 누릅니다. |
| 느린 이동/회전 | 왼쪽 또는 오른쪽 Ctrl 키 | 왼쪽 엄지스틱을 길게 누릅니다. |
HoloLens 2 에뮬레이터에서 Windows Mixed Reality 몰입형 헤드셋 및 모션 컨트롤러 사용
HoloLens 2 에뮬레이터와 함께 Windows Mixed Reality 몰입형 헤드셋을 사용하는 경우 움직임과 회전이 헤드셋의 움직임과 회전에 자동으로 매핑됩니다. 모션 컨트롤러 위치 및 방향은 에뮬레이터의 손 위치 및 방향에 자동으로 매핑됩니다. 아래 표에는 모션 컨트롤러를 사용할 때 사용할 수 있는 추가 작업이 나와 있습니다.
참고
헤드셋을 사용하는 경우 표준 키보드, 마우스 및 게임 패드 컨트롤이 자동으로 무시됩니다.
| 작업 | 작업 | 참고 |
|---|---|---|
| 본문 X | 엄지스틱 왼쪽/오른쪽 | |
| 본문 Z | 엄지스틱 앞으로/뒤로 | |
| 본문 Y | 키보드 페이지 위로/아래로 | Windows Mixed Reality 포커스가 있는지 확인합니다. 포커스가 Windows 데스크톱에 있으면 Win+Y를 눌러 포커스를 Windows Mixed Reality. |
| 눈은 왼쪽/ 오른쪽으로 보입니다. | DPad 왼쪽/오른쪽 | |
| 눈을 위로/아래로 조회합니다. | DPad 위쪽/아래쪽 | |
| 탭 | 트리거 | |
| 손가락 모으기/잡기 | 그립 단추 | |
| 시스템 제스처 | 메뉴 버튼 | |
| 위치 다시 설정 | 엄지스틱 클릭 |
인식 시뮬레이션 제어판 바로 가기 키
Perception Simulation Control 패널에 액세스하고 다음 바로 가기 키를 사용하여 PC 입력 디바이스를 사용하거나 사용하지 않도록 설정할 수 있습니다.
| 작업(Operation) | 바로 가기 | 설명/참고 사항 |
|---|---|---|
| '시뮬레이션에 키보드 사용' 토글 | F4 | 끄면 키보드 입력이 HoloLens 또는 Windows Mixed Reality 애플리케이션으로 이동합니다. |
| '시뮬레이션에 마우스 사용' 토글 | F5 | 끄면 마우스 입력이 Mixed Reality 환경으로 이동합니다(Windows Mixed Reality만 해당). |
| '시뮬레이션에 게임 패드 사용' 토글 | F6 | 꺼지면 시뮬레이션을 통해 게임 패드 입력이 무시됩니다. |
| 제어판 표시 또는 숨기기 | F7 | |
| 키보드 포커스를 제어판으로 설정 | F8 | 패널이 현재 표시되지 않으면 패널이 먼저 표시됩니다. |
| 패널을 에뮬레이터 또는 Mixed Reality 포털 창으로 도킹 또는 도킹 해제 | F9 | 도킹 해제 시 창이 닫히면 도킹되고 숨겨집니다. |