Zaawansowane dane wejściowe emulatora urządzenia HoloLens i symulatora Mixed Reality
Większość użytkowników emulatora będzie musiała używać tylko podstawowych kontrolek wejściowych emulatora urządzenia HoloLens lub symulatora Windows Mixed Reality. Poniższe szczegóły dotyczą zaawansowanych użytkowników, którzy odkryli potrzebę symulowania bardziej złożonych typów danych wejściowych.
Pojęcia
Aby rozpocząć kontrolowanie wirtualnych danych wejściowych w emulatorze urządzenia HoloLens i symulatorze Windows Mixed Reality, najpierw należy zrozumieć kilka pojęć.
Ruch odnosi się do kontrolowania i zmieniania położenia i orientacji czegoś w scenie. W przypadku docelowego obiektu sterowanego ruch jest kontrolowany zarówno za pomocą obrotu, jak i translacji (ruch) wzdłuż trzech osi.
- Yaw: Skręć w lewo lub w prawo.
- Skok: Podkręć lub w dół.
- Rzut: Rzut z boku.
- X: Przenieś w lewo lub w prawo.
- Y: Przenieś w górę lub w dół.
- Z: Przejdź do przodu lub do tyłu.
Dane wejściowe kontrolera gestów i ruchu są ściśle mapowane na urządzenia fizyczne:
- Akcja: Symuluje akcję naciśnięcia klawisza forefinger na kciuk lub ściągnięcia przycisku akcji na kontrolerze. Na przykład dane wejściowe akcji mogą służyć do symulowania gestu naciśnięcia powietrza, przewijania zawartości i naciśnięcia i przytrzymowania.
- Gest Bloom/System lub Strona główna: gest bloom/system holoLens lub przycisk Strona główna kontrolera służy do powrotu do powłoki i do wyzwalania akcji systemu.
Ręce mają bogatą reprezentację w HoloLens 2. Oprócz śledzenia/nie śledzonych i nadających się do obsługi gestów jazdy, ręce mają teraz do nich dopasowany model szkieletu i narażone na działanie dewelopera. Model szkieletu ma 26 śledzonych punktów na każdej ręce.
- Wspólne: jedna z 20 śledzonych pozycji dla danej śledzonej ręki ze skojarzonym punktem w przestrzeni 3d.
- Poz: Kompletna kolekcja wszystkich stawów w śledzonej ręce, 26 stawów we wszystkich.
Obecnie nie ujawniamy bezpośredniej kontroli nad poszczególnymi pozycjami wspólnymi za pośrednictwem emulatora, ale można je ustawić za pomocą interfejsu API symulacji. Mamy zestaw przydatnych przedstawicieli, które emulator pozwala przełączać się między.
Można również kontrolować stan symulowanych danych wejściowych czujnika:
- Resetuj: zwraca wszystkie symulowane czujniki do wartości domyślnych. Począwszy od emulatora HoloLens 2, można ograniczyć zakres resetowania do jednej lub obu rąk. Zaangażuj żądane strony przy użyciu klawiszy modyfikatora lub przycisków (lewy i/lub prawy alt) albo lewy i/lub prawy zderzak na gamepadu).
-
Śledzenie: Przechodzi przez tryby śledzenia pozycyjnego, w tym:
- Ustawienie domyślne: system operacyjny wybiera najlepszy tryb śledzenia na podstawie żądań wykonanych z systemu.
- Orientacja: wymusza śledzenie tylko orientacji, niezależnie od żądań systemowych.
- Pozycyjne: wymusza śledzenie pozycyjne, niezależnie od żądań systemowych.
Typy danych wejściowych
W poniższej tabeli przedstawiono sposób mapowania poszczególnych typów danych wejściowych na klawiaturę, mysz i kontroler Xbox. Każdy typ ma inne mapowanie w zależności od trybu sterowania wejściem. Więcej informacji na temat trybów sterowania danymi wejściowymi można znaleźć w dalszej części tego dokumentu.
| Dane wejściowe | Klawiatura | Mysz | Kontroler Xbox |
|---|---|---|---|
| Odchylenia | Strzałki w lewo/w prawo | Przeciągnij w lewo/w prawo | Prawy szminek w lewo/w prawo |
| Boisku | Strzałki w górę/w dół | Przeciągnij w górę/w dół | Prawy kciuk w górę/w dół |
| Roll | Q/E | DPad w lewo/w prawo | |
| X | A/D | Lewa szminka w lewo/w prawo | |
| Y | Strona w górę/w dół | DPad w górę/w dół | |
| Z | W/S | Lewa szminka w górę/w dół | |
| Akcja | Wprowadź lub spację | Prawy przycisk | Przycisk lub wyzwalacz |
| Bloom/System | Klawisz F2 lub Windows | Przycisk B | |
| Przycisk uchwytu kontrolera / Uchwyt ręczny | G | ||
| Przycisk menu Kontroler | M | ||
| Sterowanie dotykiem touchpadu | U | ||
| Naciśnięcie touchpadu kontrolera | P | ||
| Naciśnięcie kciuka kontrolera | K | ||
| Stan śledzenia lewego kontrolera | F9 | ||
| Prawy stan śledzenia kontrolera | F10 | ||
| Ręka "Zamknij" pozuje | 7 | ||
| Hand 'Open' Pose (ustawienie domyślne) | 8 | ||
| Hand 'Point' Pozowanie | 9 | ||
| Ręka "Szczypta" pozować | 0 | ||
| Reset | Klawisz ucieczki | Przycisk Uruchom | |
| Śledzenie | T lub F3 | Przycisk X |
Uwaga: przyciski kontrolera mogą być kierowane do jednej ręki/kontrolera lub drugiego za pomocą modyfikatorów określania wartości docelowej ręcznie.
Kierowania
Niektóre z powyższych pojęć wejściowych stoją na własną rękę. Akcja, Bloom/System, Resetowanie i Śledzenie są kompletne pojęcia, nie są potrzebne i nie mają wpływu na żadne dodatkowe modyfikatory do określania wartości docelowej. Pozostałe koncepcje można zastosować do jednego z wielu obiektów docelowych. Wprowadziliśmy sposoby określania, do którego zamierzonego celu należy zastosować twoje polecenie. We wszystkich przypadkach można określić za pomocą interfejsu użytkownika lub za pomocą klawiszy, które mają być obiektem docelowym. W niektórych przypadkach można również określić bezpośrednio kontroler xbox.
W poniższej tabeli opisano opcje określania wartości docelowej oraz sposób aktywowania każdego z nich.
| Obiekt | Modyfikator klawiatury | Modyfikator kontrolera | Modyfikator interfejsu użytkownika emulatora |
|---|---|---|---|
| Treść | (wartość domyślna) | (wartość domyślna) | (wartość domyślna) |
| Head | Blokada H | (Niedostępne) | (Niedostępne) |
| Lewa ręka/kontroler | Przytrzymaj lewy przycisk Alt | Przytrzymaj lewy przycisk ramię | Left-Hand wypychanie |
| Prawa ręka/kontroler | Przytrzymaj prawy przycisk Alt | Przytrzymaj prawy przycisk ramię | Right-Hand wypychanie |
| Oczy | Przytrzymaj Y | (Niedostępne) | Odepchnięcie oczu |
W poniższej tabeli pokazano, jak każdy modyfikator docelowy mapuje każdy z podstawowych pojęć wejściowych przenoszenia
| Dane wejściowe | Ustawienie domyślne (treść) | Hand/controller (Przytrzymaj Alt, przytrzymaj przycisk ramię gamepadu lub przełączanie klawisza UI pushpin) | Głowa (przytrzymaj H) | Oczy (przytrzymaj klawisz Y lub przełącznik ui pushpin) |
|---|---|---|---|---|
| Odchylenia | Skręć treść w lewo/w prawo | Przenieś rękę w lewo/w prawo | Odwróć głowę w lewo/w prawo | Spojrzenie oka wygląda w lewo/w prawo |
| Boisku | Odwróć głowę w górę/w dół | Przenieś rękę w górę/w dół | Odwróć głowę w górę/w dół | Spojrzenie oczu wygląda w górę/w dół |
| Roll | Zwijaj głowę w lewo/w prawo | Zwijaj głowę w lewo/w prawo | (Bez akcji) | |
| X | Treść slajdu w lewo/w prawo | Przenieś rękę/kontroler w lewo/w prawo | Odwróć głowę w lewo/w prawo | (Bez akcji) |
| Y | Przenieś treść w górę/w dół | Przenieś rękę/kontroler w górę/w dół | Odwróć głowę w górę/w dół | (Bez akcji) |
| Z | Przenieś treść do przodu / do tyłu | Przenieś rękę/kontroler do przodu / do tyłu | Odwróć głowę w górę/w dół | (Bez akcji) |
Kontrolowanie aplikacji
W przypadku codziennego użycia sugerowany jest następujący zestaw kontrolek:
| Operacja | Klawiatura i mysz | Kontroler |
|---|---|---|
| Treść X | A /D | Lewy kciuk w lewo/w prawo |
| Treść Y | Strona w górę/stronę w dół | DPad w górę/w dół |
| Treść Z | W/S | Lewy kciuk w górę/w dół |
| Treść yaw | Przeciągnij mysz w lewo/w prawo | Prawy szminek w lewo/w prawo |
| Head Yaw | H + przeciągnij mysz w lewo/w prawo | H (na klawiaturze) + prawy kciuk w lewo/ w prawo |
| Skok głowy | Przeciągnij mysz w górę/w dół | Prawy szminka w górę/w dół |
| Rzutka na głowę | Q /E | DPad w lewo/w prawo |
| Hand/Controller X | Alt + A / D | Ramię + lewa szminka w lewo/w prawo |
| Hand/Controller Y | Alt + Strona w górę/ w dół | Ramię + DPad w górę/w dół |
| Hand/Controller Z | Alt + W / S | Ramię + lewa szminka w górę/w dół |
| Ręka/Kontroler Yaw | Alt + przeciągnij mysz w lewo/w prawo | Ramię + prawy szminek w lewo/ w prawo |
| Hand/Controller Pitch | Alt + przeciągnij mysz w górę/w dół | Ramię + prawy szminka w górę/w dół |
| Rzut ręczny/kontroler | Alt + Q / E | Ramię + DPad w lewo / w prawo |
| Akcja | Prawy przycisk myszy | Wyzwalacz |
| Bloom / System / Strona główna | Klawisz F2 lub Windows | Przycisk B |
| Reset | Escape | Przycisk Uruchom |
| Śledzenie | T | Przycisk X |
| Przewijanie | Alt + prawy przycisk myszy + przeciągnij mysz w górę/w dół | Ramię + wyzwalacz + prawy kciuk w górę / w dół |
| Szybsze przenoszenie/obracanie | Klawisz Shift w lewo lub w prawo | Naciśnij i przytrzymaj prawy kciuk |
| Przesuwaj/obracaj wolno | Klawisz Ctrl w lewo lub w prawo | Naciśnij i przytrzymaj lewy kciuk |
Używanie Windows Mixed Reality immersyjnych zestawów słuchawkowych i kontrolerów ruchu z emulatorem HoloLens 2
W przypadku korzystania z Windows Mixed Reality immersyjnego zestawu słuchawkowego z emulatorem HoloLens 2 ruch i obrót są automatycznie mapowane na ruch i obrót zestawu słuchawkowego. Położenie i orientacja kontrolera ruchu są automatycznie mapowane na położenie i orientację w emulatorze. W poniższej tabeli wymieniono dodatkowe akcje dostępne podczas korzystania z kontrolera ruchu.
Uwaga
W przypadku korzystania z zestawu słuchawkowego standardowe kontrolki klawiatury, myszy i gamepadu są automatycznie ignorowane.
| Operacja | Akcja | Uwagi |
|---|---|---|
| Treść X | Szminka w lewo/w prawo | |
| Treść Z | Szminka do przodu / z powrotem | |
| Treść Y | Strona klawiatury w górę/w dół | Upewnij się, że Windows Mixed Reality ma fokus. Naciśnij klawisz Win+Y, jeśli fokus znajduje się na pulpicie systemu Windows, aby zwrócić fokus na Windows Mixed Reality. |
| Oczy wyglądają w lewo / w prawo | DPad w lewo/w prawo | |
| Oczy patrzą w górę / w dół | DPad w górę/w dół | |
| Naciskanie | Wyzwalacz | |
| Uszczypnięcie/uchwycenie | Przycisk uchwytu | |
| Gest systemowy | Przycisk menu | |
| Resetuj położenie | Kliknięcie szminki |
Symulacja percepcji Panel sterowania skróty klawiaturowe
Możesz uzyskać dostęp do panelu sterowania symulacji percepcji i włączyć lub wyłączyć urządzenia wejściowe komputera za pomocą następujących skrótów klawiaturowych.
| Operacja | Skrót | Opis/notatki |
|---|---|---|
| Przełącz opcję "Użyj klawiatury do symulacji" | F4 | Po wyłączeniu dane wejściowe klawiatury przechodzą do aplikacji HoloLens lub Windows Mixed Reality. |
| Przełącz opcję "Użyj myszy do symulacji" | F5 | Po wyłączeniu dane wejściowe myszy przechodzą do środowiska Mixed Reality (tylko Windows Mixed Reality) |
| Przełącz opcję "Use gamepad for simulation" (Korzystanie z gamepadu do symulacji) | F6 | Po wyłączeniu dane wejściowe gamepadu są ignorowane przez symulację |
| Pokaż lub ukryj panel sterowania | F7 | |
| Ustawianie fokusu klawiatury na panelu sterowania | F8 | Jeśli panel nie jest obecnie widoczny, zostanie wyświetlony jako pierwszy. |
| Zadokuj lub oddokuj panel do/z poziomu emulatora lub okna Mixed Reality Portal | F9 | Jeśli okno zostanie zamknięte po oddokowaniu, zostanie zadokowane i ukryte. |