Pokročilý vstup emulátoru HoloLens a simulátoru Mixed Reality
Většina uživatelů emulátoru bude muset použít pouze základní ovládací prvky vstupu pro emulátor HoloLens nebo simulátor Windows Mixed Reality. Níže uvedené podrobnosti jsou určené pro pokročilé uživatele, kteří našli potřebu simulovat složitější typy vstupu.
Koncepty
Pokud chcete začít řídit virtuální vstup do emulátoru HoloLens a Windows Mixed Reality simulátoru, měli byste nejprve pochopit několik konceptů.
Pohyb označuje ovládání a změnu pozice a orientace něčeho ve scéně. U cíleného ovládnutelného objektu se pohyb řídí otáčením i překladem (pohybem) podél tří os.
- Otočte se doleva nebo doprava.
- Výška: Otočte nahoru nebo dolů.
- Role: Převrácení ze strany na stranu.
- X: Pohyb doleva nebo doprava.
- Y: Pohyb nahoru nebo dolů.
- Z: Pohyb dopředu nebo dozadu.
Vstup gest a ovladače pohybu se mapuje těsně na fyzická zařízení:
- Akce: Simuluje akci stisknutí ukazováčku na palec nebo stisknutí tlačítka akce na ovladači. Vstup akce lze například použít k simulaci gesta klepnutí ve vzduchu, k procházení obsahu a k stisknutí a podržení.
- Gesto Rozkvetnutí/Systém nebo Domů: Gesto rozevření holoLensu/ systémové gesto nebo tlačítko domů ovladače se používá k návratu do prostředí a k vyvolání systémových akcí.
Ruce mají bohatou reprezentaci v HoloLens 2. Kromě toho, že jsou sledované/nesledované a použitelné pro gesta při řízení, teď mají ruce kloubový model, který jim vyhovuje a který je vystavený vývojáři. Kostra modelu má na každé ruce 26 sledovaných bodů.
- Spoj: Jedna z 20 sledovaných pozic pro danou sledovanou ruku s přidruženým bodem ve 3D prostoru.
- Pozice: Kompletní kolekce všech kloubů v sledované ruce, 26 Kloubů ve všech.
V současné době nezpřístupňujeme přímou kontrolu nad jednotlivými pozicemi spojení prostřednictvím emulátoru, ale můžete je nastavit prostřednictvím rozhraní API simulace. Máme sadu užitečných reprezentativních póz, které emulátor umožňuje přepínat mezi.
Můžete také řídit stav simulovaného vstupu senzoru:
- Reset: Vrátí výchozí hodnoty všech simulovaných senzorů. Počínaje emulátorem HoloLens 2 je možné nastavit rozsah resetování na jednu nebo obě ruce. Zapojte požadované ruce pomocí modifikačních kláves nebo tlačítek (levý a pravý alt nebo levý nebo pravý bumper na gamepadu).
- Sledování: Cykly procházejí režimy sledování polohy, včetně:
- Výchozí: Operační systém vybírá nejlepší režim sledování na základě požadavků systému.
- Orientace: Vynutí sledování pouze orientace bez ohledu na požadavky systému.
- Poziční: Vynutí sledování polohy bez ohledu na požadavky systému.
Typy vstupu
Následující tabulka ukazuje, jak se každý typ vstupu mapuje na klávesnici, myš a ovladač Xbox. Každý typ má jiné mapování v závislosti na režimu řízení vstupu. Další informace o režimech vstupních ovládacích prvků najdete dále v tomto dokumentu.
| Vstup | Klávesnice | Myš | Ovladač Xbox |
|---|---|---|---|
| Yaw | Šipky vlevo a vpravo | Přetažení doleva nebo doprava | Pravý thumbstick doleva nebo doprava |
| Hřiště | Šipky nahoru a dolů | Přetažení nahoru nebo dolů | Pravý thumbstick nahoru nebo dolů |
| Roll | Q/E | DPad doleva nebo doprava | |
| × | A/D | Levý palec doleva nebo doprava | |
| Y | Page up / page down | DPad nahoru nebo dolů | |
| Z | W / S | Levý thumbstick nahoru /dolů | |
| Akce | Enter nebo mezera | Pravé tlačítko | Tlačítko nebo aktivační událost |
| Bloom/System | F2 nebo klávesa Windows | Tlačítko B | |
| Tlačítko úchytu ovladače / uchopení rukou | G | ||
| Tlačítko nabídky ovladače | M | ||
| Touchpad ovladače | U | ||
| Stisknutí touchpadu ovladače | P | ||
| Stisknutí thumbsticku ovladače | K | ||
| Stav sledování levého ovladače | F9 | ||
| Stav sledování pravého ovladače | F10 | ||
| Hand 'Close' Pose | 7 | ||
| Hand 'Open' Pose (výchozí) | 8 | ||
| Hand 'Point' Pose | 9 | ||
| Hand 'Pinch' Pose | 0 | ||
| Resetovat | Klávesa Escape | Tlačítko Spustit | |
| Sledování | T nebo F3 | Tlačítko X |
Poznámka: Tlačítka ovladače mohou být zacílena na jednu ruku nebo na druhou stranu pomocí modifikátorů pro cílení rukou.
Cílení
Některé z výše uvedených konceptů vstupu stojí samy o sobě. Akce, Bloom/System, Reset a Tracking jsou kompletní koncepty, které nepotřebují a nemají vliv na žádné další modifikátory cílení. Zbývající koncepty je možné použít na jeden z více cílů. Zavedli jsme způsoby, jak můžete určit, pro který zamýšlený cíl se má příkaz použít. Ve všech případech je možné prostřednictvím uživatelského rozhraní nebo stisknutí klávesnice určit, na který objekt se má cílit. V některých případech je také možné zadat přímo pomocí ovladače xbox.
Následující tabulka popisuje možnosti cílení a způsob jejich aktivace.
| Objekt | Modifikátor klávesnice | Modifikátor kontroleru | Modifikátor uživatelského rozhraní emulátoru |
|---|---|---|---|
| Text | (výchozí) | (výchozí) | (výchozí) |
| Head | Podržení H | (Není k dispozici) | (Není k dispozici) |
| Levá ruka/ovladač | Podržení levého tlačítka Alt | Tlačítko Podržení levého ramene | Left-Hand připínáčko |
| Pravá ruka/ovladač | Podržení pravého alt tlačítka | Tlačítko podržení pravého ramene | Right-Hand připínáčko |
| Oči | Podržení Y | (Není k dispozici) | Připínáček pro oči |
Následující tabulka ukazuje, jak jednotlivé cílové modifikátory mapují jednotlivé základní koncepty pohybového vstupu.
| Vstup | Výchozí (základní text) | Ruka/ovladač (podržení klávesy Alt, podržení tlačítka přes rameno gamepadu nebo připnutí připínáku uživatelského rozhraní) | Hlava (podržení H) | Oči (podržte Y nebo přepněte připínáček uživatelského rozhraní) |
|---|---|---|---|---|
| Yaw | Otočení textu doleva nebo doprava | Pohyb rukou doleva nebo doprava | Otočit hlavu doleva nebo doprava | Pohled z očí se dívá doleva nebo doprava |
| Hřiště | Otočit hlavu nahoru nebo dolů | Pohyb ruky nahoru nebo dolů | Otočit hlavu nahoru nebo dolů | Pohled z očí nahoru nebo dolů |
| Roll | Převrácení hlavy doleva nebo doprava | Převrácení hlavy doleva nebo doprava | (Žádná akce) | |
| × | Posunutí textu doleva nebo doprava | Pohyb rukou nebo ovladačem doleva nebo doprava | Otočit hlavu doleva nebo doprava | (Žádná akce) |
| Y | Přesunutí textu nahoru nebo dolů | Pohyb rukou nebo ovladačem nahoru/dolů | Otočit hlavu nahoru nebo dolů | (Žádná akce) |
| Z | Přesunutí těla dopředu nebo dozadu | Pohyb rukou nebo ovladačem dopředu nebo dozadu | Otočit hlavu nahoru nebo dolů | (Žádná akce) |
Řízení aplikace
Pro každodenní používání se navrhuje následující sada ovládacích prvků:
| Operace | Klávesnice a myš | Controller |
|---|---|---|
| Základní text X | A/D | Levý palec doleva nebo doprava |
| Tělo Y | Page up / page down | DPad nahoru nebo dolů |
| Tělo Z | W / S | Levý thumbstick nahoru /dolů |
| Tělo yaw | Přetažení myši doleva nebo doprava | Pravý thumbstick doleva nebo doprava |
| Hlava Yaw | H + přetažení myši doleva nebo doprava | H (na klávesnici) + pravý thumbstick doleva nebo doprava |
| Rozteč hlavy | Přetažení myši nahoru nebo dolů | Pravý thumbstick nahoru nebo dolů |
| Head Roll | Q/E | DPad doleva nebo doprava |
| Hand/Controller X | Alt + A / D | Rameno + levý palec vlevo / vpravo |
| Ruční/ovladač Y | ALT + PAGE UP / PAGE DOWN | Rameno + DPad nahoru / dolů |
| Ruční/ovladač Z | Alt + W / S | Rameno + levý palec nahoru / dolů |
| Yaw (ruční/ovladač) | Alt + přetažení myši doleva nebo doprava | Rameno + pravý palec doleva / doprava |
| Rozteč ruky/ovladače | Alt + přetažení myši nahoru nebo dolů | Rameno + pravý palec nahoru / dolů |
| Ruční nebo ovladač | Alt +Q/E | Rameno + DPad doleva / doprava |
| Akce | Pravé tlačítko myši | Trigger |
| Bloom / Systém / Domovská stránka | F2 nebo klávesa Windows | Tlačítko B |
| Resetovat | Escape | Tlačítko Spustit |
| Sledování | T | Tlačítko X |
| Posouvání | Alt + pravé tlačítko myši + přetažení myši nahoru nebo dolů | Rameno + spoušť + pravý palec nahoru / dolů |
| Rychlejší pohyb nebo otáčení | Levá nebo pravá klávesa Shift | Stiskněte a podržte pravý thumbstick. |
| Pomalé přesouvání nebo otáčení | Levá nebo pravá klávesa CTRL | Stiskněte a podržte levý thumbstick |
Použití Windows Mixed Reality imerzivní náhlavní soupravy a ovladačů pohybu s emulátorem HoloLens 2
Při použití Windows Mixed Reality imerzivní náhlavní soupravy s emulátorem HoloLens 2 se pohyb a otáčení automaticky mapuje na pohyb a otáčení náhlavní soupravy. Poloha a orientace ovladače pohybu se automaticky mapuje na pozici a orientaci ruky v emulátoru. V následující tabulce jsou uvedeny další akce, které jsou k dispozici při použití ovladače pohybu.
Poznámka
Při používání náhlavní soupravy se standardní ovládací prvky klávesnice, myši a gamepadu automaticky ignorují.
| Operace | Akce | Poznámky |
|---|---|---|
| Základní text X | Palec doleva nebo doprava | |
| Tělo Z | Palec dopředu/dozadu | |
| Tělo Y | Klávesnice Page Up /Down | Ujistěte se, že Windows Mixed Reality má fokus. Stisknutím kláves Win+Y, pokud je fokus na ploše Windows, vrátíte fokus na Windows Mixed Reality. |
| Oči se dívají doleva nebo doprava | DPad vlevo / vpravo | |
| Oči dívají se nahoru nebo dolů | DPad nahoru nebo dolů | |
| Klepnutí | Trigger | |
| Stažení nebo uchopení | Tlačítko uchopení | |
| Systémové gesto | Tlačítko nabídky | |
| Obnovit pozici | Kliknutí na thumbstick |
Simulace vnímání Ovládací panely klávesové zkratky
Pomocí následujících klávesových zkratek můžete otevřít ovládací panel Simulace vnímání a povolit nebo zakázat vstupní zařízení počítače.
| Operace | Zástupce | Popis/poznámky |
|---|---|---|
| Přepnutí možnosti Používat klávesnici pro simulaci | F4 | Když je funkce vypnutá, vstup pomocí klávesnice přejde do aplikace HoloLens nebo Windows Mixed Reality. |
| Přepnutí možnosti Použít k simulaci myš | F5 | Když je vypnutý, vstup myši přejde do prostředí Mixed Reality (jenom Windows Mixed Reality). |
| Přepnutí možnosti Použít gamepad pro simulaci | F6 | Když je tento režim vypnutý, simulace ignoruje vstup gamepadu. |
| Zobrazení nebo skrytí ovládacích panelů | F7 | |
| Nastavení fokusu klávesnice na Ovládací panely | F8 | Pokud panel není aktuálně viditelný, zobrazí se jako první. |
| Ukotvení nebo uvolnění panelu z/z emulátoru nebo okna Mixed Reality Portal | F9 | Pokud je okno při neukotvení zavřené, je ukotvené a skryté. |