Zaměření a potvrzení pomocí rukou
Point and commit with hands je vstupní model, který uživatelům umožňuje cílit, vybírat a manipulovat mimo dosah 2D a 3D obsahu. Tato technika "vzdálené" interakce je pro hybridní realitu jedinečná, protože lidé tímto způsobem přirozeně neinteragují s reálným světem. Například ve filmu superhrdinů , X-Men, může postava Magneto manipulovat s vzdálenými objekty v dálce rukama. To není něco, co by lidé ve skutečnosti mohli dělat. V HoloLensu (AR) i Mixed Reality (MR) poskytujeme uživatelům tuto magickou schopnost prolomit fyzické omezení skutečného světa. Je to nejen zábavné holografické prostředí, ale také zefektivňuje a zefektivňuje interakce uživatelů.
Podpora zařízení
| Vstupní model | HoloLens (1. generace) | HoloLens 2 | Imerzivní náhlavní soupravy |
| Zaměření a potvrzení pomocí rukou | ❌ Nepodporováno | ✔️ Doporučené | ✔️ Doporučené |
"Point and commit with hands" je jednou z nových funkcí, které používají nový kloubový systém sledování rukou. Tento vstupní model je také primárním vstupním modelem imerzivních náhlavních souprav pomocí ovladačů pohybu.
Paprsky rukou
Na HoloLens 2 jsme vytvořili ruční paprsek, který vystřelí ze středu dlaně uživatele. Tento paprsek je považován za prodloužení ruky. Ke konci paprsku je připojen kurzor ve tvaru prstence, který označuje umístění, kde se paprsek protíná s cílovým objektem. Objekt, na který kurzor přistane, pak může přijímat gestické příkazy z ruky.
Tento základní gestický příkaz se aktivuje pomocí palce a ukazováčku k akci vzduchového klepnutí. Pomocí ručního paprsku k ukazovátku a poklepání vzduchem k potvrzení můžou uživatelé aktivovat tlačítko nebo hypertextový odkaz. Díky více složeným gestům můžou uživatelé procházet webový obsah a manipulovat s 3D objekty z dálky. Vizuální návrh paprsku ruky by měl také reagovat na tyto body a stavy potvrzení, jak je popsáno a znázorněno níže:
Stav ukazovávání
Ve stavu ukazování je paprskem spojovník a kurzor je prstencový tvar.
Stav potvrzení
Ve stavu potvrzení se paprsek změní na plnou čáru a kurzor se zmenší na tečku.
Přechod mezi blízkými a vzdálenými
Místo použití určitých gest, jako je "ukazováčkem" k nasměrování paprsku, jsme navrhli paprsek tak, aby se vycháněl ze středu dlaně uživatele. Díky tomu jsme vydali a vyhradili pět prstů pro manipulativnější gesta, jako je stažení prstů a uchopení. S tímto návrhem vytvoříme pouze jeden myšlenkový model – stejná sada gest rukou se používá pro blízkou i vzdálenou interakci. Stejné gesto uchopení můžete použít k manipulaci s objekty v různých vzdálenostech. Vyvolání paprsků je automatické a na základě vzdálenosti následujícím způsobem:
Téměř manipulace
Pokud je objekt v délce ramen (přibližně 50 cm), paprsky se automaticky vypínají, aby se podpořila blízkou interakci.
Vzdálená manipulace
Když je objekt dále než 50 cm, jsou paprsky zapnuté. Přechod by měl být hladký a bezproblémový.
Interakce s 2D tabulí
2D slate je holografický kontejner, který hostuje obsah 2D aplikací, například webový prohlížeč. Koncept návrhu pro dalekou interakci s 2D tabulí je použití ručních paprsků k cíli a vzduchové klepnutí k výběru. Po cílení pomocí paprsku rukou můžou uživatelé klepnutím vzduchem aktivovat hypertextový odkaz nebo tlačítko. Můžou jednou rukou posouvat obsah tabulek nahoru a dolů. Relativní pohyb při použití dvou rukou k klepnutí a přetažení vzduchu může přiblížit a oddálit obsah slate.
Zaměření paprsku rukou na rohy a hrany odhalí nejbližší možnosti manipulace. Díky cenám manipulace "uchopte a přetáhněte" můžou uživatelé provádět jednotné škálování v rámci rohových cen a můžou přeformátovat tabuli přes dostupy okrajů. Když vezmete a přetáhnete holobar v horní části 2D tabule, umožníte uživatelům přesunout celou tabuli.
Klikněte na
Posuv
Zoom
Pro manipulaci s 2D tabulí
- Uživatelé nasměrují paprsek rukou na rohy nebo okraje, aby odhalili nejbližší možnosti manipulace.
- Použitím manipulujícího gesta na cenovou dostupnost můžou uživatelé provádět jednotné škálování v rámci rohu a můžou přeformátovat tabuli přes edge affordance.
- Když na holobaru v horní části 2D tabule použijete gesto manipulace, můžou uživatelé přesunout celou tabuli.
Manipulace s 3D objekty
Při přímé manipulaci existují dva způsoby, jak mohou uživatelé manipulovat s 3D objekty: manipulace na základě cenové dostupnosti a manipulace založená na nedostupnosti. V modelu point a commit mohou uživatelé dosáhnout přesně stejných úkolů pomocí paprsků rukou. Není potřeba žádné další učení.
Manipulace na základě cenové dostupnosti
Uživatelé používají paprsky rukou k nasměrování a odkrývání ohraničujícího rámečku a manipulací. Uživatelé můžou pomocí manipulačního gesta na ohraničujícím rámečku přesunout celý objekt, na okraji se otočit a na nárožích rovnoměrně škálovat.
Přesunout
Otočit
Škálování
Manipulace založená na nedostupnosti
Uživatelé ukazují pomocí paprsků rukou, aby odhalili ohraničující rámeček, a pak na něj přímo aplikují manipulující gesta. Jednou rukou je překlad a otočení objektu spojené s pohybem a orientací ruky. Pomocí dvou rukou mohou uživatelé překládat, škálovat a otáčet podle relativních pohybů dvou rukou.
Instinktivní gesta
Koncept instinktivních gest pro bod a potvrzení je podobný konceptu pro přímou manipulaci rukou. Gesta, která uživatelé u 3D objektu dělají, se řídí návrhem možností uživatelského rozhraní. Například malý ovládací bod může uživatele motivovat ke stažení palcem a ukazováčkem, zatímco uživatel může chtít použít všech pět prstů k uchopení většího objektu.
Malý objekt
Střední objekt
Velký objekt
Symetrický návrh mezi ručičkami a 6 DoF kontrolerem
Pro Mixed Reality Portal (MRP) byl vytvořen a definován koncept point and commit for far interaction (point and commit for far interaction). V tomto scénáři uživatel nosí imerzivní náhlavní soupravu a komunikuje s 3D objekty prostřednictvím ovladačů pohybu. Ovladače pohybu vystřelují paprsky pro ukazování a manipulaci s vzdálenými objekty. Na ovladačích jsou tlačítka pro další potvrzení různých akcí. Použijeme model interakce paprsků a připojíme je na obě ruce. Díky tomuto symetrickému návrhu se uživatelé, kteří jsou obeznámeni s MRP, nebudou muset učit další model interakce pro dalekou pointování a manipulaci, když používají HoloLens 2, a naopak.
Paprsky kontroleru
Paprsky rukou
Hand ray in MRTK (Mixed Reality Toolkit) for Unity
MRTK ve výchozím nastavení poskytuje ruční paprsek prefab (DefaultControllerPointer.prefab), který má stejný vizuální stav jako systémový obrazový paprsek. Přiřadí se v vstupním profilu MRTK v části Ukazatele. V imerzivní náhlavní soupravě se pro ovladače pohybu používají stejné paprsky.