Modely interakce

  • 3 min

Sada nástrojů Mixed Reality umožňuje využívat vstupy z různých vstupních zdrojů, jako jsou kontrolery, kloubové ruce nebo řeč. Volba modelu interakce, který je nejvhodnější pro prostředí hybridní reality, vyžaduje, abyste identifikovali uživatele a jejich cíle a zvážili všechny situace nebo faktory prostředí, které by mohly ovlivnit jejich prostředí. Tady se dozvíte o třech primárních modelech interakce pro prostředí hybridní reality a o tom, jak simulovat vstup v Unity.

Modely interakce

Existují tři primární modely interakce, které vyhovují většině prostředí hybridní reality.

Model Ukázkové scénáře Padnoucí
Ovladače rukou a pohybu Prostorové prostředí 3D, jako je prostorové rozložení a návrh, manipulace s obsahem nebo simulace. Skvělé pro nové uživatele v kombinaci s hlasem, sledováním očí nebo pohledem hlavy. Snadno naučitelné. Konzistentní uživatelské rozhraní jak při sledování rukou, tak i při použití ovladačů 6DoF.
Bezdrátový zařízení Kontextové zkušenosti, ve kterých jsou ruce uživatele zaměstnané, například při učení na pracovišti a údržbě. Vyžaduje se některé učení. Pokud jsou ruce nedostupné, spáruje se zařízení dobře s hlasem a přirozeným jazykem.
Pohled a potvrzení Proklikací prostředí; Například 3D prezentace nebo ukázky. Vyžaduje trénování na zařízeních připojených hlavou, ale ne na mobilních zařízeních. Nejlepší pro přístup k řadičům.

I když byste mohli kombinovat části více modelů interakce do prostředí hybridní reality, mějte na paměti, že tím vzniká riziko konkurenčního uživatelského vstupu, jako jsou souběžné paprsky rukou a kurzor hlavy. To může uživatele přemoci a zmást.

Pokud vaše zkušenosti vyžadují více modelů interakce, mějte na paměti, že při přechodu z jednoho modelu na jiný mohou uživatelé narazit na problémy, zejména ti, kteří se smíšenou realitou teprve začínají.

Model ovladačů rukou a pohybu

Model ovládacích prvků rukou a pohybových ovladačů vyžaduje, aby uživatelé k interakci s holografickým světem používali jednu nebo dvě ruce. Tento model odebere hranici mezi virtuálním a fyzickým.

Mezi konkrétní scénáře patří:

  • Poskytování 2D virtuálních obrazovek informačním pracovníkům s možnostmi uživatelského rozhraní pro zobrazení a ovládání obsahu.
  • Poskytování kurzů a příruček pro pracovníky v první linii na výrobních montážních linkách
  • Vývoj profesionálních nástrojů pro pomoc a vzdělávání zdravotnických pracovníků
  • Použití 3D virtuálních objektů k ozdobení skutečného světa nebo k vytvoření jiného světa
  • Vytváření služeb a her založených na poloze pomocí reálného světa jako pozadí

Existují tři způsoby ovládání rukou a pohybu:

  • Přímá manipulace s rukama
  • Ukázat a zavázat se rukama
  • Ovladače pohybu

Model bez rukou

Model bez použití rukou umožňuje uživatelům pracovat s holografickým obsahem bez použití rukou. Tento přístup je nejlepší použít, pokud uživatel může potřebovat použít ruce k dosažení skutečných cílů a bude mít potíže s interakcí s rozhraním založeným na rukou a kontrolery.

Mezi konkrétní scénáře patří:

  • Být veden úkolem, zatímco ruce uživatele jsou zaneprázdněné
  • Odkazování na materiály, zatímco ruce uživatele jsou zaneprázdněné
  • Únava rukou
  • Rukavice, které nelze sledovat
  • Nést něco v rukou
  • Sociální trapnost provádění velkých gest rukou
  • Těsné mezery

Existují dva režimy hands-free:

  • Hlasový vstup
  • Pohled a setrvání

Pohled a potvrzení

Pohled a potvrzení je vstupní model, který úzce souvisí se způsobem, jakým komunikujeme s počítači pomocí myši k nasměrování a kliknutí. Pohled a potvrzení se považuje za daleko vstupní model s nepřímou manipulací. Proto je nejlepší použít pohled a potvrzení při interakci s holografickým obsahem, který není dostupný. Existují dva typy vstupu pohledem (pohled hlavy a pohled očí) a různé potvrzovací akce.

Jakmile uživatel použije pohled na cíl objektu nebo prvku uživatelského rozhraní, může s ním pracovat nebo ho vybrat pomocí sekundárního vstupu. To se označuje jako krok potvrzení vstupního modelu. Metody potvrzení zahrnují hlasové příkazy, stisknutí tlačítka nebo gesto ruky.

Simulace vstupu v editoru Unity

Simulace vstupu v editoru Unity umožňuje testovat chování holografických objektů při interakci rukou nebo oka.

Jak se pohybovat ve scéně:

  • Pomocí kláves W/A/S/D přesuňte kameru dopředu, doleva, dozadu nebo doprava.
  • Pomocí kláves Q/E přesuňte kameru svisle.
  • Stisknutím a podržením pravého tlačítka myši otočte kameru.

Jak simulovat vstup rukou:

  • Stisknutím a podržením mezerníku povolte pravou ruku.
  • Při podržení mezerníku přesuňte myš a přesuňte ruku.
  • Pomocí kolečka myši upravte hloubku ruky.
  • Klikněte na levé tlačítko myši pro simulaci gesta přiblížení.
  • Pomocí kláves T/Y nastavte ruku jako trvalou v zobrazení.
  • Podržte klávesu CTRL a přesuňte myš a otočte ruku.
  • Stisknutím a podržením klávesy shift doleva povolte levou ruku.