Modele interakcji
Zestaw narzędzi Mixed Reality Toolkit umożliwia korzystanie z danych wejściowych z różnych źródeł danych wejściowych, takich jak kontrolery 6DoF (sześć stopni swobody), przegubowe ręce lub mowę. Aby określić najlepszy model interakcji dla aplikacji, zastanów się nad celami użytkowników i rozważ wszelkie czynniki środowiskowe, które mogą mieć wpływ na ich środowisko.
Istnieją trzy podstawowe modele interakcji, które odpowiadają większości środowisk rzeczywistości mieszanej. Mimo że można połączyć części różnych modeli interakcji z aplikacją, należy dokładnie zastanowić się przed wykonaniem tej czynności. Tworzy ryzyko konkurencyjnych danych wejściowych użytkownika, takich jak jednoczesne promienie dłoni i kursor wzroku głowy, a to może przytłoczyć i mylić użytkowników.
Model z kontrolerami rąk i ruchu
Model z kontrolerami rąk i ruchu wymaga od użytkowników użycia jednej lub dwóch rąk w celu interakcji ze światem holograficznym. Ten model usuwa granicę między maszyną wirtualną a fizyczną.
Oto przykłady konkretnych scenariuszy:
- Udostępnianie pracownikom przetwarzającym informacje ekranów wirtualnych 2D z przystępnymi cenami interfejsu użytkownika w celu wyświetlania i kontrolowania zawartości
- Zapewnianie pracownikom pierwszej linii samouczków i przewodników dla linii montażowych fabryki
- Opracowywanie profesjonalnych narzędzi do wspomagania i szkolenia pracowników służby zdrowia
- Używanie obiektów wirtualnych 3D do dekorowania świata rzeczywistego lub tworzenia innego świata
- Tworzenie usług i gier opartych na lokalizacji przy użyciu naturalnego świata jako tła
Istnieją trzy rodzaje modalności dotyczące kontrolerów rąk i ruchu:
- Bezpośrednie manipulowanie przy użyciu rąk
- Wskazywanie i zatwierdzanie przy użyciu rąk
- Kontrolery ruchu
Model bez użycia rąk
Jak wskazuje nazwa, model bez użycia rąk umożliwia użytkownikom interakcję z zawartością holograficzną bez korzystania z rąk. Zamiast tego mogą używać wprowadzania głosu lub "spojrzenia i mieszkania".
Oto przykłady konkretnych scenariuszy:
- Przechodzenie przez zadanie, gdy ręce użytkownika są zajęte
- Odwoływanie się do materiałów, gdy ręce użytkownika są zajęte
- Zmęczenie rąk
- Rękawiczki, których nie można śledzić
- Niesienie czegoś w rękach
- Niezręczność społeczna, aby wykonywać duże gesty dłoni
- Ciasne przestrzenie
Spojrzenie i zatwierdzenie
Najlepiej używać spojrzenia i zatwierdzania podczas interakcji z zawartością holograficzną, która jest poza zasięgiem. Użytkownik patrzy na obiekt lub element interfejsu użytkownika, a następnie wybiera go ("zatwierdzenia" do niego) przy użyciu danych wejściowych pomocniczych. Metody zatwierdzania obejmują polecenia głosowe, naciśnięcie przycisku lub gest dłonią.
Istnieją dwa typy danych wejściowych spojrzenia — spojrzenie na głowę i oko — i mają różne akcje zatwierdzania.