Modele interakcji

  • 3 min

Zestaw narzędzi Mixed Reality Toolkit umożliwia korzystanie z danych wejściowych z różnych źródeł danych wejściowych, takich jak kontrolery, przegubowe ręce lub mowa. Wybór modelu interakcji, który najlepiej nadaje się do środowiska rzeczywistości mieszanej, wymaga zidentyfikowania użytkownika i ich celów oraz rozważenia wszelkich czynników sytuacyjnych lub środowiskowych, które mogą mieć wpływ na ich środowisko. W tym miejscu poznasz trzy podstawowe modele interakcji dla środowisk rzeczywistości mieszanej oraz sposób symulowania danych wejściowych w a także aparatu Unity.

Modele interakcji

Istnieją trzy podstawowe modele interakcji, które odpowiadają większości środowisk rzeczywistości mieszanej.

Model Przykładowe scenariusze Fit
Kontrolery rąk i ruchu Środowiska przestrzenne 3D, takie jak projekt i układ przestrzenny, manipulowanie zawartością lub symulacja. Doskonałe rozwiązanie dla nowych użytkowników w połączeniu z głosem, śledzeniem oczu lub spojrzeniem obejmującym użycie głowy. Mała szybkość nauki. Spójne środowisko użytkownika w ramach śledzenia dłoni i kontrolerów 6DoF.
Bez użycia rąk Kontekstowe środowiska, w którym ręce użytkownika są zajęte, takie jak nauka w trakcie wykonywania zadania i obsługa tego zadania. Wymagany jest pewien zakres nauki. Jeśli ręce są niedostępne, urządzenie dobrze współdziała z głosem i językiem naturalnym.
Spojrzenie i zatwierdzenie Środowiska kliknięć; na przykład prezentacje 3D lub pokazy. Wymaga trenowania na urządzeniach zainstalowanych przez głowę, ale nie na urządzeniach przenośnych. Najlepsze rozwiązanie w przypadku kontrolerów z ułatwieniami dostępu.

Chociaż można połączyć części wielu modeli interakcji w środowisku rzeczywistości mieszanej, należy pamiętać, że powoduje to ryzyko konkurencyjnych danych wejściowych użytkownika, takich jak jednoczesne promienie dłoni i kursor wzroku głowy. Może to spowodować przeciążenie systemu i zdezorientować użytkowników.

Jeśli środowisko wymaga wielu modeli interakcji, należy pamiętać, że wielu użytkowników może napotkać trudności podczas przechodzenia z jednego modelu do drugiego. Może to w szczególności dotyczyć nowych użytkowników rzeczywistości mieszanej.

Model z kontrolerami rąk i ruchu

Model z kontrolerami rąk i ruchu wymaga od użytkowników użycia jednej lub dwóch rąk w celu interakcji ze światem holograficznym. Ten model usuwa granicę między środowiskiem wirtualnym i fizycznym.

Oto przykłady konkretnych scenariuszy:

  • Udostępnianie pracownikom przetwarzającym informacje ekranów wirtualnych 2D z elementami działania interfejsu użytkownika w celu wyświetlania i kontrolowania zawartości
  • Zapewnianie pracownikom pierwszej linii samouczków i przewodników dla linii montażowych fabryki
  • Opracowywanie profesjonalnych narzędzi do wspomagania i szkolenia pracowników służby zdrowia
  • Używanie obiektów wirtualnych 3D do dekorowania świata rzeczywistego lub tworzenia innego świata
  • Tworzenie usług i gier opartych na lokalizacji przy użyciu świata rzeczywistego jako tła

Istnieją trzy rodzaje modalności dotyczące kontrolerów rąk i ruchu:

  • Bezpośrednie manipulowanie przy użyciu rąk
  • Wskazywanie i zatwierdzanie przy użyciu rąk
  • Kontrolery ruchu

Model bez użycia rąk

Model bez użycia rąk umożliwia użytkownikom interakcję z zawartością holograficzną bez korzystania z rąk. Takie podejście najlepiej użyć, jeśli użytkownik może użyć rąk do osiągnięcia rzeczywistych celów i będzie miał trudności z interakcją z interfejsem opartym na rękach i kontrolerach.

Oto przykłady konkretnych scenariuszy:

  • Przechodzenie przez zadanie, gdy ręce użytkownika są zajęte
  • Odwoływanie się do materiałów, gdy ręce użytkownika są zajęte
  • Zmęczenie rąk
  • Rękawiczki, których nie można śledzić
  • Niesienie czegoś w rękach
  • Społeczna niezręczność wykonywania dużych gestów dłoni
  • Ciasne przestrzenie

Istnieją dwie modalności pracy bez użycia rąk:

  • Wprowadzanie danych przy użyciu głosu
  • Spojrzenie i zatrzymanie

Spojrzenie i zatwierdzenie

Spojrzenie i zatwierdzenie to model wejściowy, który jest ściśle powiązany ze sposobem interakcji z komputerami przy użyciu myszy, aby wskazać i kliknąć. Spojrzenie i zatwierdzenie to model wejściowy obsługujący większe odległości i pośrednie manipulowanie. W związku z tym najlepiej używać spojrzenia i zatwierdzania podczas interakcji z zawartością holograficzną, która jest poza zasięgiem. Istnieją dwa typy danych wejściowych spojrzenia (spojrzenie głowy i wzrok) i różne akcje zatwierdzania.

Gdy użytkownik użyje spojrzenia w celu kierowania obiektu lub elementu interfejsu użytkownika, użytkownik może wchodzić z nim w interakcje lub wybierać go przy użyciu danych wejściowych pomocniczych. Jest to tzw. krok zatwierdzenia w modelu wejściowym. Metody zatwierdzania obejmują polecenia głosowe, naciśnięcie przycisku lub gest dłonią.

Symulacja danych wejściowych w edytorze aparatu Unity

Symulacja danych wejściowych w edytorze aparatu Unity umożliwia testowanie zachowań obiektów holograficznych podczas interakcji obejmującej ruch ręki lub oczu.

Jak poruszać się w obrębie sceny:

  • Użyj klawiszy W/A/S/D , aby przenieść aparat do przodu/lewej/tylnej/prawej.
  • Użyj klawiszy Q/E , aby przenieść aparat w pionie.
  • Naciśnij i przytrzymaj prawy przycisk myszy, aby obrócić kamerę.

Jak symulować wprowadzanie danych za pomocą rąk:

  • Naciśnij i przytrzymaj spację, aby włączyć prawą rękę.
  • Trzymając naciśniętą spację, przesuń wskaźnik myszy, aby poruszyć ręką.
  • Użyj kółka przewijania myszy, aby dostosować głębokość dłoni.
  • Kliknij lewy przycisk myszy, aby zasymulować gest szczypta.
  • Użyj kluczy T/Y, aby ręcznie utrwalć w widoku.
  • Przytrzymaj klawisz CTRL i przesuń mysz, aby obrócić rękę.
  • Naciśnij i przytrzymaj lewy klawisz Shift, aby włączyć lewą rękę.