Modele interakcji

  • 3 min

Zestaw narzędzi Mixed Reality Toolkit umożliwia korzystanie z różnych źródeł danych wejściowych, takich jak kontrolery, ręce z przegubami lub mowa. Wybór modelu interakcji, który najlepiej nadaje się do środowiska rzeczywistości mieszanej, wymaga zidentyfikowania użytkownika i jego celów oraz rozważenia wszelkich czynników sytuacyjnych lub środowiskowych, które mogą mieć wpływ na ich doświadczenie. Tutaj poznasz trzy podstawowe modele interakcji dla środowisk rzeczywistości mieszanej oraz sposób symulowania danych wejściowych w Unity.

Modele interakcji

Istnieją trzy podstawowe modele interakcji, które odpowiadają większości środowisk rzeczywistości mieszanej.

Model Przykładowe scenariusze Pasować
Kontrolery rąk i ruchu Środowiska przestrzenne 3D, takie jak układ przestrzenny i projekt, manipulowanie zawartością lub symulacja. Doskonałe dla nowych użytkowników w połączeniu z głosem, śledzeniem oczu lub kierunkiem głowy. Niska krzywa uczenia. Spójne środowisko użytkownika w ramach śledzenia rąk i kontrolerów 6DoF.
Bez rąk Kontekstowe doświadczenia, w których ręce użytkownika są zajęte, takie jak uczenie się w trakcie pracy i konserwacja. Trzeba się nauczyć. Jeśli ręce są niedostępne, urządzenie dobrze łączy się z głosem i językiem naturalnym.
"Spójrz i zaangażuj się" Doświadczenia klikalne; na przykład prezentacje 3D lub demonstracje. Wymaga szkolenia na urządzeniach zamontowanych na głowie, ale nie na urządzeniach mobilnych. Najlepsze dla kontrolerów z ułatwieniami dostępu.

Chociaż można połączyć części wielu modeli interakcji w środowisku rzeczywistości mieszanej, należy pamiętać, że może to prowadzić do konfliktów w danych wejściowych użytkownika, takich jak jednoczesne promienie z dłoni i kursor sterowany wzrokiem głowy. Może to przytłoczyć i mylić użytkowników.

Jeśli środowisko wymaga wielu modeli interakcji, należy pamiętać, że wielu użytkowników może napotkać trudności podczas przechodzenia z jednego modelu do innego, zwłaszcza użytkowników, którzy są nowi w rzeczywistości mieszanej.

Model kontrolerów rąk i ruchu

Model kontrolerów rąk i ruchu wymaga, aby użytkownicy używali jednej lub dwóch rąk do interakcji ze światem holograficznym. Ten model usuwa granicę między wirtualnymi i fizycznymi.

Niektóre konkretne scenariusze obejmują:

  • Zapewnianie pracownikom informacyjnym wirtualnych ekranów 2D z elementami interfejsu użytkownika do wyświetlania i kontrolowania zawartości.
  • Zapewnianie pracownikom pierwszej linii samouczków i przewodników dla fabrycznych linii montażowych
  • Opracowywanie profesjonalnych narzędzi do wspierania i edukacji specjalistów medycznych
  • Używanie obiektów wirtualnych 3D do dekorowania świata rzeczywistego lub tworzenia innego świata
  • Tworzenie usług i gier opartych na lokalizacji przy użyciu świata rzeczywistego jako tła

Istnieją trzy metody kontrolerów rąk i ruchu:

  • Bezpośrednie manipulowanie rękami
  • Wskazywanie i zatwierdzanie za pomocą rąk
  • Kontrolery ruchu

Model bez rąk

Model bez użycia rąk umożliwia użytkownikom interakcję z zawartością holograficzną bez korzystania z rąk. Takie podejście najlepiej zastosować, jeśli użytkownik może potrzebować użyć rąk do osiągnięcia celów w świecie rzeczywistym i będzie miał trudności z interakcją z interfejsem opartym na rękach i kontrolerach.

Niektóre konkretne scenariusze obejmują:

  • Bycie prowadzonym przez zadanie, gdy ręce użytkownika są zajęte
  • Odwoływanie się do materiałów, gdy ręce użytkownika są zajęte
  • Zmęczenie ręką
  • Rękawiczki, których nie można śledzić
  • Niosąc coś w rękach
  • Społeczna niezręczność wykonywania dużych gestów dłoni
  • Ciasne przestrzenie

Istnieją dwie modalności bez rąk:

  • Wprowadzanie głosu
  • Spojrzenie i zatrzymanie się

Spojrzenie i zatwierdzenie

Spojrzenie i zatwierdzenie to model wejściowy, który jest ściśle powiązany ze sposobem interakcji z komputerami przy użyciu myszy, aby wskazać i kliknąć. Model "spojrzenie i zatwierdzenie" jest uważany za model wejściowy na dużą odległość z manipulacją pośrednią. W związku z tym najlepiej używać spojrzenia i zatwierdzania podczas interakcji z zawartością holograficzną, która jest poza zasięgiem. Istnieją dwa rodzaje wejściowych spojrzeń (spojrzenie głową i spojrzenie oczami) oraz różne działania akceptujące.

Gdy użytkownik użyje spojrzenia w celu kierowania obiektu lub elementu interfejsu użytkownika, użytkownik może wchodzić z nim w interakcje lub wybierać go przy użyciu danych wejściowych pomocniczych. Jest to nazywane krokiem zatwierdzania modelu wejściowego. Metody zatwierdzania obejmują polecenia głosowe, naciśnięcie przycisku lub gest dłoni.

Symulacja wejścia w edytorze Unity

Symulacja danych wejściowych w edytorze Unity pozwala na testowanie zachowania obiektów holograficznych podczas interakcji z wykorzystaniem rąk lub wzroku.

Jak poruszać się w scenie:

  • Użyj klawiszy W/A/S/D, aby przesunąć kamerę do przodu, w lewo, wstecz lub w prawo.
  • Użyj Q/E, aby przenieść aparat w pionie.
  • Przytrzymaj prawy przycisk myszy, aby obracać kamerą.

Jak symulować dane wejściowe ręcznie:

  • Naciśnij i przytrzymaj klawisz spacji , aby włączyć prawą rękę.
  • Trzymając pasek spacji, przesuń mysz, aby przenieść rękę.
  • Użyj kółka przewijania myszy, aby dostosować głębokość dłoni.
  • Kliknij lewym przyciskiem myszy, aby zasymulować gest szczypta.
  • Użyj kluczy T/Y, aby ręka pozostała widoczna w widoku.
  • Przytrzymaj CTRL i przesuń mysz, aby obrócić rękę.
  • Naciśnij i przytrzymaj lewy klawisz Shift, aby włączyć lewą rękę.