Interaktionsmodeller
Med Mixed Reality Toolkit kan du använda indata från en mängd olika indatakällor, till exempel styrenheter, ledade händer eller tal. Om du väljer den interaktionsmodell som passar bäst för din mixade verklighetsupplevelse måste du identifiera din användare och deras mål och överväga eventuella situationella eller miljömässiga faktorer som kan påverka deras upplevelse. Här får du lära dig mer om de tre primära interaktionsmodellerna för upplevelser med mixad verklighet och hur du simulerar indata i Unity.
Interaktionsmodeller
Det finns tre primära interaktionsmodeller som passar de flesta upplevelser med mixad verklighet.
| Modell | Exempelscenarier | Passa |
|---|---|---|
| Händer och rörelsestyrenheter | 3D-rumsliga upplevelser, till exempel rumslig layout och design, innehållsmanipulering eller simulering. | Perfekt för nya användare i kombination med röststyrning, ögonspårning eller huvudblick. Låg inlärningskurva. Konsekvent användargränssnitt för handspårning och 6DoF-styrenheter. |
| Handsfree | Kontextuella upplevelser där en användares händer är upptagna, till exempel utbildning och underhåll på jobbet. | Viss inlärning krävs. Om händerna inte är fria, fungerar enheten bra tillsammans med röst och naturligt språk. |
| Blick och incheckning | Klickupplevelser; till exempel 3D-presentationer eller demonstrationer. | Kräver träning på huvudmonterade enheter, men inte på mobila enheter. Bäst för tillgängliga styrenheter. |
Även om du kan kombinera delar av flera interaktionsmodeller i din mixade verklighetsupplevelse, bör du vara medveten om att detta skapar risken för konkurrerande användarindata, till exempel samtidiga handstrålar och en huvudblicksmarkör. Detta kan överväldiga och förvirra användare.
Om din upplevelse kräver flera interaktionsmodeller bör du tänka på att många användare kan stöta på svårigheter när de övergår från en modell till en annan, särskilt användare som är nya i mixad verklighet.
Hand- och rörelsestyrenhetsmodell
Hand- och rörelsestyrenhetsmodellen kräver att användarna använder en eller två händer för att interagera med den holografiska världen. Den här modellen tar bort gränsen mellan virtuell och fysisk.
Några specifika scenarier är:
- Tillhandahålla virtuella 2D-skärmar för informationsarbetare med användargränssnittsfunktioner för att visa och kontrollera innehåll
- Tillhandahålla självstudier och guider för arbetare i frontlinjen för fabriksmonteringslinjer
- Utveckla professionella verktyg för att hjälpa och utbilda sjukvårdspersonal
- Använda virtuella 3D-objekt för att dekorera den verkliga världen eller för att skapa en annan värld
- Skapa platsbaserade tjänster och spel med den verkliga världen som bakgrund
Det finns tre modaliteter för händer och rörelsekontroller:
- Direkt manipulering med händer
- Peka och checka in med händer
- Rörelsestyrenheter
Handsfree-modell
Med den handsfree-modellen kan användarna interagera med holografiskt innehåll utan att använda händerna. Den här metoden är bäst att använda om användaren kan behöva använda händerna för att uppnå sina verkliga mål och har svårt att interagera med ett hands-and-controllers-baserat gränssnitt.
Några specifika scenarier är:
- Att bli vägledd genom en uppgift medan användarens händer är upptagna
- Referera till material när användarens händer är upptagna
- Handtrötthet
- Handskar som inte kan spåras
- Bära något i sina händer
- Social besvärlighet att göra stora handgester
- Trånga utrymmen
Det finns två handsfree-metoder:
- Röstinmatning
- Blick och fästa
Blick och åtagande
Blick och bekräfta är en indatamodell som är nära relaterad till hur vi interagerar med datorer med hjälp av en mus för att peka och klicka. Blick och bekräfta anses vara en avlägsen inmatningsmodell med indirekt manipulation. Därför är det bäst att använda blick och bekräfta när du interagerar med holografiskt innehåll som är utom räckhåll. Det finns två typer av blickindata (huvudblick och ögonens blick) och olika kommandon.
När användaren använder blick för att rikta in sig på ett objekt eller användargränssnittselement kan användaren interagera med eller välja det med hjälp av en sekundär indata. Detta kallas bekräftelsesteget för indatamodellen. Incheckningsmetoder inkluderar röstkommandon, en knapptryckning eller en handgest.
Unity-inmatningssimulering i redigeringsmiljön
Med unity-indatasimuleringen i redigeraren kan du testa holografiskt objektbeteende när du använder hand- eller ögoninteraktion.
Så här flyttar du runt i scenen:
- Använd W/A/S/D- för att flytta kameran framåt/vänster/bakåt/höger.
- Använd Q/E- för att flytta kameran lodrätt.
- Tryck och håll höger musknapp för att rotera kameran.
Så här simulerar du handindata:
- Tryck på och håll blankstegsfältet för att aktivera höger hand.
- När du håller i blankstegsfältet flyttar du musen för att flytta handen.
- Använd musrullningshjulet för att justera djupet på handen.
- Klicka på vänster musknapp för att simulera en nypgest.
- Använd tangenterna T/Y för att göra handen synlig i vyn.
- Håll ned CTRL- och flytta musen för att rotera handen.
- Tryck på och håll ned vänster skiftnyckel för att aktivera vänster hand.