Aanwijzen en doorvoeren met handen
Point and commit with hands is een invoermodel waarmee gebruikers 2D- en 3D-inhoud kunnen targeten, selecteren en bewerken. Deze 'ver'-interactietechniek is uniek voor mixed reality omdat mensen van nature niet op die manier communiceren met de echte wereld. Bijvoorbeeld, in de superheld film, X-Men, kan het personage Magneto ver objecten in de verte manipuleren met zijn handen. Dit is niet iets wat mensen in werkelijkheid kunnen doen. In zowel HoloLens (AR) als Mixed Reality (MR) voorzien we gebruikers van deze magische kracht om de fysieke beperking van de echte wereld te doorbreken. Het is niet alleen een leuke holografische ervaring, maar het maakt gebruikersinteracties ook effectiever en efficiënter.
Ondersteuning voor apparaten
| Invoermodel | HoloLens (1e generatie) | HoloLens 2 | Immersive headsets |
| Aanwijzen en doorvoeren met handen | ❌ Niet ondersteund | ✔️ Aanbevolen | ✔️ Aanbevolen |
'Point and commit with hands' is een van de nieuwe functies die gebruikmaken van het nieuwe gearticuleerde systeem voor handtracering. Dit invoermodel is ook het primaire invoermodel voor immersive headsets met behulp van bewegingscontrollers.
Handstralen
Op HoloLens 2 hebben we een handstraal gemaakt die uit het midden van de palm van de gebruiker schiet. Deze straal wordt behandeld als een verlengstuk van de hand. Er wordt een donutvormige cursor aan het einde van de straal bevestigd om de locatie aan te geven waar de straal een doelobject doorkruist. Het object waarop de cursor terechtkomt, kan vervolgens gesturale opdrachten van de hand ontvangen.
Deze eenvoudige gesturale opdracht wordt geactiveerd met behulp van de duim en wijsvinger om de luchttikactie uit te voeren. Door de handstraal te gebruiken om te wijzen en luchttik om door te voeren, kunnen gebruikers een knop of een hyperlink activeren. Met meer samengestelde bewegingen kunnen gebruikers op afstand door webinhoud navigeren en 3D-objecten bewerken. Het visuele ontwerp van de handstraal moet ook reageren op deze punt- en doorvoertoestanden, zoals hieronder beschreven en weergegeven:
Aanwijsstatus
In de aanwijsstatus is de straal een streepjeslijn en is de cursor een ringvorm.
Doorvoerstatus
In de doorvoerstatus verandert de straal in een ononderbroken lijn en wordt de cursor verkleind tot een punt.
Overgang tussen dichtbij en ver
In plaats van specifieke gebaren te gebruiken, zoals 'wijzen met wijsvinger' om de straal te sturen, hebben we de straal ontworpen om uit het midden van de palm van de gebruikers te komen. Op deze manier hebben we de Five Fingers vrijgegeven en gereserveerd voor meer manipulatieve bewegingen, zoals knijpen en grijpen. Met dit ontwerp maken we slechts één mentaal model: dezelfde set handbewegingen wordt gebruikt voor zowel nabije als verre interactie. U kunt dezelfde grijpbeweging gebruiken om objecten op verschillende afstanden te bewerken. De aanroep van de stralen is als volgt automatisch en op nabijheid gebaseerd:
Bijna manipulatie
Wanneer een object zich binnen de armlengte (ongeveer 50 cm) bevindt, worden de stralen automatisch uitgeschakeld, waardoor bijna-interactie wordt aangemoedigd.
Verre manipulatie
Wanneer het object verder is dan 50 cm, worden de stralen ingeschakeld. De overgang moet soepel en naadloos verlopen.
2D-slate-interactie
Een 2D-slate is een holografische container die als host fungeert voor 2D-app-inhoud, zoals een webbrowser. Het ontwerpconcept voor verre interactie met een 2D-leisteen is om handstralen te gebruiken om te richten en luchttik om te selecteren. Na het richten met een handstraal kunnen gebruikers luchttikken om een hyperlink of een knop te activeren. Ze kunnen met één hand 'luchttikken en slepen' gebruiken om slate-inhoud omhoog en omlaag te schuiven. De relatieve beweging van het gebruik van twee handen om lucht te tikken en slepen kan in- en uitzoomen op de leiinhoud.
Het richten van de handstraal op de hoeken en randen onthult de dichtstbijzijnde manipulatie-affordance. Door 'grab and drag' manipulatie-affordances te bewerken, kunnen gebruikers gelijkmatig schalen door de hoek-affordances en kunnen ze de lei omleiden via de rand-affordances. Door de holobalk boven aan de 2D-lei te pakken en te slepen, kunnen gebruikers de hele lei verplaatsen.
Klik
Schuiven
In- en uitzoomen
Voor het bewerken van de 2D-slate
- Gebruikers richten de handstraal op de hoeken of randen om de dichtstbijzijnde manipulatie-betaalbaarheid te onthullen.
- Door een manipulatiebeweging toe te passen op de affordance, kunnen gebruikers gelijkmatig schalen door de hoek betaalbaarheid en kunnen ze de lei omleiden via de edge-affordance.
- Door een manipulatiebeweging toe te passen op de holobalk boven aan de 2D-lei, kunnen gebruikers de hele lei verplaatsen.
3D-objectmanipulatie
Bij directe manipulatie zijn er twee manieren voor gebruikers om 3D-objecten te bewerken: manipulatie op basis van affordance en niet op betaalbaarheid gebaseerde manipulatie. In het point-and-commit-model kunnen gebruikers precies dezelfde taken uitvoeren door middel van de handstralen. Er is geen extra training nodig.
Manipulatie op basis van affordance
Gebruikers gebruiken handstralen om het begrenzingsvak en manipulatie-affordances aan te wijzen en te onthullen. Gebruikers kunnen de manipulatiebeweging toepassen op het begrenzingsvak om het hele object te verplaatsen, op de rand betaalbaarheid om te draaien en op de hoek betaalbaarheid om gelijkmatig te schalen.
Verplaatsen
Roteren
Schalen
Manipulatie op basis van niet-affordance
Gebruikers wijzen met handstralen om het begrenzingsvak te onthullen en passen vervolgens rechtstreeks manipulatiebewegingen toe. Met één hand zijn de vertaling en draaiing van het object gekoppeld aan beweging en richting van de hand. Met twee handen kunnen gebruikers het vertalen, schalen en draaien op basis van relatieve bewegingen van twee handen.
Instinctuele gebaren
Het concept van instinctuele gebaren voor punt en doorvoer is vergelijkbaar met het concept voor directe manipulatie met handen. De bewegingen die gebruikers uitvoeren op een 3D-object, worden geleid door het ontwerp van UI-betaalbaarheid. Een klein besturingspunt kan gebruikers bijvoorbeeld motiveren om te knijpen met hun duim en wijsvinger, terwijl een gebruiker mogelijk alle vijf vingers wil gebruiken om een groter object te pakken.
Klein object
Gemiddeld object
Groot object
Symmetrisch ontwerp tussen handen en 6 DoF-controller
Het concept van punt en doorvoer voor verre interactie is gemaakt en gedefinieerd voor de Mixed Reality Portal (MRP). In dit scenario draagt een gebruiker een immersive headset en communiceert hij met 3D-objecten via bewegingscontrollers. De bewegingscontrollers schieten stralen uit voor het wijzen en manipuleren van verre voorwerpen. Er zijn knoppen op de controllers voor het doorvoeren van verschillende acties. We passen het interactiemodel van stralen toe en bevestigden ze aan beide handen. Met dit symmetrische ontwerp hoeven gebruikers die bekend zijn met MRP geen ander interactiemodel te leren voor ver wijzen en manipuleren wanneer ze HoloLens 2 gebruiken, en omgekeerd.
Controllerstralen
Handstralen
Handstraal in MRTK (Mixed Reality Toolkit) voor Unity
MRTK biedt standaard een hand ray prefab (DefaultControllerPointer.prefab) die dezelfde visuele status heeft als de systeemhandstraal van de shell. Deze wordt toegewezen in het invoerprofiel van MRTK, onder Aanwijzers. In een immersive headset worden dezelfde stralen gebruikt voor de bewegingscontrollers.