Aanwijzen en doorvoeren met handen
Point and commit with hands is een invoermodel waarmee gebruikers 2D- en 3D-inhoud buiten bereik kunnen targeten, selecteren en bewerken. Deze 'ver'-interactietechniek is uniek voor mixed reality omdat mensen van nature niet op die manier met de echte wereld communiceren. Bijvoorbeeld, in de superheld film, X-Men, kan het personage Magneto ver objecten in de verte manipuleren met zijn handen. Dit is niet iets wat mensen in werkelijkheid kunnen doen. In zowel HoloLens (AR) als Mixed Reality (MR) voorzien we gebruikers van deze magische kracht om de fysieke beperking van de echte wereld te doorbreken. Het is niet alleen een leuke holografische ervaring, maar het maakt gebruikersinteracties ook effectiever en efficiënter.
Apparaatondersteuning
| Invoermodel | HoloLens (1e generatie) | HoloLens 2 | Meeslepende headsets |
| Aanwijzen en doorvoeren met handen | ❌ Niet ondersteund | ✔️ Aanbevolen | ✔️ Aanbevolen |
'Point and commit with hands' is een van de nieuwe functies die gebruikmaken van het nieuwe gearticuleerde handtraceringssysteem. Dit invoermodel is ook het primaire invoermodel op insluitende headsets met behulp van bewegingscontrollers.
Handstralen
Op HoloLens 2 hebben we een handstraal gemaakt die uit het midden van de palm van de gebruiker schiet. Deze straal wordt behandeld als een verlengstuk van de hand. Aan het einde van de straal wordt een donutvormige cursor bevestigd om de locatie aan te geven waar de straal een doelobject doorkruist. Het object waarop de cursor terechtkomt, kan vervolgens gesturale opdrachten van de hand ontvangen.
Deze eenvoudige gesturale opdracht wordt geactiveerd met behulp van de duim en wijsvinger om de luchttikactie uit te voeren. Door de handstraal te gebruiken om te wijzen en door te tikken om door te voeren, kunnen gebruikers een knop of een hyperlink activeren. Met meer samengestelde bewegingen kunnen gebruikers op een afstand door webinhoud navigeren en 3D-objecten bewerken. Het visuele ontwerp van de handstraal moet ook reageren op deze punt- en doorvoertoestanden, zoals hieronder wordt beschreven en weergegeven:
Aanwijsstatus
In de aanwijsstatus is de straal een streepjeslijn en de cursor een donutvorm.
Doorvoerstatus
In de doorvoeringsstatus verandert de straal in een ononderbroken lijn en wordt de cursor verkleind tot een punt.
Overgang tussen dichtbij en ver weg
In plaats van specifieke bewegingen te gebruiken, zoals 'wijzen met wijsvinger' om de straal te richten, hebben we de ray ontworpen om uit het midden van de palm van de gebruiker te komen. Op deze manier hebben we de Vijf vingers uitgebracht en gereserveerd voor meer manipulatieve bewegingen, zoals knijpen en grijpen. Met dit ontwerp maken we slechts één mentaal model: dezelfde set handbewegingen wordt gebruikt voor zowel nabije als verre interactie. U kunt dezelfde grijpbeweging gebruiken om objecten op verschillende afstanden te bewerken. De aanroep van de stralen is automatisch en op nabijheid gebaseerd als volgt:
Bijna manipulatie
Wanneer een object zich binnen de lengte van een arm bevindt (ongeveer 50 cm), worden de stralen automatisch uitgeschakeld, waardoor bijna-interactie wordt aangemoedigd.
Verre manipulatie
Wanneer het object verder is dan 50 cm, worden de stralen ingeschakeld. De overgang moet soepel en naadloos verlopen.
2D-leisteeninteractie
Een 2D-slate is een holografische container die inhoud van 2D-apps host, zoals een webbrowser. Het ontwerpconcept voor verre interactie met een 2D-leisteen is om handstralen te gebruiken om te richten en lucht tikken om te selecteren. Nadat ze zich met een handstraal hebben gericht, kunnen gebruikers een luchttikbewerking uitvoeren om een hyperlink of knop te activeren. Ze kunnen met één hand 'luchttikken en slepen' gebruiken om leisteeninhoud omhoog en omlaag te schuiven. De relatieve beweging van het gebruik van twee handen om lucht tikken en slepen kan in- en uitzoomen van de leisteeninhoud.
Het richten van de handstraal op de hoeken en randen onthult de dichtstbijzijnde manipulatie betaalbaarheid. Door 'grab and drag'-manipulatie-betaalbaarheiden te bewerken, kunnen gebruikers uniform schalen door de hoek betaalbaarheid en kunnen ze de leisteen opnieuw laten lopen via de edge-betaalbaarheid. Door de holobar boven aan de 2D-leisteen te pakken en te slepen, kunnen gebruikers de hele leisteen verplaatsen.
Klik op
Scrollen
Zoom
Voor het bewerken van de 2D-leisteen
- Gebruikers richten de handstraal op de hoeken of randen om de dichtstbijzijnde manipulatie-betaalbaarheid te onthullen.
- Door een manipulatiebeweging toe te passen op de betaalbaarheid, kunnen gebruikers uniform schalen door de hoek betaalbaarheid en de leisteen opnieuw laten lopen via de edge-betaalbaarheid.
- Door een manipulatiebeweging toe te passen op de holobar boven aan de 2D-leisteen, kunnen gebruikers de hele leisteen verplaatsen.
3D-objectmanipulatie
Bij directe manipulatie zijn er twee manieren waarop gebruikers 3D-objecten kunnen bewerken: manipulatie op basis van betaalbaarheid en niet-op betaalbaarheid gebaseerde manipulatie. In het point-and-commit-model kunnen gebruikers precies dezelfde taken uitvoeren via de handstralen. Er is geen extra leren nodig.
Op betaalbaarheid gebaseerde manipulatie
Gebruikers gebruiken handstralen om het begrenzingsvak en de manipulatie betaalbaarheid te wijzen en te onthullen. Gebruikers kunnen de manipulatiebeweging toepassen op het begrenzingsvak om het hele object te verplaatsen, op de rand betaalbaarheid om te draaien en op de hoek betaalbaarheid om gelijkmatig te schalen.
Move
Draaien
Schub
Niet op betaalbaarheid gebaseerde manipulatie
Gebruikers wijzen met handstralen om het begrenzingsvak te onthullen en passen er vervolgens rechtstreeks manipulatiebewegingen op toe. Met één hand zijn de vertaling en draaiing van het object gekoppeld aan beweging en richting van de hand. Met twee handen kunnen gebruikers het vertalen, schalen en draaien op basis van relatieve bewegingen van twee handen.
Instinctuele bewegingen
Het concept van instinctieve gebaren voor punt en doorvoer is vergelijkbaar met dat voor directe manipulatie met handen. De bewegingen die gebruikers op een 3D-object uitvoeren, worden geleid door het ontwerp van ui-betaalbaarheid. Een klein besturingspunt kan gebruikers bijvoorbeeld motiveren om met hun duim en wijsvinger te knijpen, terwijl een gebruiker misschien alle Vijf vingers wil gebruiken om een groter object te pakken.
Klein object
Gemiddeld object
Groot object
Symmetrisch ontwerp tussen handen en 6 DoF-controller
Het concept van punt en doorvoer voor verre interactie is gemaakt en gedefinieerd voor de Mixed Reality Portal (MRP). In dit scenario draagt een gebruiker een insluitende headset en communiceert hij met 3D-objecten via bewegingscontrollers. De bewegingscontrollers schieten stralen uit voor het aanwijzen en manipuleren van verre objecten. Er zijn knoppen op de controllers voor het doorvoeren van verschillende acties. We passen het interactiemodel van stralen toe en bevestigden ze aan beide handen. Met dit symmetrische ontwerp hoeven gebruikers die bekend zijn met MRP geen ander interactiemodel te leren voor verwijs- en manipulatie wanneer ze HoloLens 2 gebruiken, en andersom.
Controllerstralen
Handstralen
Handstraal in MRTK (Mixed Reality Toolkit) voor Unity
STANDAARD biedt MRTK een hand ray prefab (DefaultControllerPointer.prefab) die dezelfde visuele status heeft als de systeemstraal van de shell. Deze wordt toegewezen in het invoerprofiel van MRTK, onder Aanwijzers. In een insluitende headset worden dezelfde stralen gebruikt voor de bewegingscontrollers.