Delen via


Geavanceerde HoloLens Emulator- en Mixed Reality Simulator-invoer

De meeste emulatorgebruikers hoeven alleen de basisinvoerbesturingselementen voor de HoloLens Emulator of de Windows Mixed Reality simulator te gebruiken. De onderstaande details zijn bedoeld voor ervaren gebruikers die complexere typen invoer moeten simuleren.

Concepten

Als u aan de slag wilt gaan met het beheren van de virtuele invoer voor de HoloLens Emulator en Windows Mixed Reality simulator, moet u eerst enkele concepten begrijpen.

Beweging verwijst naar het controleren en wijzigen van de positie en oriëntatie van iets in de scène. Voor een gericht controleerbaar object wordt beweging gestuurd met zowel rotatie als vertaling (beweging) langs drie assen.

  • Yaw: Draai naar links of rechts.
  • Toonhoogte: draai omhoog of omlaag.
  • Rol: Rol naast elkaar.
  • X: Naar links of rechts gaan.
  • Y: Omhoog of omlaag gaan.
  • Z: Vooruit of achteruit.

Invoer van bewegingen en bewegingscontrollers zijn nauw verbonden met fysieke apparaten:

  • Actie: simuleert de actie van het indrukken van de wijsvinger naar de duim of het trekken van de actieknop op een controller. De invoer Actie kan bijvoorbeeld worden gebruikt om de beweging van de luchttik te simuleren, door de inhoud te schuiven en om in te drukken en vast te houden.
  • Bloei-/systeembeweging of Home: De HoloLens-beweging bloei/systeem of de knop Start van een controller wordt gebruikt om terug te keren naar de shell en om systeemacties te activeren.

Handen hebben een rijke representatie in HoloLens 2. Naast dat ze worden bijgehouden/niet worden gevolgd en bruikbaar zijn voor rijbewegingen, hebben handen nu een gearticuleerd skeletmodel dat aan hen past en wordt blootgesteld aan de ontwikkelaar. Het skeletmodel heeft 26 getraceerde punten op elke hand.

  • Joint: een van de 20 bijgehouden posities voor een bepaalde getraceerde hand met een gekoppeld punt in 3d-ruimte.
  • Pose: Een volledige verzameling van alle Joints in een tracked hand, 26 Joints in totaal.

We maken momenteel geen directe controle over afzonderlijke gezamenlijke posities beschikbaar via de emulator, maar u kunt ze instellen via de simulatie-API. We hebben een set nuttige representatieve poses waarmee u met de emulator kunt schakelen.

U kunt ook de status van gesimuleerde sensorinvoer beheren:

  • Opnieuw instellen: retourneert alle gesimuleerde sensoren naar hun standaardwaarden. Vanaf de HoloLens 2 Emulator kan een reset worden ingesteld op één of beide handen. Engage de gewenste hand(en) met behulp van de modifier-toets(en) of knop(en) (Alt links en/of rechts, of de linker- en/of rechterbumper op de gamepad).
  • Tracering: doorloopt de modi voor positietracering, waaronder:
    • Standaard: het besturingssysteem kiest de beste traceringsmodus op basis van de aanvragen van het systeem.
    • Afdrukstand: dwingt alleen het bijhouden van oriëntaties af, ongeacht de systeemaanvragen.
    • Positional: dwingt positionele tracering af, ongeacht de systeemaanvragen.

Typen invoer

In de volgende tabel ziet u hoe elk type invoer wordt toegewezen aan het toetsenbord, de muis en de Xbox-controller. Elk type heeft een andere toewijzing, afhankelijk van de invoerbesturingsmodus. Meer informatie over invoerbesturingsmodi vindt u verderop in dit document.

Invoer Toetsenbord Muis Xbox-controller
Yaw Pijl-links/pijl-rechts Naar links/rechts slepen Rechtervingerstick links/rechts
Toonhoogte Pijl-omhoog/pijl-omlaag Omhoog/omlaag slepen Rechtervingerstick omhoog/omlaag
Rollen Q/E DPad links/rechts
X A/D Linkervingerstick links/rechts
J Pagina omhoog/pagina omlaag DPad omhoog/omlaag
Z W / S Linkervingerstick omhoog/omlaag
Actie Voer of spatie in Rechterknop Een knop of trigger
Bloei/systeem F2 of Windows-toets B-knop
Controller gripknop / Handgreep G
Menuknop Controller M
Touchpad van controller aanraken U
Controller touchpad drukken P
Controller duimstick drukken K
Traceringsstatus van linkercontroller F9
Rechtscontrollerstatus bijhouden F10
Hand 'Close' Pose 7
Hand 'Open' pose (standaard) 8
Hand 'Point' Pose 9
Hand 'knijpen' houding 0
Terugstellen Escapetoets Startknop
Bijhouden T of F3 X-knop

Opmerking: De controllerknoppen kunnen worden gericht op de ene hand/controller of de andere met behulp van de hand gericht op modifiers.

Targeting

Sommige van de bovenstaande invoerconcepten staan op zichzelf. Actie, Bloei/Systeem, Opnieuw instellen en Bijhouden zijn complete concepten, die niet nodig zijn en niet worden beïnvloed door aanvullende aanpassingsfuncties voor targeting. De overige concepten kunnen worden toegepast op een van meerdere doelen. We hebben manieren geïntroduceerd waarmee u kunt opgeven op welk doel uw opdracht moet worden toegepast. In alle gevallen is het mogelijk om via de gebruikersinterface of via toetsenborddrukken op te geven welk object het doel is. In sommige gevallen is het ook mogelijk om rechtstreeks met de Xbox-controller op te geven.

In de volgende tabel worden de opties voor targeting beschreven en de manier waarop u deze kunt activeren.

Object Toetsenbord modifier Controller Modifier Emulator UI Modifier
Lichaam (standaard) (standaard) (standaard)
Hoofd H vasthouden (Niet beschikbaar) (Niet beschikbaar)
Linkerhand/controller Alt-knop links ingedrukt houden Knop Linkerschouder vasthouden Left-Hand punaise
Rechterhand/controller Alt-knop rechts vasthouden Rechter schouderknop ingedrukt houden Right-Hand punaise
Ogen Y vasthouden (Niet beschikbaar) Ogen punaise

In de volgende tabel ziet u hoe elke doelmodificator elk van de basisbegrippen voor verplaatsingsinvoer toebedeelt

Invoer Standaard (hoofdtekst) Hand/controller (Alt ingedrukt houden, gamepad-schouderknop vasthouden of ui-punaise in- of uitschakelen) Hoofd (H vasthouden) Ogen (houd Y vast of schakel de ui-punaise in)
Yaw Hoofdtekst links/rechts draaien Hand naar links/rechts verplaatsen Hoofd links/rechts draaien Ogen kijken naar links/rechts
Toonhoogte Hoofd omhoog/omlaag draaien Hand omhoog/omlaag verplaatsen Hoofd omhoog/omlaag draaien Ogen kijken omhoog/omlaag
Rollen Kop naar links/rechts draaien Kop naar links/rechts draaien (Geen actie)
X Hoofdtekst naar links/rechts schuiven Hand/controller naar links/rechts verplaatsen Hoofd links/rechts draaien (Geen actie)
J Lichaam omhoog/omlaag verplaatsen Hand/controller omhoog/omlaag verplaatsen Hoofd omhoog/omlaag draaien (Geen actie)
Z Lichaam naar voren/naar achteren verplaatsen Hand/controller vooruit/achteruit verplaatsen Hoofd omhoog/omlaag draaien (Geen actie)

Een app beheren

De volgende set besturingselementen wordt aanbevolen voor dagelijks gebruik:

Bewerking Toetsenbord en muis Controller
Hoofdtekst X A/D Linkervingerstick links/rechts
Hoofdtekst Y Pagina omhoog/pagina omlaag DPad omhoog/omlaag
Hoofdtekst Z W / S Linkervingerstick omhoog/omlaag
Lichaam Yaw Muis naar links/rechts slepen Rechtervingerstick links/rechts
Hoofd yaw H + muis naar links/rechts slepen H (op toetsenbord) + rechtervingerstick links/rechts
Hoofdhoogte Muis omhoog/omlaag slepen Rechtervingerstick omhoog/omlaag
Hoofdrol Q/E DPad links/rechts
Hand/Controller X Alt + A / D Schouder + linkervingerstick links/ rechts
Hand/Controller Y Alt + Pagina omhoog/ pagina omlaag Schouder + DPad omhoog/omlaag
Hand/Controller Z Alt + W / S Schouder + linkervingerstick omhoog/omlaag
Hand/Controller Yaw Alt + muis naar links/rechts slepen Schouder + rechtervingerstick links / rechts
Hand/Controller Pitch Alt + muis omhoog/omlaag slepen Schouder + rechter duimstick omhoog/omlaag
Hand-/controllerrol Alt +Q/E Schouder + DPad links/ rechts
Actie Rechtermuisknop Trekker
Bloei / Systeem / Home F2 of Windows-toets B-knop
Terugstellen Ontsnappen Startknop
Bijhouden T X-knop
Scrollen Alt + rechtermuisknop + muis omhoog/omlaag slepen Schouder + trigger + rechter duimstick omhoog / omlaag
Sneller verplaatsen/draaien Shift-toets links of rechts Houd de rechter duimstick ingedrukt
Langzaam verplaatsen/draaien Ctrl-toets links of rechts Houd de linkervingerstick ingedrukt

Een Windows Mixed Reality insluitende headset en bewegingscontrollers gebruiken met de HoloLens 2 Emulator

Wanneer u een Windows Mixed Reality immersive headset gebruikt met de HoloLens 2 Emulator, worden beweging en draaiing automatisch toegewezen aan de beweging en draaiing van de headset. De positie en stand van de bewegingscontroller worden automatisch toegewezen aan handpositie en stand in de emulator. De onderstaande tabel bevat aanvullende acties die beschikbaar zijn bij het gebruik van een bewegingscontroller.

Opmerking

Wanneer u een headset gebruikt, worden standaardtoetsenbord, muis en gamepad-besturingselementen automatisch genegeerd.

Bewerking Actie Opmerkingen
Hoofdtekst X Duimstick links/rechts
Hoofdtekst Z Duimstick naar voren/achteren
Hoofdtekst Y Toetsenbordpagina omhoog/omlaag Zorg ervoor dat Windows Mixed Reality focus heeft. Druk op Win+Y als de focus zich op het Windows-bureaublad bevindt om de focus terug te zetten naar Windows Mixed Reality.
Ogen zien er links/rechts uit DPad links/rechts
Ogen omhoog/omlaag kijken DPad omhoog/omlaag
Tikken Trekker
Knijpen/grijpen Gripknop
Systeembeweging Menuknop
Positie opnieuw instellen Duimstick klikken

Sneltoetsen voor perceptiesimulatie Configuratiescherm

U kunt toegang krijgen tot het configuratiescherm van Perception Simulation en pc-invoerapparaten in- of uitschakelen met de volgende sneltoetsen.

Bewerking Snelkoppeling Beschrijving/notities
Schakel 'Toetsenbord gebruiken voor simulatie' in of uit F4 Wanneer deze optie is uitgeschakeld, gaat toetsenbordinvoer naar de HoloLens- of Windows Mixed Reality-toepassing.
Schakel 'Muis gebruiken voor simulatie' in of uit F5 Wanneer deze optie is uitgeschakeld, gaat de muisinvoer naar de Mixed Reality-omgeving (alleen Windows Mixed Reality)
Schakel 'Gamepad gebruiken voor simulatie' in of uit F6 Wanneer deze optie is uitgeschakeld, wordt gamepad-invoer genegeerd door simulatie
Het configuratiescherm weergeven of verbergen F7
Toetsenbordfocus instellen op het configuratiescherm F8 Als het deelvenster momenteel niet zichtbaar is, wordt het eerst weergegeven.
Het deelvenster vastkoppelen of loskoppelen van/naar het emulator- of Mixed Reality portalvenster F9 Als het venster wordt gesloten wanneer het is losgekoppeld, wordt het vastgekoppeld en verborgen.

Zie ook