Wat is Mixed Reality Toolkit 2?

MRTK-Unity is een door Microsoft gestuurd project dat een set onderdelen en functies biedt, die wordt gebruikt om de ontwikkeling van MR-apps op meerdere platforms in Unity te versnellen. Hier volgen enkele van de functies:

• Biedt het platformoverschrijdende invoersysteem en bouwstenen voor ruimtelijke interacties en gebruikersinterface.
• Maakt snelle prototypen mogelijk via in-editorsimulatie waarmee u wijzigingen direct kunt zien.
• Werkt als een uitbreidbaar framework dat ontwikkelaars de mogelijkheid biedt om kernonderdelen uit te wisselen.
• Ondersteunt een breed scala aan apparaten:

XR SDK-invoegtoepassing (Unity XR Plugin Management Plugin Providers)	Ondersteunde apparaten
Unity OpenXR-invoegtoepassing (Unity 2020 of 2021 LTS) (Mixed Reality OpenXR-invoegtoepassing vereist voor bepaalde functies op bepaalde apparaten)	Microsoft HoloLens 2 Windows Mixed Reality headsets Meta Quest Apparaat dat wordt uitgevoerd op SteamVR via OpenXR
Windows XR-invoegtoepassing	Microsoft HoloLens Microsoft HoloLens 2 Windows Mixed Reality headsets
Oculus XR-invoegtoepassing (Unity 2019 of nieuwer LTS)	Meta Quest (via Oculus Integration Package)
ARCore XR-invoegtoepassing	Android (via AR Foundation)
ARKit XR-invoegtoepassing	iOS (via AR Foundation)

Aanvullende apparaten die worden ondersteund:

• Ultraleap Leap Motion-controller voor handtracering

Opmerking

We hebben de openbare preview van MRTK3 geïntroduceerd, het volgende hoofdstuk van MRTK. Ga voor meer informatie naar de MRTK3-documentatie.

Aan de slag met MRTK

Als u nog niet bekend bent met MRTK of Mixed Reality ontwikkeling in Unity, raden we u aan de voorbeeldtoepassing MRTK Examples Hub op uw apparaat of emulator te installeren en te verkennen.

De APP MRTK Examples Hub downloaden

Zodra u onder de knie hebt wat Mixed Reality en MRTK te bieden heeft, installeert u de benodigde hulpprogramma's en volgt u onze reeks zelfstudies op beginnersniveau HoloLens 2.

De hulpprogramma's installeren

HoloLens 2 reeks zelfstudies

Wilt u zien wat er onder de motorkap gebeurt?

MRTK verkennen op GitHub

Documentatie

Opmerkingen bij de release	MRTK-overzicht	API-verwijzing

Buildstatus

Branch	CI-status	Docs-status
main

Functiegebieden

Invoersysteem

Handtracering
(HoloLens 2)

Oogtracering
(HoloLens 2)

Profielen

Handtracering
(Ultraleap)

Ui-besturingselementen

Solvers

Meerdere scènes
Directeur

Ruimtelijk
Bewustzijn

Diagnostisch
Werktuig

MRTK Standard Shader-voorbeeldweergave

Spraak
& Dicteren

Grens
Systeem

In-Editor
Simulatie

Experimenteel
Functies

UX-bouwstenen

Knop
Een knopbesturingselement dat verschillende invoermethoden ondersteunt, waaronder de gearticuleerde hand van HoloLens 2

Besturingselement grenzen
Standaardgebruikersinterface voor het bewerken van objecten in 3D-ruimte

object manipulator
Script voor het bewerken van objecten met een of twee handen

leisteen
2D-stijlvlak dat ondersteuning biedt voor schuiven met gearticuleerde handinvoer

Systeemtoetsenbord
Voorbeeldscript van het gebruik van het systeemtoetsenbord in Unity

Interactable
Een script om objecten interactief te maken met visuele statussen en ondersteuning voor thema's

Oplosser
Verschillende objectpositioneringsgedragen, zoals tag-along, body-lock, constante weergavegrootte en oppervlaktemagnetisme

Objectverzameling objectverzameling
Script voor het opmaken van een matrix met objecten in een driedimensionale vorm

Knopinfo
Gebruikersinterface voor aantekeningen met een flexibel anker-/draaisysteem, dat kan worden gebruikt voor het labelen van bewegingscontrollers en objecten

Gebruikersinterface met schuifregelaar voor het aanpassen van waarden die directe interactie met handtracering ondersteunen

MRTK Standard Shader
MRTK's Standard-arcering ondersteunt verschillende Fluent-ontwerpelementen met prestaties

Handmenu
Met de hand vergrendelde gebruikersinterface voor snelle toegang, met behulp van handbeperking oplosser

App-balk app-balk
Gebruikersinterface voor handmatige activering van Bounds Control

Aanwijzers
Meer informatie over verschillende typen aanwijzers

Binnenbereikvisualisatie
Visuele betaalbaarheid op de vingertop die het vertrouwen voor de directe interactie verbetert

Near Menu
Gebruikersinterface van zwevend menu voor de bijna-interacties

ruimtelijk bewustzijn)
Uw holografische objecten laten communiceren met de fysieke omgevingen

Spraakopdracht
Scripts en voorbeelden voor het integreren van spraakinvoer

Voortgangsindicator voortgangsindicator
Visuele indicator voor het communiceren van gegevensproces of -bewerking

Dialoogvenster
Gebruikersinterface voor het vragen om bevestiging of bevestiging van de gebruiker

Hand coach
Onderdeel waarmee de gebruiker wordt begeleid wanneer de beweging niet is aangeleerd

Hand Physics Service [experimenteel]
De handfysica-service maakt stijve lichaamsconflicten en interacties met gearticuleerde handen mogelijk

Scrolling Collection
Een objectverzameling die systeemeigen 3D-objecten schuift

Dock [experimenteel]
Met het dock kunnen objecten in en uit vooraf bepaalde posities worden verplaatst

Oogtracering: Doelselectie
Combineer ogen, stem en handinvoer om snel en moeiteloos hologrammen in uw scène te selecteren

Oogtracering: Navigatie
Meer informatie over het automatisch schuiven van tekst of het vloeiend inzoomen op inhoud met prioriteit op basis van wat u bekijkt

Eye Tracking: Heat Map
Voorbeelden voor logboekregistratie, het laden en visualiseren van wat gebruikers in uw app hebben bekeken

Hulpprogramma's

Venster optimaliseren	Afhankelijkheidsvenster	Build Window	Invoeropname
Configuratie van Mixed Reality projecten automatiseren voor prestatieoptimalisaties	Afhankelijkheden tussen assets analyseren en ongebruikte assets identificeren	Een end-to-end buildproces configureren en uitvoeren voor Mixed Reality toepassingen	Gegevens over hoofdbewegingen en handtracering opnemen en afspelen in de editor

Voorbeeldscènes

MRTK bevat voorbeeldscènes die laten zien hoe u de functies van MRTK gebruikt. U vindt de voorbeeldscènes in de map Assets/MRTK/Examples/Demos. Lees de pagina Voorbeeldscènes voor meer informatie over het verkrijgen en uitvoeren van voorbeeldscènes. De scène Voorbeelden van handinteractie is een geweldige plek om de bouwstenen van MRTK voor interacties en gebruikersinterface te ervaren.

HUB MRTK-voorbeelden

Met de MRTK Examples Hub kunt u verschillende voorbeeldscènes in MRTK proberen zonder elke scène te bouwen en te implementeren. U kunt vooraf gemaakte app-pakketten voor HoloLens(x86), HoloLens 2(ARM) en Windows Mixed Reality immersive headsets (x64) downloaden door het pakket 'Mixed Reality Toolkit Examples' te selecteren in het MR-functieprogramma. Zorg ervoor dat u de Windows-apparaatportal gebruikt om apps op HoloLens (1e generatie) te installeren. Op HoloLens 2 kunt u MRTK Examples Hub downloaden en installeren via de Microsoft Store-app.

Zie de pagina Voorbeelden hub README voor meer informatie over het maken van een hub met meerdere scènes met het scènesysteem en de scèneovergangsservice van MRTK.

Voorbeeld-apps die zijn gemaakt met MRTK

Periodic Table of the Elements is een opensource-voorbeeld-app die laat zien hoe u het invoersysteem en de bouwstenen van MRTK gebruikt om een app-ervaring te maken voor HoloLens- en Immersive-headsets. Lees het verhaal over overzetten: Het periodiek systeem van de Elements-app naar HoloLens 2 brengen met MRTK v2	Galaxy Explorer is een opensource-voorbeeld-app die oorspronkelijk is ontwikkeld in maart 2016 als onderdeel van de HoloLens-campagne 'Deel uw idee'. Galaxy Explorer is bijgewerkt met nieuwe functies voor HoloLens 2, met behulp van MRTK v2. Lees het verhaal: The Making of Galaxy Explorer for HoloLens 2	Surfaces is een opensource-voorbeeld-app voor HoloLens 2 die onderzoekt hoe we een tactiele sensatie kunnen creëren met visuele, audio en volledig gearticuleerde handtracering. Bekijk Microsoft MR Dev Days-sessie Learnings van de Surfaces-app voor het gedetailleerde ontwerp- en ontwikkelingsverhaal.

Sessievideo's van Mixed Reality Dev Days 2020

Zelfstudie over het maken van een eenvoudige MRTK-app van begin tot eind. Meer informatie over interactieconcepten en de mogelijkheden voor meerdere platformen van MRTK.	Uitgebreide informatie over de UX-bouwstenen van de MRTK waarmee u prachtige mixed reality-ervaringen kunt bouwen.	Een inleiding tot prestatiehulpprogramma's, zowel in MRTK als extern, evenals een overzicht van de MRTK Standard Shader.

Zie Mixed Reality Dev Days voor meer sessievideo's.

Engage met de community

• Neem deel aan het gesprek rond MRTK op Slack. U kunt lid worden van de Slack-community via de automatische afzender van de uitnodiging.

• Stel vragen over het gebruik van MRTK in Stack Overflow met behulp van de MRTK-tag .

• Zoek naar bekende problemen of dien een nieuw probleem in als er iets defect is in MRTK-code.

• Voor vragen over bijdragen aan MRTK gaat u naar het mixed reality-toolkit-kanaal op slack.

Dit project heeft de Microsoft Open Source-gedragscode aangenomen. Zie de veelgestelde vragen over de gedragscode voor meer informatie of neem contact op opencode@microsoft.com met eventuele aanvullende vragen of opmerkingen.

Nuttige resources in Mixed Reality Dev Center

Ontdekken			Uitdelen
Meer informatie over het bouwen van mixed reality-ervaringen voor HoloLens en immersive headsets (VR).	Ontwerphandleidingen downloaden. Gebruikersinterface bouwen. Meer informatie over interacties en invoer.	Ontwikkelingshandleidingen downloaden. Leer de technologie. De wetenschap begrijpen.	Maak uw app klaar voor anderen en overweeg een 3D-startprogramma te maken.

Nuttige resources in Azure

Speech Services	Vision Services
Ontdek en integreer spraakmogelijkheden met Azure, zoals spraak naar tekst, sprekerherkenning of spraakomzetting in uw toepassing.	Identificeer en analyseer uw afbeeldings- of video-inhoud met behulp van Vision Services, zoals computer vision, gezichtsdetectie, emotieherkenning of video-indexeerfunctie.

Bijdragen

Meer informatie over hoe u kunt bijdragen aan MRTK op Bijdragen.

Hulp krijgen

Als u problemen ondervindt die worden veroorzaakt door MRTK of anderszins vragen hebt over hoe u iets moet doen, zijn er enkele bronnen die u kunnen helpen:

• Voor foutrapporten kunt u een probleem indienen in de GitHub-opslagplaats.
• Neem voor vragen contact op via StackOverflow of het mixed reality-toolkit-kanaal op Slack. U kunt lid worden van de Slack-community via de automatische afzender van de uitnodiging.