Was ist das Mixed Reality-Toolkit 2?

MRTK-Unity ist ein von Microsoft vorangetriebenes Projekt, das einen Satz von Komponenten und Funktionen bereitstellt, die zum Beschleunigen der Entwicklung von plattformübergreifenden MR-Apps in Unity dienen. Dies sind einige der gebotenen Funktionen:

• Stellt das plattformübergreifende Eingabesystem und Bausteine für räumliche Interaktionen und die Benutzeroberflächebereit.
• Ermöglicht schnelle Prototyperstellung mithilfe von Simulationen im Editor, die Ihnen die Möglichkeit geben, Änderungen sofort zu sehen.
• Fungiert als erweiterbares Framework, das Entwicklern die Möglichkeit zum Austausch von Kernkomponenten bietet.
• Unterstützt eine breites Spektrum von Geräten:

XR SDK-Plug-In (Plug-In-Anbieter für die Unity-XR-Plug-In-Verwaltung)	Unterstützte Geräte
Unity OpenXR-Plug-In (Unity 2020 oder 2021 LTS) (Mixed Reality-OpenXR-Plug-In für bestimmte Features auf bestimmten Geräten erforderlich)	Microsoft HoloLens 2 Windows Mixed Reality-Headsets Meta Quest Unter SteamVR über OpenXR ausgeführtes Gerät
Windows XR-Plug-In	Microsoft HoloLens Microsoft HoloLens 2 Windows Mixed Reality-Headsets
Oculus-XR-Plug-In (Unity 2019 oder höhere Version mit LTS)	Meta Quest (über Oculus-Integrationspaket)
ARCore-XR-Plug-In	Android (über AR Foundation)
ARKit-XR-Plug-In	iOS (über AR Foundation)

Weitere unterstützte Geräte:

• Leap Motion-Controller von Ultraleap für Hand-Tracking

Hinweis

Wir haben die öffentliche Vorschau von MRTK3, dem nächsten Kapitel von MRTK, vorgestellt. Weitere Informationen finden Sie in der MRTK3-Dokumentation.

Erste Schritte mit MRTK

Wenn Sie sich erst mit dem MRTK oder der Mixed Reality-Entwicklung in Unity vertraut machen, empfehlen wir Ihnen, die Beispielanwendung „MRTK-Beispiele-Hub“ auf Ihrem Gerät oder Emulator zu installieren und zu erkunden.

Herunterladen der MRTK-Beispiel-Hub-App

Sobald Sie sich ein Bild gemacht haben, was Mixed Reality und MRTK zu bieten haben, installieren Sie die erforderlichen Tools, und folgen Sie unserer Tutorialreihe zur HoloLens 2 für Einsteiger.

Installieren der Tools

HoloLens 2-Tutorialreihe

Möchten Sie wissen, wie es unter der Haube aussieht?

Entdecken Sie das MRTK auf GitHub

Dokumentation

Versionsanmerkungen	Übersicht über das MRTK	API-Referenz

Buildstatus

Verzweigung	CI-Status	Docs-Status
main

Featurebereiche

Eingabesystem

Handverfolgung
(HoloLens 2)

Eye Tracking
(HoloLens 2)

Profiles

Handverfolgung
(Ultraleap)

UI-Steuerelemente

Löser

Multiszenen-
Manager

Räumlich
Wahrnehmung

Diagnostisch
tool

Beispielansicht „MRTK-Standard-Shader“

Speech
& Diktierfunktion

Grenze
system

In-Editor
im Editor

Experimentell
Features

UX-Bausteine

Schaltfläche
Ein Schaltflächen-Steuerelement, das verschiedene Eingabemethoden unterstützt, einschließlich der artikulierten Hand von HoloLens 2.

Begrenzungssteuerelement
Standard Benutzeroberfläche zum Bearbeiten von Objekten im 3D-Raum

Objektmanipulation
Skript zum Manipulieren von Objekten mit einer oder zwei Händen.

Filmklappe
2D-artige Ebene, die Scrollen mit artikulierter Handeingabe unterstützt.

Systemtastatur
Beispielskript für die Verwendung der Systemtastatur in Unity

Interagierbar
Ein Skript, um Objekte interaktionsfähig zu machen, mit visuellen Zuständen und Designunterstützung.

Solver
Verschiedene Objektpositionierungsverhalten wie tag-along, body-lock, konstante Ansichtsgröße und Oberflächenmagnetismus.

Object-Auflistung
Skript zum Anordnen eines Arrays von Objekten in einer dreidimensionalen Form.

Tooltip
Anmerkungsbenutzeroberfläche mit einem flexiblen Anker-/Pivot-System, das zum Bezeichnen von Motion-Controllern und Objekten verwendet werden kann.

Schieberegler
Schieberegler-Benutzeroberfläche zum Anpassen von Werten, die direkte Hand-Tracking-Interaktion unterstützen.

MRTK Standard-Shader
Der Standard-Shader des MRTK unterstützt leistungsstark verschiedene Fluent Design-Elemente.

Handmenü
Handgesperrte Benutzeroberfläche für Schnellzugriff unter Verwendung des Handeinschränkungs-Solvers.

App-Leiste
Benutzeroberfläche für die manuelle Aktivierung von Begrenzungs-Steuerelementen.

Zeiger
Erfahren Sie mehr über verschiedene Typen von Zeigern.

Fingerspitzenvisualisierung
Visuelles Angebot an der Fingerspitze, das das Vertrauen in die direkte Interaktion verbessert.

Menü "Nah"
Unverankerte Menübenutzeroberfläche für die Näheinteraktionen.

Räumliche Sensibilisierungsansicht
Machen Sie Ihre Holografieobjekte interaktionsfähig für die physischen Umgebungen.

Sprachbefehl
Skripts und Beispiele für die Integration von Spracheingaben.

Statusanzeige
Visueller Indikator zum Kommunizieren eines Datenprozesses oder -vorgangs.

Dialogfeld
Benutzeroberfläche zum Anfordern der Bestätigung oder Anerkennung durch den Benutzer.

Hand Coach
Komponente, die hilft, den Benutzer anzuleiten, wenn die Geste noch nicht vermittelt wurde.

Handphysik service [Experimental]
Der Handphysikdienst ermöglicht Festkörperkollisionsereignisse und -interaktionen mit artikulierten Händen.

Scrolling-Auflistung
Eine Objektsammlung, die nativ 3D-Objekte scrollt.

Dock [Experimental]
Das Dock ermöglicht das Verschieben von Objekten in und aus vordefinierten Positionen.

Eye Tracking: Zielauswahl
Kombinieren Sie Augen, Sprach- und Handeingaben, um schnell und einfach Hologramme in Ihrer Szene auszuwählen.

Eye Tracking: Navigation
Erfahren Sie, wie Sie Text automatisch scrollen oder fließend in Inhalt im Vordergrund zoomen, basierend darauf, was Sie ansehen.

Eye Tracking: Wärmekarte
Beispiele für das Protokollieren, Laden und Visualisieren dessen, was Benutzer in Ihrer App angesehen haben

Extras

Fenster optimieren	Abhängigkeitsfenster	Fenster erstellen	Eingabeaufzeichnung
Automatisieren der Konfiguration von Mixed Reality-Projekten für Leistungsoptimierungen.	Analysieren von Abhängigkeiten zwischen Ressourcen und Identifizieren nicht verwendeter Ressourcen.	Konfigurieren und Ausführen eines End-to-End-Erstellungsprozesses für Mixed Reality-Anwendungen	Aufzeichnen und Wiedergeben von Kopfbewegungs-und Hand-Tracking-Daten im Editor

Beispielszenen

MRTK enthält Beispielszenen, die die Verwendung der MRTK-Features veranschaulichen. Die Beispielszenen finden Sie im Ordner Assets/MRTK/Examples/Demos. Lesen Sie die Seite Beispielszenen, um zu erfahren, wie Sie Beispielszenen abrufen und ausführen. Die Szene mit Beispielen für die Handinteraktion ist ein idealer Ort, um die Bausteine des MRTK für Interaktionen und die Benutzeroberfläche zu erleben.

MRTK-Beispiele-Hub

Mit dem MRTK-Beispiele-Hub können Sie verschiedene Beispielszenen im MRTK ausprobieren, ohne die einzelnen Szenen erstellen und bereitstellen zu müssen. Sie können vorgefertigte App-Pakete für HoloLens(x86), HoloLens 2(ARM) und immersive Windows Mixed Reality-Headsets(x64) herunterladen, indem Sie das Paket „Mixed Reality Toolkit-Beispiel“ im MR-Featuretool auswählen. Stellen Sie sicher, dass Sie das Windows-Geräteportal zum Installieren von Apps für HoloLens (1. Generation) verwenden. Auf HoloLens 2 können Sie den MRTK-Beispiele-Hub über die Microsoft Store-App herunterladen und installieren.

Weitere Informationen zu den Details der Erstellung eines Multiszenen-Hubs mit dem Szenensystem und dem Szenenübergangsdienst des MRTK finden Sie auf der INFO-Seite des Beispiele-Hubs.

Mit dem MRTK erstellte Beispiel-Apps.

Periodensystem der Elemente (Periodic Table of the Elements) ist eine Open-Source-Beispiel-App, die veranschaulicht, wie das Eingabesystem und die Bausteine des MRTK zum Erstellen einer App-Erfahrung für HoloLens und immersive Headsets verwendet werden. Lesen Sie die Portierungsgeschichte: Einbinden der „Periodic Table of the Elements“-App in HoloLens 2 mit dem MRTK v2	Galaxy Explorer ist eine Open-Source-Beispiel-App, die ursprünglich im März 2016 im Rahmen der Kampagne „Share Your Idea“ (Ideen teilen) von HoloLens entwickelt wurde. Galaxy Explorer wurde mit den neuen Features für HoloLens 2 mithilfe des MRTK v2 aktualisiert. Lesen Sie die Geschichte: Making of Galaxy Explorer für HoloLens 2	Oberflächen (Surfaces) ist eine Open-Source-Beispiel-App für HoloLens 2, die erkundet, wie wir mit visuellen Eindrücken, Audio und vollständig artikuliertem Hand-Tracking ein taktiles Gefühl schaffen können. Das detaillierte Design und die Entwicklungsgeschichte finden Sie in der Microsoft MR Dev Days-Sitzung Erfahrungen aus der Surfaces-App.

Sitzungsvideos von den Mixed Reality Dev Days 2020

Tutorial zum Erstellen einer einfachen MRTK-APP von Anfang bis Ende. Erfahren Sie mehr über Interaktionskonzepte und die plattformübergreifenden Funktionen des MRTK.	Tiefgehende Besprechung der UX-Bausteine des MRTK, die Sie beim Erstellen schöner Mixed Reality-Erfahrungen unterstützen.	Eine Einführung in Leistungstools, sowohl die in MRTK enthaltenen als auch externe, sowie eine Übersicht zum MRTK-Standardshader.

Weitere Sitzungsvideos finden Sie unter Mixed Reality Dev Days.

Mit der Community in Kontakt treten

• Nehmen Sie an der Unterhaltung über MRTK bei Slack teil. Sie können der Slack-Community über den automatischen Einladungsversender beitreten.

• Stellen Sie Fragen zur Verwendung des MRTK bei Stack Overflow unter Verwendung des Tags MRTK.

• Suchen Sie nach bekannten Problemen, oder melden Sie ein neues Problem, wenn Sie einen Defekt im MRTK-Code finden.

• Wenn Sie Fragen zur Mitwirkung am MRTK haben, besuchen Sie den mixed-reality-toolkit-Kanal in Slack.

Für dieses Projekt gelten die Microsoft-Verhaltensregeln für Open Source (Microsoft Open Source Code of Conduct). Weitere Informationen finden Sie in den häufig gestellten Fragen zum Verhaltenskodex. Sie können sich auch an opencode@microsoft.com wenden, wenn Sie weitere Fragen oder Kommentare haben.

Hilfreiche Ressourcen in Mixed Reality Dev Center

Entdecken	Entwurf	Entwickeln	Verteilen
Erfahren Sie, wie Sie Mixed Reality-Erfahrungen für HoloLens und immersive Headsets (VR) entwickeln.	Erhalten Sie Entwurfshandbücher. Erstellen von Benutzeroberflächen. Erfahren Sie mehr über Interaktionen und Eingaben.	Erhalten Sie Entwicklungshandbücher. Lernen Sie die Technologie kennen. Verstehen der wissenschaftlichen Aspekte.	Bereiten Sie Ihre App für andere Benutzer vor, und erstellen Sie ggf. ein 3D-Startprogramm.

Nützliche Ressourcen in Azure

Spatial Anchors	Sprachdienste	Vision Services
Spatial Anchors ist ein plattformübergreifender Dienst, mit dem Sie Mixed Reality-Erlebnisse mit Objekten erstellen können, die ihre Positionen auf Geräten im Zeitverlauf beibehalten.	Erforschen Sie Azure-basierte Sprachfunktionen wie Spracherkennung, Sprechererkennung und Sprachübersetzung, und integrieren Sie diese in Ihre Anwendung.	Erkennen und analysieren Sie Ihre Bild- oder Videoinhalte mithilfe von Bildverarbeitungsdiensten wie maschinelles Sehen, Gesichtserkennung, Emotionserkennung oder Video-Indexer.

Beitragen

Erfahren Sie, wie Sie beim MRTK mitwirken können, unter Mitwirkung.

Hilfe

Wenn Probleme auftreten, die vom MRTK verursacht wurden, oder wenn Sie anderweitige Fragen zu Vorgehensweisen haben, gibt es einige Ressourcen, die Ihnen helfen können:

• Bei Fehlerberichten melden Sie ein Problem im GitHub-Repository.
• Wenn Sie Fragen haben, wenden Sie sich entweder an StackOverflow oder an den mixed-reality-toolkit-Kanal in Slack. Sie können der Slack-Community über den automatischen Einladungsversender beitreten.