什么是 混合现实 Toolkit 2？

MRTK-Unity 是一个Microsoft驱动的项目，提供一组组件和功能，用于加速Unity中的跨平台 MR 应用开发。 下面是它的一些函数：

• 为 空间交互和 UI 提供跨平台输入系统和构建基块。
• 通过编辑器内模拟实现 快速原型制作 ，使你能够立即看到更改。
• 作为 可扩展框架 运行，使开发人员能够交换核心组件。
• 支持各种设备：

XR SDK 插件 (Unity XR 插件管理插件提供程序)	支持的设备
Unity OpenXR 插件 (Unity 2020 或 2021 LTS) (混合现实 某些设备上的某些功能所需的 OpenXR 插件)	Microsoft HoloLens 2 Windows Mixed Reality头戴显示设备 Meta Quest 通过 OpenXR 在 SteamVR 上运行的设备
Windows XR 插件	Microsoft HoloLens Microsoft HoloLens 2 Windows Mixed Reality头戴显示设备
Oculus XR 插件 (Unity 2019 或更高版本 LTS)	通过 Oculus 集成包) Meta Quest (
ARCore XR 插件	通过 AR Foundation) android (
ARKit XR 插件	通过 AR Foundation) (iOS

支持的其他设备：

• 用于手部跟踪的 Ultraleap Leap Motion 控制器

注意

我们引入了 MRTK3 的公共预览版，这是 MRTK 的下一章。 有关详细信息，请转到 MRTK3 文档。

MRTK 入门

如果你不熟悉 MRTK 或在 Unity 中混合现实开发，我们建议在设备或仿真器上安装并浏览 MRTK 示例中心示例应用程序。

下载 MRTK 示例中心应用

了解混合现实和 MRTK 提供的内容后，请安装必要的工具，并遵循我们的初学者级别HoloLens 2教程系列。

安装工具

HoloLens 2教程系列

想看看幕后发生了什么？

在 GitHub 上探索 MRTK

文档

发行说明	MRTK 概述	API 参考

生成状态

分支版	CI 状态	文档状态
main

功能区域

输入系统

手部跟踪
(HoloLens 2)

眼动跟踪
(HoloLens 2)

配置文件

手部跟踪
(Ultraleap)

UI 控件

解决

多场景
经理

空间
意识

诊断
工具

MRTK Standard着色器示例视图

演讲
& 听写

边界
系统

in-编辑器
模拟

实验的
特征

UX 构建基块

按钮
支持各种输入方法的按钮控件，包括HoloLens 2的关节手

边界控件
用于在 3D 空间中作对象的Standard UI

对象控器
用于使用一只或两只手作对象的脚本

板
支持使用关节手输入进行滚动的 2D 样式平面

系统键盘
在 Unity 中使用系统键盘的示例脚本

交互可交互
一个脚本，用于使对象可与视觉状态和主题支持交互

求解器
各种对象定位行为，例如沿标记、身体锁定、固定视图大小和表面磁力

对象集合
用于在三维形状中布局对象数组的脚本

工具提示
具有灵活的定位点/透视系统的注释 UI，可用于标记运动控制器和对象

滑块
用于调整支持直接手部跟踪交互的值的滑块 UI

MRTK Standard着色器
MRTK 的Standard着色器支持具有性能的各种 Fluent 设计元素

手部菜单
使用手部约束求解器进行快速访问的手动锁定 UI

应用栏
边界控件手动激活的 UI

指针
了解各种类型的指针

指尖可视化效果
指尖上的视觉呈现，提高了直接交互的置信度

靠近菜单”菜单
近距交互的浮动菜单 UI

空间感知视图
使全息对象与物理环境交互

语音命令
用于集成语音输入的脚本和示例

进度指示器
用于通信数据进程或作的可视指示器

对话框
用于请求用户确认或确认的 UI

手部指导
在未教手势时帮助指导用户的组件

手部物理服务 [实验]
手部物理服务可实现刚体碰撞事件并与关节手交互

滚动集合
本机滚动 3D 对象的对象集合

坞 [实验性]
Dock 允许将对象移入和移出预先确定的位置

眼动跟踪：目标选择
结合眼睛、语音和手部输入，快速轻松地选择场景中的全息影像

目视跟踪：导航
了解如何根据你正在查看的内容自动滚动文本或流畅地放大重点内容

眼动跟踪：热度地图
记录、加载和可视化用户在应用中查看的内容的示例

工具

优化窗口	依赖项窗口	生成窗口	输入录制
自动配置混合现实项目以优化性能	分析资产之间的依赖关系并识别未使用的资产	为混合现实应用程序配置和执行端到端生成过程	在编辑器中录制和播放头部移动和手部跟踪数据

示例场景

MRTK 提供了演示如何使用 MRTK 功能的示例场景。 可以在 Assets/MRTK/Examples/Demos 文件夹下找到示例场景。 阅读 示例场景 页，了解如何获取和运行示例场景。 手部交互示例场景 是开始体验 MRTK 交互和 UI 构建基块的好地方。

MRTK 示例中心

使用 MRTK 示例中心，可以在 MRTK 中尝试各种示例场景，而无需构建和部署每个场景。 可以通过在 MR 功能工具中选择“混合现实工具包示例”包，下载适用于 holoLens (x86) 、HoloLens 2 (ARM) 和 Windows Mixed Reality 沉浸式头戴显示设备 (x64) 的预生成应用包。 请确保 使用 Windows 设备门户在 HoloLens (第一代) 上安装应用 。 在 HoloLens 2，可以通过 Microsoft Store 应用下载并安装 MRTK 示例中心。

请参阅 示例中心自述文件页 ，了解有关使用 MRTK 的场景系统和场景转换服务创建多场景中心的详细信息。

使用 MRTK 制作的示例应用

元素周期表 是一个开源示例应用，演示如何使用 MRTK 的输入系统和构建基块为 HoloLens 和沉浸式头戴显示设备创建应用体验。 阅读移植故事：使用 MRTK v2 将元素应用的周期表引入HoloLens 2	Galaxy Explorer 是一个开源示例应用，最初于 2016 年 3 月开发，是 HoloLens“分享你的想法”活动的一部分。 Galaxy Explorer 已使用 MRTK v2 更新了 HoloLens 2 的新功能。 阅读故事：适用于HoloLens 2的银河资源管理器的制作	Surfaces 是一个适用于HoloLens 2的开源示例应用，探索我们如何通过视觉、音频和完全清晰的手部跟踪创建触觉。 查看Microsoft MR 开发日会议 从 Surfaces 应用学习 ，了解详细的设计和开发故事。

来自 2020 混合现实 开发日的会议视频

有关如何从头到尾创建简单的 MRTK 应用的教程。 了解交互概念和 MRTK 的多平台功能。	深入了解 MRTK 的 UX 构建基块，这些构建基块可帮助你构建漂亮的混合现实体验。	介绍 MRTK 和外部性能工具，以及 MRTK Standard着色器的概述。

请参阅混合现实开发日以浏览更多会话视频。

与社区Engage

• 加入有关 Slack 上的 MRTK 的对话。 可以通过 自动邀请发件人加入 Slack 社区。

• 提出有关使用 MRTK 标记在 Stack Overflow 上使用 MRTK 的问题 。

• 如果发现 MRTK 代码中存在损坏的内容，请搜索 已知 问题或提交 新问题 。

• 有关参与 MRTK 的问题，请转到 slack 上的 mixed-reality-toolkit 通道。

此项目采用了 Microsoft 开源代码行为准则。 有关详细信息，请参阅 行为准则常见问题解答 或联系 opencode@microsoft.com 任何其他问题或意见。

混合现实开发人员中心上的有用资源

发现	设计	开发	分发
了解如何 (VR) 为 HoloLens 和沉浸式头戴显示设备构建混合现实体验。	获取设计指南。 生成用户界面。 了解交互和输入。	获取开发指南。 了解技术。 了解科学。	让应用为其他人做好准备，并考虑创建 3D 启动器。

Azure 上的有用资源

语音服务	视觉服务
发现 Azure 支持的语音功能，并将其集成到应用程序中，例如语音转文本、说话人识别或语音翻译。	使用视觉服务（如计算机视觉、人脸检测、情感识别或视频索引器）识别和分析图像或视频内容。

如何参与

在参与中了解如何为 MRTK 做出贡献。

获取帮助

如果遇到由 MRTK 引起的问题，或者对如何执行某些作有疑问，有一些资源可以提供帮助：

• 对于 bug 报告，请在 GitHub 存储库中 提交问题 。
• 有关问题，请在 Slack 上的 StackOverflow 或 mixed-reality-toolkit 频道 上联系。 可以通过 自动邀请发件人加入 Slack 社区。