什麼是混合實境工具組 2?
MRTK-Unity 是由 Microsoft 所推動的專案,其提供一組元件與功能,可用來加快 Unity 中的跨平台 MR 應用程式開發。 以下是其中的一些功能:
- 提供空間互動和UI的跨平臺輸入系統和建置組塊。
- 透過編輯器內模擬啟用 快速原型設計 ,讓您能夠立即看到變更。
- 以可延伸架構的形式運作,讓開發人員能夠交換核心元件。
- 支援各種裝置:
XR SDK 外掛程式 (Unity XR 外掛程式管理外掛程式提供者) | 支援的裝置 |
---|---|
Unity OpenXR 外掛程式 (Unity 2020 或 2021 LTS) (特定裝置上特定功能所需的混合實境 OpenXR 外掛程式) |
Microsoft HoloLens 2 Windows Mixed Reality 頭戴式裝置 Meta Quest 透過OpenXR在 SteamVR 上執行的裝置 |
Windows XR 外掛程式 | Microsoft HoloLens Microsoft HoloLens 2 Windows Mixed Reality 頭戴式裝置 |
Unitys XR 外掛程式 (Unity 2019 或更新的 LTS) | Meta Quest (透過 Xmls 整合套件) |
ARCore XR 外掛程式 | Android (透過 AR Foundation) |
ARKit XR 外掛程式 | iOS (透過 AR Foundation) |
XR SDK 外掛程式 (Unity XR 外掛程式管理外掛程式提供者) | 支援的裝置 |
---|---|
Unity OpenXR 外掛程式 (MRTK 2.6、Unity 2020 或 2021 LTS 中的預覽版) (特定裝置上特定功能所需的混合實境 OpenXR 外掛程式) |
Microsoft HoloLens 2 Windows Mixed Reality 頭戴式裝置 Meta Quest 透過OpenXR在 SteamVR 上執行的裝置 |
Windows XR 外掛程式 | Microsoft HoloLens Microsoft HoloLens 2 Windows Mixed Reality 頭戴式裝置 |
Unitys XR 外掛程式 (Unity 2019 或更新的 LTS) | Meta Quest (透過 Xmls 整合套件) |
ARCore XR 外掛程式 | Android (透過 AR Foundation) |
ARKit XR 外掛程式 | iOS (透過 AR Foundation) |
支援的其他裝置:
- 用於手部追蹤的 Ultraleap Leap Motion 控制器
注意
我們已介紹 MRTK3 的公開預覽,這是 MRTK 的下一章。 如需詳細資訊,請移至 MRTK3 檔。
開始使用 MRTK
如果您不熟悉 Unity 中的 MRTK 或混合實境開發,建議您在裝置或 模擬器上安裝並探索 MRTK 範例中樞範例應用程式。
一旦您擁有混合實境和 MRTK 所提供的功能,請安裝必要的工具,並遵循我們的初學者等級 HoloLens 2 教學課程系列。
想看看幕後發生了什麼?
文件集
版本資訊 |
MRTK 概觀 |
API 參考 |
---|
組建狀態
分支 | CI 狀態 | 檔狀態 |
---|---|---|
main |
功能區域
UX 建置組塊
按鈕
支援各種輸入方法的按鈕控件,包括 HoloLens 2 的交接式手
界限控件
在 3D 空間中操作對象的標準 UI
物件操作工具
使用一或兩隻手操作對象的腳本
平板
2D 樣式平面,支援使用關節式手部輸入進行捲動
系統鍵盤
在 Unity 中使用系統鍵盤的範例腳本
可互動
讓物件與視覺狀態和主題支援互動的腳本
Solver
各種物件定位行為,例如標籤、身體鎖定、常數檢視大小和表面磁力
物件集合
在三維圖案中配置對象的陣列腳本
Tooltip
具有彈性錨點/樞紐系統的註釋 UI,可用於標記運動控制器和物件
滑桿
調整支援直接手部追蹤互動值的滑桿 UI
MRTK 標準著色器
MRTK 的標準著色器支援具有效能的各種 Fluent 設計元素
手部功能表
使用手部條件約束規劃求解快速存取的手動鎖定 UI
應用程式行
界限控件手動啟用的UI
指標
瞭解不同類型的指標
指尖視覺效果
指尖上的視覺能供性,可改善直接互動的信心
靠近功能表
接近互動的浮動功能表UI
空間感知檢視
讓您的全像攝影物件與實體環境互動
語音命令
整合語音輸入的腳本和範例
進度指標
用於通訊數據處理程式或作業的視覺指標
對話方塊
要求使用者確認或確認的UI
手勢指導
元件,可協助在未教導手勢時引導使用者
手物理服務 [實驗性]
手物理服務可讓僵硬的身體碰撞事件和與關節手的互動
捲動集合
原生卷動 3D 物件的物件集合
停駐 [實驗性]
Dock 允許將物件移入和移出預先決定的位置
眼球追蹤:目標選取
結合眼睛、語音和手部輸入,以快速且毫不費力地跨場景選取全像投影
眼球追蹤:流覽
瞭解如何根據您查看的內容自動捲動文字或流暢地放大焦點內容
眼球追蹤:熱度圖
記錄、載入和可視化使用者在應用程式中查看的範例
工具
優化視窗 | 相依性視窗 | 建置視窗 | 輸入錄製 |
---|---|---|---|
自動設定混合實境專案以達到效能優化 | 分析資產之間的相依性,並識別未使用的資產 | 設定和執行混合實境應用程式的端對端建置程式 | 在編輯器中錄製和播放頭部移動和手部追蹤數據 |
範例場景
MRTK 提供示範如何使用 MRTK 功能的範例場景。 您可以在 Assets/MRTK/Examples/Demos 資料夾下找到範例場景。 閱讀範例 場景 頁面,瞭解如何取得和執行範例場景。 手部互動範例場景 是開始體驗 MRTK 互動和 UI 建置組塊的絕佳位置。
MRTK 範例中樞
透過 MRTK 範例中樞,您可以嘗試 MRTK 中的各種範例場景,而不需建置及部署每個場景。 您可以藉由在 MR 功能工具中選取 [混合實境工具組範例] 套件,下載 HoloLens(x86)、HoloLens 2(ARM) 和 Windows Mixed Reality 沉浸式頭戴式裝置(x64) 的預先建置應用程式套件。 請務必使用 Windows 裝置入口網站在 HoloLens 上安裝應用程式(第 1 代)。 在 HoloLens 2 上,您可以透過 Microsoft Store 應用程式下載並安裝 MRTK 範例中樞。
請參閱 範例中樞自述文件頁面 ,以瞭解使用 MRTK 場景系統和場景轉換服務建立多場景中樞的詳細數據。
使用 MRTK 建立的範例應用程式
元素 的週期表是開放原始碼範例應用程式,示範如何使用 MRTK 的輸入系統和建置組塊來建立 HoloLens 和沈浸式頭戴式裝置的應用程式體驗。 閱讀移植故事: 使用 MRTK v2 將元素應用程式的週期數據錶帶入 HoloLens 2 | Galaxy Explorer 是一個開放原始碼範例應用程式,最初是在 2016 年 3 月開發,作為 HoloLens「分享您的想法」活動的一部分。 Galaxy Explorer 已使用 MRTK v2 更新 HoloLens 2 的新功能。 閱讀故事: 為 HoloLens 製作銀河總管 2 | Surfaces 是適用於 HoloLens 2 的開放原始碼範例應用程式,可探索如何使用視覺、音訊和完全清楚的手部追蹤來建立觸覺感覺。 如需詳細的設計和開發案例,請參閱從 Surfaces 應用程式的Microsoft MR Dev Days 研討會學習。 |
混合實境開發日 2020 的會話影片
如何從頭到尾建立簡單 MRTK 應用程式的教學課程。 了解互動概念和 MRTK 的多平臺功能。 | 深入探討 MRTK 的 UX 建置組塊,以協助您建置美觀的混合實境體驗。 | 簡介 MRTK 中和外部的效能工具,以及概述 MRTK 標準著色器。 |
若要探索更多會話影片,請參閱 混合實境開發日 。
與社群互動
在 Slack 上加入 MRTK 周圍的交談。 您可以透過 自動邀請寄件者加入 Slack 社群。
使用 MRTK 標記詢問在 Stack Overflow 上使用 MRTK 的問題。
如需有關參與 MRTK 的問題,請移至 Slack 上的混合實境工具組 通道。
此專案採用了 Microsoft 開放原始碼管理辦法。 如需詳細資訊,請參閱管理辦法常見問題集,如有其他問題或意見,請連絡 opencode@microsoft.com。
混合實境 開發人員中心 上的實用資源
發現 | 設計 | 發展 | 分發 |
---|---|---|---|
瞭解如何為 HoloLens 和沉浸式頭戴式裝置 (VR) 建置混合實境體驗。 | 取得設計指南。 建置使用者介面。 瞭解互動和輸入。 | 取得開發指南。 了解技術。 了解科學。 | 準備好您的應用程式以供其他人使用,並考慮建立 3D 啟動器。 |
Azure 上的實用資源
空間錨點 |
語音服務 | 視覺服務 |
---|---|---|
Spatial Anchors 是一項跨平台服務,可讓您使用物件建立混合實境體驗,這些物件會隨著時間在裝置之間保存其位置。 | 探索及整合 Azure 提供的語音功能,例如語音轉換文字、說話者辨識或語音翻譯至您的應用程式。 | 使用視覺服務識別並分析您的影像或視訊內容,例如電腦視覺、臉部偵測、表情辨識或影片索引器。 |
如何投稿
瞭解如何在參與中參與 MRTK。
取得說明
如果您遇到 MRTK 所造成的問題,或有關於如何執行某些動作的問題,有幾個資源可以協助:
- 針對 Bug 報告,請在 GitHub 存放庫提出問題 。
- 如需問題,請在 Slack 上的 StackOverflow 或 混合實境工具組通道 上連絡。 您可以透過 自動邀請寄件者加入 Slack 社群。