Mixed Reality Toolkit 2 とは

MRTK-Unity は、Unity でのクロスプラットフォーム MR アプリ開発を加速するために使用される一連のコンポーネントと機能を提供する Microsoft 主導のプロジェクトです。 その機能の一部を次に示します。

• クロスプラットフォームの入力システムと、空間インタラクションおよび UI の構成要素を提供します。
• 変更をすぐに確認できるエディター内シミュレーションにより、迅速なプロトタイピングを可能にします。
• 拡張可能なフレームワークとして動作し、開発者がコア コンポーネントを交換できるようにします。
• 幅広いデバイスをサポートします。

XR SDK プラグイン (Unity XR プラグイン管理プラグイン プロバイダー)	サポートしているデバイス
Unity OpenXR プラグイン (Unity 2020 または 2021 LTS) (特定のデバイスの特定の機能には、Mixed Reality OpenXR プラグインが必要)	Microsoft HoloLens 2 Windows Mixed Reality ヘッドセット Meta Quest OpenXR 経由で SteamVR で実行されているデバイス
Windows XR プラグイン	Microsoft HoloLens Microsoft HoloLens 2 Windows Mixed Reality ヘッドセット
Oculus XR プラグイン (Unity 2019 以降の LTS)	Meta Quest (Oculus Integration Package 経由)
ARCore XR プラグイン	Android (AR Foundation 経由)
ARKit XR プラグイン	iOS (AR Foundation 経由)

サポートされているその他のデバイス:

• ハンド トラッキング用の Ultraleap Leap Motion コントローラー

注:

次世代の MRTK である MRTK3 のパブリック プレビューを導入しました。 詳細については、MRTK3 のドキュメントを参照してください。

MRTK の概要

Unity で MRTK または Mixed Reality 開発を初めて行う場合は、お使いのデバイスまたはエミュレーターに MRTK Examples Hub サンプル アプリケーションをインストールして試してみることをお勧めします。

MRTK Examples Hub アプリをダウンロードする

Mixed Reality と MRTK が提供する機能に慣れたら、必要なツールをインストールし、初心者向けの HoloLens 2 チュートリアル シリーズに従ってください。

ツールのインストール

HoloLens 2 チュートリアル シリーズ

内部で何が起こっているかを確認したいですか?

GitHub で MRTK を探索する

ドキュメント

リリース ノート	MRTK の概要	API リファレンス

ビルドの状態

Branch	CI の状態	ドキュメントの状態
main

機能領域

入力システム

ハンド トラッキング
(HoloLens 2)

視線追跡
(HoloLens 2)

プロファイル

ハンド トラッキング
(Ultraleap)

UI コントロール

ソルバー

マルチシーン
マネージャー

空間
認識

診断
ツール

MRTK Standard シェーダーのサンプル ビュー

音声認識
とディクテーション

境界
システム

エディター内
シミュレーション

実験的な
機能

UX 構成要素

ボタン
HoloLens 2 のアーティキュレート ハンドを含む、さまざまな入力方法をサポートするボタン コントロール

境界コントロール
3D 空間でオブジェクトを操作するための標準 UI

オブジェクト マニピュレーター
片手または両手でオブジェクトを操作するためのスクリプト

スレート
アーティキュレート ハンド入力でスクロールをサポートする 2D スタイルの平面

システム キーボード
Unity でシステム キーボードを使用するサンプル スクリプト

インタラクタブル
ビジュアル状態とテーマのサポートを使用してオブジェクトを操作可能にするためのスクリプト

ソルバー
タグアロング、ボディロック、一定のビュー サイズ、表面吸着など、さまざまなオブジェクト配置の動作

オブジェクト コレクション
3 次元図形内のオブジェクトの配列をレイアウトするためのスクリプト

ヒント
柔軟なアンカー/ピボット システムを備えた注釈 UI。モーション コントローラーとオブジェクトのラベル付けに使用できます

スライダー
直接的なハンド トラッキング操作をサポートする値を調整するためのスライダー UI

MRTK Standard シェーダー
MRTK の標準シェーダーは、パフォーマンスを保ちながら、さまざまな Fluent デザイン要素をサポートします

ハンド メニュー
Hand Constraint Solver を使用して、すばやくアクセスするためのハンド ロック UI

アプリ バー
境界コントロールの手動アクティブ化の UI

ポインター
さまざまな種類のポインターに関する詳細情報

指先の視覚化
直接操作の信頼性を向上させる指先の視覚的なアフォーダンス

ニア メニュー
近くのインタラクション用のフローティング メニュー UI

空間認識ビュー
ホログラフィック オブジェクトを物理環境とインタラクトさせる

音声コマンド
音声入力を統合するためのスクリプトと例

進行状況インジケーター
データ処理または操作を伝えるための視覚的なインジケーター

ダイアログ
ユーザーの確認または同意を求める UI

ハンド コーチ
ジェスチャーが教えられていない場合にユーザーをガイドするコンポーネント

ハンド フィジックス サービス [試験的]
ハンド フィジックス サービスにより、剛体衝突イベントとアーティキュレート ハンドとのインタラクションが可能になります

スクロール コレクション
3D オブジェクトをネイティブにスクロールするオブジェクト コレクション

ドック [試験的]
ドックを使用すると、オブジェクトを所定の位置に移動させたり、そこから出したりすることできます

視線追跡: ターゲットの選択
視線、音声、手による入力を組み合わせて、シーン全体でホログラムをすばやく簡単に選択します

視線追跡: ナビゲーション
見ているものに基づいて、テキストを自動スクロールしたり、フォーカスされたコンテンツにスムーズにズームインしたりする方法の詳細情報

視線追跡: ヒート マップ
アプリでユーザーが見ているものをログとして記録、読み込み、可視化する例

ツール

最適化ウィンドウ	依存関係ウィンドウ	ビルド ウィンドウ	入力記録
パフォーマンスを最適化するために Mixed Reality プロジェクトの構成を自動化します	資産間の依存関係を分析し、未使用の資産を特定します	Mixed Reality アプリケーションのエンド ツー エンドのビルド プロセスを構成して実行します	エディターで頭の動きとハンド トラッキング データを記録して再生します

サンプル シーン

MRTK には、MRTK の機能の使用方法を示すサンプル シーンが用意されています。 サンプル シーンは、Assets/MRTK/Examples/Demos フォルダーにあります。 サンプル シーンを取得して実行する方法については、「サンプル シーン」ページを参照してください。 ハンド インタラクションのサンプル シーンは、MRTK のインタラクションと UI の構成要素を体験するのに最適な場所です。

MRTK Examples Hub

MRTK Examples Hub を使用すると、各シーンをビルドして展開することなく、MRTK のさまざまなサンプル シーンを試すことができます。 MR Feature Tool で "Mixed Reality Toolkit Examples" パッケージを選択すると、HoloLens (x86)、HoloLens 2 (ARM)、Windows Mixed Reality イマーシブ ヘッドセット (x64) 用のビルド済みアプリ パッケージをダウンロードできます。 HoloLens (第 1 世代) にアプリをインストールするには、必ず Windows デバイス ポータルを使用してください。 HoloLens 2 では、Microsoft Store アプリを使用して MRTK Examples Hub をダウンロードしてインストールできます。

MRTK のシーン システムとシーン遷移サービスを使用してマルチシーン ハブを作成する詳細については、Examples Hub の Readme ページを参照してください。

MRTK で作成されたサンプル アプリ

Periodic Table of the Elements は、MRTK の入力システムと構成要素を使用して HoloLens とイマーシブ ヘッドセットのアプリ エクスペリエンスを作成する方法を示すオープンソースのサンプル アプリです。 移植ストーリーを読む: MRTK v2 を使用して Periodic Table of the Elements アプリを HoloLens 2 に移植	Galaxy Explorer は、元は 2016 年 3 月に HoloLens の "Share Your Idea" キャンペーンの一環として開発されたオープン ソースのサンプル アプリです。 Galaxy Explorer は、MRTK v2 を使用して HoloLens 2 用の新機能で更新されています。 ストーリーを読む: HoloLens 2 用の Galaxy Explorer の作成	Surface は、HoloLens 2 用のオープン ソースのサンプル アプリで、ビジュアル、オーディオ、完全なアーティキュレート ハンド トラッキングを使用して、触覚的な感覚をどのように作り出せるかを探求しています。 詳細な設計と開発のストーリーについては、 Microsoft MR Dev Days のセッション Surface アプリからの学習をご覧ください。

Mixed Reality Dev Days 2020 のセッション ビデオ

シンプルな MRTK アプリをゼロから完成まで作成する方法に関するチュートリアル。 インタラクションの概念と MRTK のマルチプラットフォーム機能について学びます。	美しい Mixed Reality エクスペリエンスの構築に役立つ MRTK の UX 構成要素について詳しく説明します。	MRTK 内部および外部のパフォーマンス ツールの概要と、MRTK Standard シェーダーの概要。

その他のセッション ビデオについては、Mixed Reality Dev Days をご覧ください。

コミュニティに参加する

• Slack で MRTK に関する会話に参加してください。 Slack コミュニティには、自動招待送信者を使用して参加できます。

• MRTK タグを使用した Stack Overflow での MRTK の使用について質問します。

• MRTK コードに問題がある場合は、既知の問題を検索するか、新しい問題を報告します。

• MRTK への投稿に関する質問については、Slack の mixed-reality-toolkit チャネルにアクセスしてください。

このプロジェクトは、Microsoft オープンソース倫理規定 を採用しています。 詳細については、「Code of Conduct FAQ」 (倫理規定に関するよくある質問) を参照するか、追加の質問やコメントがある場合は opencode@microsoft.com にお問い合わせください。

Mixed Reality デベロッパー センターの便利なリソース

発見	デザイン	開発	配布
HoloLens とイマーシブ ヘッドセット (VR) 用の Mixed Reality エクスペリエンスを構築する方法について学びます。	デザイン ガイドを入手します。 ユーザー インターフェイスを構築します。 インタラクションと入力について学びます。	開発ガイドを入手します。 テクノロジーについて学びます。 科学について理解します。	他のユーザーのためにアプリを準備し、3D 起動ツールの作成を検討します。

Azure で役立つリソース

音声認識サービス	ビジョン サービス
音声テキスト変換、話者認識、音声翻訳などの Azure を利用した音声機能をを検出し、アプリケーションに統合します。	コンピューター ビジョン、顔検出、感情認識、ビデオ インデクサーなどのビジョン サービスを使用して、画像またはビデオ コンテンツを特定して分析します。

投稿する方法

MRTK に投稿する方法については、投稿に関するページをご覧ください。

ヘルプの取得

MRTK によって問題が発生した場合や、何かを実行する方法について質問がある場合に役立つリソースがいくつかあります。

• バグ レポートについては、GitHub リポジトリで問題を報告してください。
• 質問がある場合は、StackOverflow または Slack の mixed-reality-toolkit チャネルにお問い合わせください。 Slack コミュニティには、自動招待送信者を使用して参加できます。