相互作用モデル
Mixed Reality Toolkit を使用すると、コントローラー、多関節ハンド、音声など、さまざまな入力ソースからの入力を使用できます。 Mixed Reality エクスペリエンスに最適な相互作用モデルを選択するには、ユーザーとその目標を特定し、エクスペリエンスに影響する可能性のある状況的または環境的要因を考慮する必要があります。 ここでは、Mixed Reality エクスペリエンスの 3 つの主要な相互作用モデルと、Unity で入力をシミュレートする方法について学習します。
相互作用モデル
Mixed Reality エクスペリエンスの大部分に対応する 3 つの主要な相互作用モデルがあります。
| モデル | シナリオの例 | 適合性 |
|---|---|---|
| 手とモーション コントローラー | 空間レイアウト、デザイン、コンテンツ操作、シミュレーションなどの 3D 空間エクスペリエンス。 | 音声、視線追跡、頭の視線入力と組み合わせると、新しいユーザーに最適。 習得が容易。 ハンド トラッキングと 6DoF コントローラーの間で一貫した UX。 |
| ハンズフリー | ユーザーの手がある場所のコンテキスト エクスペリエンス (実地学習やメンテナンスなど)。 | いくらかの学習が必要。 手を使用できない場合、デバイスは音声および自然言語と問題なく結合されます。 |
| 視線入力とコミット | クリックスルー エクスペリエンス (3D プレゼンテーション、デモなど)。 | ヘッドマウント デバイスの場合はトレーニングが必要ですが、モバイルでは必要ありません。 アクセス可能なコントローラーに最適。 |
複数の相互作用モデルの一部を Mixed Reality エクスペリエンスに組み合わせることもできますが、そうすると、ハンド レイとヘッド視線カーソルの同時使用など、ユーザー入力の競合が発生する可能性があることに注意してください。 これにより、ユーザーが混乱する可能性があります。
エクスペリエンスに複数の相互作用モデルが必要な場合は、あるモデルから別のモデルに移行するときに、多くのユーザー (特に Mixed Reality を初めて使用するユーザー) が難しく感じる可能性があることに注意してください。
手とモーション コントローラー モデル
手とモーション コントローラー モデルでは、ユーザーは片手または両手を使用して、ホログラフィックの世界と対話する必要があります。 このモデルでは、仮想と物理の間の境界がなくなります。
いくつかの具体的なシナリオとしては、次のものがあります。
- コンテンツを表示および制御する UI アフォーダンスを使用してインフォメーション ワーカーに 2D 仮想画面を提供する
- 工場の組み立てラインに関するチュートリアルとガイドをフロントライン ワーカーに提供する
- 医療プロフェッショナルを支援および教育するためのプロフェッショナルなツールを開発する
- 3D 仮想オブジェクトを使用して実世界を装飾する、またはもう 1 つの世界を創造する
- 現実世界を背景として使用して、場所ベースのサービスとゲームを作成する
手とモーション コントローラーのモダリティには、次の 3 つがあります。
- 手による直接操作
- 手によるポイントとコミット
- モーション コントローラー
ハンズフリー モデル
ハンズフリー モデルを使うと、ユーザーは自分の手を使わずにホログラフィック コンテンツを操作できます。 この方法は、ユーザーが実世界の目標を達成するために自分の手を使用する必要があり、手とコントローラーをベースとするインターフェイスを操作するのが困難な場合に使用するのに最適です。
いくつかの具体的なシナリオとしては、次のものがあります。
- ユーザーの手がふさがっているときにタスクを誘導する
- ユーザーの手がふさがっているときに資料を参照する
- 手の疲労
- 追跡できない手袋
- 手で何かを運んでいる
- 大きな手ぶりを行うことが状況的に困難である
- 狭いスペース
ハンズフリーのモダリティには、次の 2 つがあります。
- 音声入力
- 視線入力とドウェル
視線入力とコミット
視線入力とコミットは、マウスを使用してポイントし、クリックしてコンピューターを操作する方法と密接な関係がある入力モデルです。 視線入力とコミットは、間接的な操作による遠方入力モデルと見なされます。 このため、手の届かないホログラフィック コンテンツを操作する場合は、視線入力とコミットを使用することをお勧めします。 2 種類の視線入力 (頭の視線入力と目の視線入力) と、さまざまなコミット アクションがあります。
ユーザーは、視線入力を使用して対象のオブジェクトまたは UI 要素を選択した後、セカンダリ入力を使用して操作したり、選んだりすることができます。 これは、入力モデルのコミット ステップと呼ばれます。 コミット方法には、音声コマンド、ボタンの押下、手ぶりがあります。
Unity エディター内入力シミュレーション
Unity エディター内入力シミュレーションを使用すると、手または視線による操作を使用する場合のホログラフィック オブジェクトの動作をテストすることができます。
シーン内を移動する方法:
- カメラを前/左/後/右方向に移動するには、W/A/S/D キーを使用します。
- Q/E キーを使ってカメラを垂直方向に動かします。
- カメラを回転させるには、マウスの右ボタンを長押しします。
手入力をシミュレートする方法:
- 右手を有効にするには、スペース バーを長押しします。
- スペース バーを押しながら、マウスを移動して手を移動します。
- 手の奥行きを調整するには、マウスのスクロール ホイールを使用します。
- ピンチ ジェスチャをシミュレートするには、マウスの左ボタンをクリックします。
- 手をビューに保持するには、T/Y キーを使用します。
- 手を回転させるには、CTRL キーを押したままマウスを移動します。
- 左手を有効にするには、左 Shift キーを長押しします。