手で指し示してコミットする
手によるポイントとコミットは、ユーザーが 2D および 3D コンテンツの範囲外でターゲット、選択、操作を行うことができる入力モデルです。 人間は自然に現実世界と対話しないので、この "遠い" 相互作用手法は Mixed Reality に固有です。 たとえば、スーパーヒーロー映画「 X-Men」では、 キャラクターMagneto は遠くの物体を手で操作できます。 これは、人間が現実にできることではありません。 HoloLens (AR) と Mixed Reality (MR) の両方で、この魔法の力をユーザーに装備して、現実世界の物理的制約を打破します。 楽しいホログラフィック エクスペリエンスであるだけでなく、ユーザーの操作をより効果的かつ効率的にします。
デバイスのサポート
| 入力モデル | HoloLens (第 1 世代) | HoloLens 2 | イマーシブ ヘッドセット |
| 手で指し示してコミットする | ❌ はサポートされていません | ✔️ 推奨 | ✔️ 推奨 |
「手で指してコミットする」 は、新しい多関節ハンドトラッキングシステムを使用する新機能の1つです。 この入力モデルは、モーション コントローラーを使用したイマーシブ ヘッドセットの主要な入力モデルでもあります。
手の光線
HoloLens 2、手のひらの中央から射し出すハンドレイを作成しました。 この光線は手の延長として扱われる。 ドーナツ型のカーソルがレイの終端にアタッチされ、レイがターゲット オブジェクトと交差する位置を示します。 カーソルが置くオブジェクトは、手からジェスチャーコマンドを受け取ることができます。
この基本的なジェスチャーコマンドは、親指と人差し指を使用してエアタップアクションを実行することによってトリガーされます。 ハンド レイを使用してポイントし、エア タップを使用してコミットすることで、ユーザーはボタンまたはハイパーリンクをアクティブ化できます。 より多くの複合ジェスチャを使用すると、ユーザーは Web コンテンツをナビゲートし、遠くから 3D オブジェクトを操作できます。 ハンド レイの視覚的設計は、以下に示すように、これらのポイントとコミットの状態にも反応する必要があります。
ポインティング状態
ポインティング状態では、レイは破線で、カーソルはドーナツシェイプです。
コミット状態
コミット状態では、レイは実線に変わり、カーソルはドットに縮小します。
ニアとファーの間の遷移
「人差し指で指す」などの特定のジェスチャを使用して光線を指示する代わりに、ユーザーの手のひらの中央から外に出すように光線を設計しました。 このように、ピンチやグラブなどの操作的なジェスチャのために、5 本指をリリースして予約しました。 この設計では、1 つのメンタル モデルのみを作成します。同じハンド ジェスチャのセットは、近距離と遠方の両方の相互作用に使用されます。 同じグラブ ジェスチャを使用して、異なる距離のオブジェクトを操作できます。 レイの呼び出しは、次のように自動および近接に基づいています。
近い操作
物体が腕の長さ(約50cm)内にある場合、光線は自動的にオフになり、近くの相互作用を促します。
ファー操作
オブジェクトが 50 cm を超えると、光線がオンになります。 移行はスムーズでシームレスである必要があります。
2D スレート操作
2D スレートは、Web ブラウザーなどの 2D アプリコンテンツをホストするホログラフィック コンテナーです。 2D スレートと遠くやり取りするための設計概念は、ハンド レイを使用してターゲットを設定し、エア タップを選択する方法です。 ハンド レイでターゲットを設定した後、ユーザーはエア タップしてハイパーリンクまたはボタンをトリガーできます。 片手で「エアタップとドラッグ」を使用して、スレートコンテンツを上下にスクロールできます。 2 つの手を使ってエア タップやドラッグを行う相対モーションは、スレート コンテンツを拡大または縮小できます。
角と端でハンド レイをターゲットにすると、最も近い操作アフォーダンスが表示されます。 操作アフォーダンスを "つかんでドラッグ" することで、ユーザーはコーナー アフォーダンスを通して均一なスケーリングを行うことができ、エッジ アフォーダンスを介してスレートをリフローできます。 2D スレートの上部にある Holo バーをつかんでドラッグすると、ユーザーはスレート全体を移動できます。
Click
Scroll
拡大
2D スレートを操作する場合
- ユーザーは、手の光線を角または端に向けて、最も近い操作アフォーダンスを明らかにします。
- アフォーダンスに操作ジェスチャを適用することで、ユーザーはコーナー アフォーダンスを通じて均一なスケーリングを行うことができ、エッジ アフォーダンスを介してスレートをリフローできます。
- 2D スレートの上部にある holobar に操作ジェスチャを適用することで、ユーザーはスレート全体を移動できます。
3D オブジェクト操作
直接操作では、ユーザーが 3D オブジェクトを操作するには、アフォーダンス ベースの操作と非アフォーダンス ベースの操作の 2 つの方法があります。 ポイントアンドコミットモデルでは、ユーザーは手の光線を通してまったく同じタスクを達成できます。 余分な学習は必要ありません。
アフォーダンスベースの操作
ユーザーは、手の光線を使用して境界ボックスと操作アフォーダンスを指し示します。 ユーザーは、境界ボックスに操作ジェスチャを適用してオブジェクト全体を移動し、エッジ アフォーダンスを回転させ、コーナー アフォーダンスで均一にスケーリングできます。
Move
Rotate
Scale
非アフォーダンスベースの操作
ユーザーは手の光線をポイントして境界ボックスを明らかにし、その上に操作ジェスチャを直接適用します。 片手では、オブジェクトの移動と回転が手の動きと向きに関連付けられます。 2 つの手で、ユーザーは 2 つの手の相対的な動きに従って、それを翻訳、スケーリング、回転させることができます。
本能的なジェスチャー
ポイントとコミットの本能的なジェスチャの概念は、 手による直接操作の場合と似ています。 ユーザーが 3D オブジェクトで実行するジェスチャは、UI アフォーダンスの設計によって導かれます。 たとえば、小さなコントロール ポイントを使用すると、ユーザーが親指と人差し指でピンチするように促す一方で、ユーザーは 5 本指をすべて使用して大きなオブジェクトをつかみたい場合があります。
Small オブジェクト
Medium オブジェクト
大きなオブジェクト
手と 6 DoF コントローラー間の対称設計
遠距離相互作用のポイントとコミットの概念は、Mixed Reality ポータル (MRP) に対して作成および定義されました。 このシナリオでは、ユーザーはイマーシブ ヘッドセットを装着し、モーション コントローラーを介して 3D オブジェクトと対話します。 モーション コントローラーは、遠くのオブジェクトを指し示したり操作したりするために光線を撃ち出します。 コントローラーには、さまざまなアクションをさらにコミットするためのボタンがあります。 光線の相互作用モデルを適用し、それらを両手に取り付けます。 この対称設計では、MRP に精通しているユーザーは、HoloLens 2を使用する場合や、その他の方法で遠くを指し示したり操作したりするための別の相互作用モデルを学習する必要はありません。
コントローラー レイ
手の光線
UNITY用 MRTK (Mixed Reality ツールキット) のハンド レイ
既定では、MRTK は、シェルのシステム ハンド レイと同じ視覚的状態を持つハンド レイ プレハブ (DefaultControllerPointer.prefab) を提供します。 MRTK の入力プロファイルの [ポインター] で割り当てられます。 イマーシブ ヘッドセットでは、モーション コントローラーに同じ光線が使用されます。