HoloLens 2に対する視線視線入力ベースの相互作用
HoloLens 2のエキサイティングな新機能の 1 つは、視線追跡です。 [HoloLens 2の視線追跡] ページで、各ユーザーが調整を行う必要性について説明し、開発者向けのガイダンスを提供し、視線追跡のユース ケースを強調表示しました。 視線入力はまだ新しい種類のユーザー入力であり、学習する必要があります。
視線入力は Holographic Shell エクスペリエンス (HoloLens 2の起動時に表示されるユーザー インターフェイス) でのみ使用されますが、"HoloLens Playground" などのいくつかのアプリでは、視線入力がホログラフィック エクスペリエンスの魔法にどのように追加できるかについての優れた例が紹介されています。 このページでは、ホログラフィック アプリケーションと対話するための視線入力を統合するための設計上の考慮事項について説明します。
主な利点と、視線入力に伴う固有の課題について学習します。 これらに基づいて、満足のいく視線入力でサポートされるユーザー インターフェイスを作成するのに役立ついくつかの設計上の推奨事項が提供されます。
デバイスのサポート
| 機能 | HoloLens (第 1 世代) | HoloLens 2 | イマーシブ ヘッドセット |
| 視線入力 | ❌ | ✔️ | ❌ |
頭と目の追跡設計の概念のデモ
頭部と目の追跡の設計の概念を実際に確認する場合は、以下の「ホログラムの設計 - ヘッド トラッキングと視線追跡」のビデオ デモをチェックしてください。 完了したら、引き続き具体的なトピックについて詳しく説明します。
このビデオは、"ホログラムの設計" HoloLens 2 アプリから撮影されました。 完全なエクスペリエンスをダウンロードして、ここでお楽 しみください。
視線入力の設計ガイドライン
動きの速い視線ターゲティングを利用したインタラクションの構築は困難な場合があります。 このセクションでは、アプリケーションを設計するときに考慮すべき主な利点と課題についてまとめます。
視線入力の利点
高速ポインティング。 目の筋肉は、人体で最も速く反応する筋肉です。
低い労力。 ほとんど物理的な動きは必要ありません。
暗黙的。 多くの場合、ユーザーによって "心の読み取り" と記述されます。ユーザーの目の動きに関する情報により、ユーザーが関与する予定のターゲットをシステムに認識できます。
代替入力チャネル。 視線入力は、手と目の調整に基づくユーザーからの長年の経験に基づいて、手と音声の入力に強力なサポート入力を提供できます。
視覚的な注意。 もう 1 つの重要な利点は、ユーザーが注意を払っていることを推測する可能性です。 これは、さまざまな設計のより効果的な評価から、よりスマートなユーザー インターフェイスやリモート通信のための強化されたソーシャル キューの支援まで、さまざまなアプリケーション領域で役立ちます。
簡単に言うと、入力として視線入力を使用すると、迅速かつ簡単なコンテキスト入力信号が提供されます。 これは、 音声 や 手動 入力などの他の入力と組み合わせてユーザーの意図を確認する場合に強力です。
入力としての視線入力の課題
目の視線入力は満足のいくユーザー エクスペリエンスを作成するために使用できますが、これはスーパーヒーローのように感じられますが、これを適切に説明するのが得意ではないことを知ることも重要です。 次の一覧では、視線入力を操作するときに考慮すべき いくつかの課題 と対処方法について説明します。
視線入力が "常にオン" 目の蓋を開けた瞬間、目は環境内の物に固定し始めます。 あなたが行うすべての外観に反応し、誤ってアクションを発行すると、あまりにも長い間何かを見たので、満足できない経験になります。 視線入力と 音声コマンド、 手のジェスチャ、 ボタンのクリック 、または拡張ドウェルを組み合わせてターゲットの選択をトリガーすることをお勧めします (詳細については、「 視線入力とコミット」を参照してください)。 このソリューションでは、ユーザーが何かを思わずトリガーすることで圧倒されることなく、自由に見回すことができるモードも可能になります。 この問題は、ターゲットを見るときに視覚的および聴覚的なフィードバックを設計する際にも考慮する必要があります。 すぐにポップアウト効果やホバーサウンドでユーザーを圧倒しないようにしてください。 微妙さが鍵です。 設計に関する推奨事項については、以下でさらにこのベスト プラクティスについて説明 します。
監視と制御 壁の写真を正確にまっすぐにしたいとします。 境界線とその周囲を見て、うまく揃っているかどうかを確認します。 次に、視線入力を入力として使用して画像を移動する場合に、それを行う方法を想像してください。 難しいですね。 入力と制御の両方に必要な場合の視線入力の二重ロールについて説明します。
クリックする前に、次の手順を実行します。 簡単なターゲット選択のために、調査では、ユーザーの視線入力は手動クリック (エアタップなど) を終了する前に移動できることを示しています。 高速視線入力を低速のコントロール入力 (音声、手、コントローラーなど) と同期することに特に注意してください。
小さなターゲット: 少し小さすぎて快適に読めないテキストを読もうとしたときの気持ちを知っていますか? 目に対するこの緊張感は、目をより良く焦点を合わせて再調整しようとするので、疲れて疲れた感じを引き起こす可能性があります。 これは、ユーザーが目のターゲットを使用してアプリケーションで小さすぎるターゲットを強制的に選択するときに呼び出す可能性がある感覚です。 設計上、ユーザーにとって快適で快適なエクスペリエンスを作成するには、ターゲットを少なくとも 2° の視覚的角度 (できれば大きい方) にすることをお勧めします。
不規則な視線入力の動き 私たちの目は、固定から固定への迅速な動きを行います。 記録された目の動きのスキャン パスを見ると、不規則に見えることがわかります。 頭の視線入力や手の動きと比較して、目は素早く自然にジャンプします。
信頼性の追跡: 視線追跡精度は、目が新しい条件に合わせて調整されるため、光の変化に少し低下する可能性があります。 これは必ずしもアプリケーション設計に影響を与えるわけではありませんが、精度は 2° の制限内にある必要があるため、ユーザーが再度調整することが必要な場合があります。
設計に関する推奨事項
以下は、視線入力に関する説明されている利点と課題に基づく特定の設計上の推奨事項の一覧です。
視線入力は頭の視線入力と同じではありません。
高速で不規則な目の動きが入力タスクに適合するかどうかを検討します 。高速で不規則な視線移動は、視野全体でターゲットをすばやく選択する場合に最適ですが、スムーズな入力軌跡 (描画や囲み込み注釈など) を必要とするタスクには適しません。 この場合、手または頭の指し指しが好ましい必要があります。
ユーザーの視線入力 (スライダーやカーソルなど) に何かを直接アタッチしないようにします。 カーソルを使用すると、投影された視線入力信号のわずかなオフセットが原因で、"逃げカーソル" 効果が発生する可能性があります。 スライダーを使用すると、目でスライダーを制御する二重の役割と競合しながら、オブジェクトが正しい場所にあるかどうかをチェックすることもできます。 スライダーの例では、目の視線入力を手のジェスチャと組み合わせて使用する方が理にかなっています。 つまり、ユーザーは多くのスライダーをすばやく簡単に切り替え、手を上げ、親指と人差し指をつまんでつかんで移動することができます。 ピンチが解除されると、スライダーは移動を停止します。 特にそのユーザーのシグナルが不正確な場合、ユーザーは圧倒され、気が散る可能性があります。
目の視線入力を他の入力と組み合わせる: 手のジェスチャ、音声コマンド、ボタンの押下など、視線追跡と他の入力の統合には、いくつかの利点があります。
自由観察を許可する:私たちの目のメイン役割は、環境を観察することですが、ユーザーはフィードバックやアクション (視覚、聴覚など) をトリガーすることなく、周りを見渡すことができるようにすることが重要です。 視線追跡を別の入力コントロールと組み合わせることで、視線追跡観察モードと入力コントロール モード間のスムーズな切り替えが可能になります。
強力なコンテキスト プロバイダー: 音声コマンドを言っている間、または手のジェスチャを使用して、ユーザーが見ている場所と内容に関する情報を使用すると、フィールドオブビュー全体で入力をシームレスにチャネリングできます。 たとえば、ターゲットとその目的の宛先を見て、ホログラムをすばやく流暢に選択してシーン全体に配置するには 、「そこに配置する」と します。
マルチモーダル入力を同期する必要があります。 長い音声コマンドや手のジェスチャなど、より複雑な入力と迅速な目の動きを組み合わせると、追加の入力コマンドが完了して認識される前に、ユーザーが既に見回し続けるリスクが伴います。 独自の入力コントロール (カスタム ハンド ジェスチャなど) を作成する場合は、この入力の開始またはおおよその期間をログに記録して、ユーザーが過去に見た内容と関連付けます。
視線追跡入力の微妙なフィードバック: ターゲットが見られるときにフィードバックを提供して、システムが意図したとおりに動作しているが、微妙に保たれる必要があることを示すと便利です。 これには、ゆっくりとブレンドインとアウト、視覚的なハイライト、またはターゲットサイズをわずかに大きくするなど、スローモーションなどの他の微妙なターゲット動作を行うことができます。 これは、ユーザーの現在のワークフローを不必要に中断することなく、ユーザーがターゲットを見ていることをシステムが正しく検出したことを示します。
入力として不自然な目の動きを強制しないようにします 。ユーザーが特定の視線移動 (視線入力ジェスチャ) を使用してアプリケーションでアクションをトリガーするように強制しないでください。
不正確なアカウント: 2 種類の不正確さを区別します。これは、オフセットとジッターの 2 種類です。 オフセットに対処する最も簡単な方法は、操作に十分な大きなターゲットを提供することです。 参照として 2° を超える視覚的な角度を使用することをお勧めします。 たとえば、腕を引き伸ばすと、サムネイルは視覚的な角度で約 2° になります。 これにより、次のガイダンスが表示されます。
- ユーザーに小さなターゲットの選択を強制しないでください。 研究では、ターゲットが十分に大きく、システムが適切に設計されている場合、ユーザーは自分の相互作用を簡単で魔法のように記述することが示されています。 ターゲットが小さすぎると、ユーザーはエクスペリエンスをうねりとイライラと表現します。
このページでは、Mixed Reality での入力としての視線入力の理解を開始するための概要を示しました。 開発を開始するには、DirectX での目の視線入力とUnity視線入力に関する情報をチェックします。