ケース スタディ: HoloTour の立体音響設計
パノラマ ビデオとホログラフィックの風景は、イマーシブな Microsoft HoloLens ツアーの要素のほんの一部にすぎません。 この記事では、ユーザーに HoloTour の場所に実際に滞在しているかのように感じさせる音響の使用方法について説明します。
使用テクノロジー
HoloTour に表示される美しい画像とホログラフィックの映像は、迫真に迫る複合現実エクスペリエンスの一部にすぎません。 ホログラムがユーザーの目の前にのみ表示されるのに対し、HoloLens は立体音響を全方向から響かせることができ、より完全で感覚的なエクスペリエンスを提供できます。
立体音響により、ユーザーは向かうべき方角や、その空間内に見るべきホログラムがまだあるかどうかを判断する手掛かりを得られます。 ホログラムにサウンドを直接アタッチして、ユーザーを基準にしたホログラムの方向と距離を継続的に更新することもできます。 この手法では、サウンドがオブジェクトから直接鳴っているように感じられます。
HoloTour では、HoloLens の空間音響機能を活用するために、ビデオと同期する 360 度のアンビエント環境を作成しました。これにより、特定の場所の音が強調されます。
バックグラウンド処理
2 つの異なる場所 (ローマとマチュ ピチュ) の HoloTour エクスペリエンスを作成しました。 これらのツアーを本物かつ説得力のあるものにするために、一般的なサウンドを使用するのではなく、映像を撮影した場所でオーディオをキャプチャしたいと考えました。
オーディオのキャプチャ
HoloTour 用ビジュアル コンテンツのキャプチャについてのケース スタディでは、カメラ リグの設計について説明します。 これは、三脚に合うように 3D 印刷されたハウジング内にある 14 台の GoPro カメラで構成されています。 オーディオをキャプチャするために、カメラの下に 4 方向のマイク配列を追加しました。 サウンドは、三脚のベースにあるコンパクトな 4 チャネルの録音ユニットに取り込まれます。 マイクは、動作が良好でありながらカメラに干渉しない小型のものを選択しました。
特注カメラとマイク リグ
このセットアップでは、4 方向のサウンドがキャプチャされます。 立体音響の 3D 聴覚パノラマを作り変えるのに十分な情報を記録しました。これは、後で 360 度動画に同期できます。
カメラ配列オーディオの課題の 1 つは、サイレン、飛行機、強風などの録画外の音に振り回されてしまうことです。 必要なすべての音要素を用意するために、ステレオとモノラルのモバイル レコーダーを使用して、各場所の特定の関心のあるポイントで非同期の環境音をキャプチャしました。 これらの録音により、サウンド デザイナーはクリーンなコンテンツを得て、撮影後に工夫を施したり、指向性を高めたりすることができます。
キャプチャ日ごとに多数のファイルが生成されます。 そのため、特定の場所やカメラ ショットに対応するファイルを追跡するシステムを開発することが重要でした。 日付と "撮影" 番号でファイルに自動的に名前を付けるように記録ユニットを設定しました。 1 日の終わりに、外部ドライブにファイルをバックアップしました。 また、口頭でスレートして音声録音を開始することが重要であることもわかりました。 この予防措置により、ファイル名の問題が発生した場合にコンテンツを簡単にコンテキストで識別できます。 ビデオとオーディオは個別のメディアとして記録され、撮影後に同期する必要があったため、カメラ リグのキャプチャを視覚的にスレートすることも重要でした。
オーディオの編集
キャプチャ旅行後にスタジオに戻ってから行う、指向性のあるイマーシブな聴覚エクスペリエンスを組み立てるための最初の手順は、撮影場所でキャプチャされたすべてのオーディオを確認することです。 最適な録音を選び、統合時に適用できるハイライトを特定します。 その後、オーディオを編集して、クリーンアップします。 たとえば、1 秒以上続く、数回繰り返す車のクラクションは、同じキャプチャ セッションのより静かな環境音に置き換えられる可能性があります。
撮影場所のビデオ編集が設定された後、サウンド デザイナーは対応するオーディオを同期できます。 この時点で、カメラ リグとモバイル サウンド キャプチャの両方を評価して、最適なイマーシブ オーディオ シーンを構築する要素を決定します。 すべてのサウンド要素をオーディオ エディターに取り入れ、さまざまな組み合わせのアイデアを試せる簡単な線形モックアップを構築すると便利だとわかりました。 この段階で、実際に HoloTour シーンを構築する時のための、より良いアイデアを得ることができました。
シーンの組み立て
3D アンビエント シーンを構築する最初の手順は、シーン内の他の機能と対話型サウンド要素をサポートする一般的なループする背景環境音の基礎を作成することです。 特定シーンの設計基準によって決定される、実装に対する包括的アプローチを採用します。 一部のシーンでは、同期されたカメラ キャプチャを使用するインデックスが作成される場合があります。 より "映画的な" 瞬間には、個別に配置されたサウンド、対話型の要素、および音楽に依存するキュレーションされたアプローチが必要になる場合があります。
カメラ キャプチャ オーディオにインデックスを付けた際に、カメラの指向性の向きに対応する立体音響対応アンビエント オーディオ エミッタを配置しました。 北カメラ ビューでは、北マイクからのオーディオが再生されます。他の方向の場合も同様です。 これらのエミッタはワールドロックされています。つまり、ユーザーが頭を動かすと音が変化します。 この手法により、その場所に立っているときの音が効果的にモデル化されます。 カメラでキャプチャされたオーディオの良い組み合わせを使用しているシーンの例として、ナヴォーナ広場やパンテオンを聴いてみてください。
別の方法では、シーンの周りに配置された立体音響エミッタでループしたステレオの環境音を再生する場合があります。 これらのエミッタにより、ランダムなボリューム、ピッチ、トリガーの頻度の 1 回限りのサウンドが再生されます。 この手法では、指向性の感覚が強化された環境音が作成されます。 たとえば、アグアス カリエンテスでは、各 4 方向のパノラマにある固有のエミッタの働きを聞き分けることができます。このエミッタは、その場所の特定の領域を強調しながら一緒に動作し、全体としてイマーシブな環境音が作り出されます。
ヒントとテクニック
他にも、指向性を強調し没入感を向上させて、HoloLens の立体音響機能をフル活用する方法があります。 一覧を載せています。 次に HoloTour を試す際に、これらの効果に気を付けてみてください。
- ターゲットを探す: これらのサウンドは、ホログラフィック フレームの特定のオブジェクトまたは領域を見ているときにトリガーされます。 たとえば、ローマのナヴォーナ広場の通りに面したカフェを見ると、繁盛したレストランの音が小さくトリガーされます。
- ローカル ビジョン: HoloTour の道中には特定の "ビート" が含まれています。ここでは、ホログラムがサポートするツアー ガイドが、トピックについて詳細に説明します。 たとえば、パンテオンのファサードにオーバーラップしながらオクルスが現れると、3D エミッタとして配置されたオーディオがパンテオンの内部から鳴り響き、ユーザーを内部の探索へと誘います。
- 強化された指向性: 多くのシーン内にさまざまな方法でサウンドを配置し、指向性を追加しました。 たとえば、パンテオンのシーンでは、プレイ空間を歩き回る際に "音の視差" を感じ取ることができるほどユーザーに近い個別のエミッタとして、噴水の音が配置されています。 ペルーのマラスの塩田のシーンでは、個々の小川の音が個別のエミッタとして配置されています。これによって、よりイマーシブなアンビエント環境が構築され、ユーザーはその場所の本物のサウンドに囲まれます。
- スプライン エミッタ: これらのエミッタは、アタッチされているオブジェクトの視覚的な位置に基づいて、3D 空間内を移動します。 たとえば、マチュ ピチュの列車にはスプライン エミッタが使用されており、方向性と移動の明確な感覚が得られます。
- 音楽と SFX: HoloTour が持つより様式的で映画的なアプローチを表す側面では、音楽と音響効果が使用され、感情的な効果を高めています。 たとえば、ローマ ツアーの最後の剣闘士の戦いでは、シーンに登場するラベルの効果を強化するために、ウーシュ音やスティンガー音のような特殊な効果が使用されます。