案例研究：HoloTour 的空間音效設計
沉浸式Microsoft HoloLens導覽的公式中，只有一部分的影片和全像攝影活動。 本文說明音效的使用方式，讓您覺得您實際上是在每個 HoloTour 位置。
技術
您在 HoloTour 中看到的美觀影像和全像攝影場景，只是一個可理解混合實境體驗的一部分。 雖然全像投影只會出現在使用者前面，但 HoloLens 可以從所有方向提供 空間音效 ，以提供更完整的感應器體驗。
空間音效提供提示，指出使用者應該開啟的方向，或讓使用者知道其空間內有更多全像投影。 我們也可以直接將音效附加至全像投影，並持續更新全像投影與使用者之間的方向和距離。 這項技術看起來就像音效是直接來自該物件。
針對 HoloTour，我們想要利用 HoloLens 的空間音效功能，因此我們建立了與視訊同步的 360 度環境環境，以顯示特定位置的音調醒目提示。
在幕後
我們建立了兩個不同位置的 HoloTour 體驗：Rome 和 Machu Picchu。 為了讓這些體驗感覺真實且令人信服，我們想要從我們製作影片的位置擷取音訊，而不是使用一般音效。
擷取音訊
在我們的 案例研究中，關於擷取 HoloTour 的視覺內容，我們會討論相機鑽研的設計。 它包含 14 部 GoPro 相機，其設計為符合三腳架的 3D 列印房屋。 為了擷取音訊，我們在相機下方新增了四麥克風陣列。 音效會饋送至小四聲道錄製單元，位於三腳架的基底。 我們選擇的麥克風效果良好，但夠小，以避免干擾相機。
自訂相機和麥克風鑽機
此設定會以四個方向擷取音效。 我們錄製了足夠的資訊來重新建立空間音效的 3D 立體全像，我們稍後可以同步處理至 360 度視訊。
相機陣列音訊的其中一項挑戰，就是您正在利用離相機音效，例如風雲、飛機或高風。 為了確保我們擁有所需的所有音效元素，我們使用身歷聲和單聲道行動錄製器，在每個位置的特定景點擷取非同步環境音效。 這些錄製可讓音效設計工具清楚顯示內容，以在生產後新增興趣並改善方向性。
每天擷取會產生許多檔案。 因此，請務必開發系統來追蹤哪些檔案對應到特定位置或相機相片。 我們的錄製單元已設定為依日期和「取得」號碼自動命名檔案。 我們會在每天結束時將檔案備份到外部磁片磁碟機。 我們也發現，請務必以語音方式將音訊錄製的開頭加總。 此預防措施可讓您輕鬆識別內容，以防發生檔案名問題。 也請務必以視覺化方式將相機鑽機擷取貼上，因為視訊和音訊會錄製為個別媒體，而且必須在生產後進行同步處理。
編輯音訊
回到擷取行程之後的工作室，組合方向和沈浸式內嵌體驗的第一個步驟是檢閱位置的所有擷取音訊。 我們會挑選最佳採用專案，並找出可在整合期間套用的醒目提示。 接著會編輯並清除音訊。 例如，汽車 horn blast 會持續一秒，並重複數次，可能會取代為相同擷取會話中較無訊息的環境音訊。
設定位置的視訊編輯之後，聲音設計工具可以同步處理對應的音訊。 此時，我們會評估攝影機和行動音效擷取，以決定哪些元素會建置最佳的沉浸式音訊場景。 我們發現將所有音效元素放入音訊編輯器中，並建置快速線性模擬，以試驗不同的混合想法。 此步驟讓我們在建置實際的 HoloTour 場景時，提供更清楚的想法。
組合場景
建置 3D 環境場景的第一個步驟是建立一般背景環境迴圈音效的一般背景環境迴圈音效，以支援場景中的其他功能和互動式音效元素。 我們會以任何特定場景的設計準則所決定的整體實作方法。 某些場景可能會使用同步的相機擷取來編制索引。 更多「電影」時刻可能需要經過策劃的方法，依賴離散放置的音效、互動式元素和音樂。
當我們編制相機擷取音訊的索引時，我們會放置空間音效啟用的環境音訊發出器，對應到相機的方向。 北相機檢視會播放來自北麥克風的音訊，同樣適用于其他基數方向。 這些發出器是世界鎖定的，這表示當使用者翻頭時音效會變更。 這項技術會有效地建立位於該位置之聲音的模型。 針對使用良好相機擷取音訊混合的場景範例，接聽[巴布那文] 或 [Pantheon]。
在不同的方法中，我們有時會播放迴圈身歷聲音調，並搭配放置在場景周圍的空間音效發出器。 這些發出器會播放隨機音量、音調和觸發頻率的一次性音效。 這項技術會建立具有增強方向性感的彈性。 例如，在 一般情況下，您可以聽到一個全貌的每個象限如何有特定的發出器，可強調地理位置的特定區域，但一起合作來建立整體沉浸式體驗。
秘訣與技巧
還有其他方法可以醒目提示方向性並改善沈浸式，以充分利用 HoloLens 的空間音效功能。 我們已在這裡提供清單。 下次嘗試 HoloTour 時接聽這些效果。
- 外觀目標： 當您查看全像攝影畫面的特定物件或區域時，就會觸發這些音效。 例如，在 Rome 的[巴布拉] Navona 中查看街邊咖啡廳，以子方式觸發忙碌餐廳音效。
- 本機視覺： 雖然 HoloTour 旅程包含一些「跳動」，但您的導覽指南會透過全像投影輔助，深入探索主題。 比方說，當 Pantheon 的外觀呈現來顯示 apples 時，在 Pantheon 內以 3D 發出器放置的音訊會鼓勵使用者探索內部。
- 增強方向性： 在許多場景中，我們會以各種方式放置音效，以新增至方向性。 例如，在 Pantheon 場景中，當發射器的聲音被放置為與使用者接近的個別發出器，他們可以在播放空間四處走動時，瞭解「音調視差」。 在巴西的 Salinas de Maras 場景中，個別小資料流程的音效會以個別的發出器的形式放置，以建置更沉浸式的環境環境，並在使用者周圍加上該位置的真確音效。
- 曲線發出器： 這些發出器會根據所附加物件的視覺位置，在 3D 空間中移動。 例如，在 Machu Picchu 中訓練，我們使用曲線發出器來提供不同的方向性和移動感。
- 音樂和 SFX： HoloTour 的某些層面，代表更具風格或電影的方法會使用音樂和音效來提升情緒影響。 例如，在 Rome 導覽結束時的快樂者爭用特殊效果，例如 whooshes 和 stingers，以強化出現在場景中的標籤效果。