Пример: Пространственное звуковое проектирование для HoloTour
Панорамные видео и голографические пейзажи являются лишь частью формулы для иммерсивного тура Microsoft HoloLens. В этой статье описывается, как звук использовался для того, чтобы вы чувствовали себя на самом деле в каждом месте HoloTour.
Технология
Красивые изображения и голографические сцены, которые вы видите в HoloTour, являются лишь частью правдоподобной смешанной реальности. Хотя голограммы отображаются только перед пользователем, HoloLens может доставлять пространственный звук со всех сторон, что обеспечивает более полное сенсорное взаимодействие.
Пространственный звук предоставляет подсказки, указывающие, в каком направлении пользователь должен повернуть, или чтобы сообщить пользователю, что в его пространстве есть больше голограмм. Мы также можем прикрепить звук непосредственно к голограмме и постоянно обновлять направление и расстояние, на которое голограмма находится от пользователя. Этот метод создает впечатление, будто звук исходит непосредственно от этого объекта.
Для HoloTour мы хотели воспользоваться возможностями пространственного звука HoloLens, поэтому мы создали 360-градусную окружающую среду, синхронизированную с видео, чтобы показать звуковые особенности конкретных мест.
Сопутствующие ресурсы
Мы создали опыт HoloTour в двух разных местах: Рим и Мачу-Пикчу. Чтобы эти туры чувствовали себя подлинными и убедительными, мы хотели захватить звук из мест, где мы снимали, а не использовать универсальные звуки.
Запись звука
В нашем примере захвата визуального содержимого для HoloTour мы говорим о проектировании нашей камеры. Он состоял из 14 камер GoPro в корпусе с 3D-печатью, который был разработан для размещения штатива. Для захвата звука мы добавили массив четырехмикрофонов под камерами. Звук передается в компактный четырехканационный блок записи у основания штатива. Мы выбрали микрофоны, которые сделали хорошо, но были достаточно малы, чтобы избежать вмешательства в камеры.
Настраиваемая камера и микрофон
Эта настройка фиксирует звук в четырех направлениях. Мы записали достаточно информации, чтобы воссоздать трехмерную панораму пространственного звука, которую позже можно синхронизировать с 360-градусным видео.
Одной из проблем аудио массива камер является то, что вы находитесь во власти звуков вне камеры, таких как сирены, самолеты или сильный ветер. Чтобы убедиться, что у нас есть все необходимые звуковые элементы, мы использовали стерео- и моно-мобильные рекордеры для захвата асинхронного окружающего звука в определенных точках интереса в каждом месте. Эти записи дают звуковому дизайнеру чистое содержимое, чтобы добавить интерес и улучшить направление в пост-продакшене.
Каждый день записи создает много файлов. Поэтому было важно разработать систему для отслеживания того, какие файлы соответствуют определенному расположению или снимку камеры. В нашем блоке записи было настроено автоматическое имя файлов по дате и номеру take. В конце каждого дня мы обновляли резервные копии файлов на внешних дисках. Мы также сочли важным устную речь начало аудиозаписей. Эта мера предосторожности позволяет легко идентифицировать содержимое в контексте в случае возникновения проблем с именем файла. Кроме того, важно визуально склеить захват камеры, потому что видео и аудио были записаны как отдельные носители и должны были быть синхронизированы во время пост-производства.
Редактирование звука
Вернувшись в студию после поездки захвата, первым шагом в сборке направленного и иммерсивного звукового опыта является проверка всех захваченных аудио для расположения. Мы выберем наиболее подходящие варианты и определим основные моменты, которые можно применить во время интеграции. Затем звук редактируется и очищается. Например, взрыв рога автомобиля, который длится около секунды или около того и повторяется несколько раз, может быть заменен более тихим звуком окружающей среды из того же сеанса захвата.
После настройки редактирования видео для расположения звуковой конструктор может синхронизировать соответствующий звук. На этом этапе мы оцениваем как камеры, так и мобильные звукозаписи, чтобы решить, какие элементы будут создавать лучшую иммерсивную звуковую сцену. Мы сочли полезным поместить все звуковые элементы в аудиоредактор и создать быстрые линейные макеты для экспериментов с различными идеями микса. Этот шаг дал нам лучше сформированные идеи, когда пришло время построить реальные сцены HoloTour.
Сборка сцены
Первым шагом к созданию трехмерной внешней сцены является создание ложа общих фоновых звуков, которые будут поддерживать другие функции и интерактивные звуковые элементы в сцене. Мы принимаем целостный подход к реализации, определяемый критериями проектирования для любой конкретной сцены. Некоторые сцены могут индексироваться для использования синхронизированного захвата камеры. Для более "кинематографических" моментов может потребоваться проверенный подход, который основан на дискретно размещенных звуках, интерактивных элементах и музыке.
При индексировании звука с камеры мы размещали пространственные звуковые излучатели внешнего звука, соответствующие направленной ориентации камер. В представлении северной камеры воспроизводится звук с северного микрофона, а также для других кардинальных направлений. Эти излучатели заблокированы миром, что означает, что звук меняется, когда пользователи поворачивают голову. Этот метод эффективно моделирует звук стояния в этом месте. Слушайте Пьяцца Навона или Пантеон, чтобы получить примеры сцен, которые используют хорошее сочетание звука, записанного камерой.
При другом подходе мы иногда воспроизводим зацикливание стерео атмосферы с пространственными излучателями звука, размещенными вокруг сцены. Эти излучатели воспроизводит одноразовые звуки случайной громкости, тона и частоты триггеров. Этот метод создает атмосферу, которая имеет повышенное чувство направленности. В Aguas Alienates, например, вы можете услышать, как каждый квадрант панорамы имеет определенные излучатели, которые выделяют определенные области географии, но работают вместе, чтобы создать общую иммерсивную атмосферу.
Советы и рекомендации
Существуют и другие способы подчеркнуть направленность и улучшить погружение, чтобы в полной мере использовать возможности пространственного звука HoloLens. Мы предоставили список здесь. Прослушайте эти эффекты в следующий раз, когда вы попробуете HoloTour.
- Поиск целевых объектов: Эти звуки активируются при взгляде на определенный объект или область голографического кадра. Например, посмотрите на уличное кафе на площади Пьяцца Навона в Риме, чтобы тонко активировать шумы ресторана.
- Локальное видение: Путешествие, хотя HoloTour содержит определенные "удары", где ваш гид, при помощи голограмм, исследует тему в глубине. Например, по мере того как фасад Пантеона растворяется, чтобы выявить окулус, реверберации звука, который был помещен в качестве 3D-излучателя изнутри Пантеона, побуждает пользователя исследовать интерьер.
- Улучшенная направленность: Во многих сценах мы размещали звуки различными способами, чтобы добавить направление. В сцене Пантеона, например, звук фонтана был помещен в качестве отдельного излучателя достаточно близко к пользователю, чтобы они могли получить ощущение "звукового параллакса", когда они ходят по игровому пространству. В перуанская сцена Salinas de Maras звуки отдельных небольших потоков были помещены в качестве отдельных излучателей, чтобы создать более иммерсивную окружающую среду, окружив пользователя подлинными звуками этого места.
- Сплайн-излучатель: Эти излучатели перемещаются в трехмерном пространстве в зависимости от визуального положения объекта, к которому они подключены. Примером может быть поезд в Мачу-Пикчу, где мы использовали сплайн излучатель, чтобы дать четкое чувство направленности и движения.
- Музыка и SFX: Некоторые аспекты HoloTour, которые представляют более стилизованный или кинематографический подход, используют музыку и звуковые эффекты для повышения эмоционального воздействия. Например, битва гладиаторов в конце тура по Риму использует специальные эффекты, такие как клюшки и жало, чтобы усилить эффект меток, которые появляются в сценах.