Estudo de caso: design de som espacial para HoloTour
Vídeos panorâmicos e cenários holográficos são apenas parte da fórmula para um tour imersivo Microsoft HoloLens. Este artigo descreve como o som foi usado para fazer você se sentir como se estivesse realmente em cada local do HoloTour.
A tecnologia
As belas imagens e cenas holográficas que você vê no HoloTour são apenas uma parte de uma experiência de realidade misturada crível. Embora os hologramas apareçam apenas na frente de um usuário, o HoloLens pode fornecer som espacial de todas as direções, o que fornece uma experiência sensorial mais completa.
O som espacial fornece indicações para indicar uma direção que o usuário deve girar ou para que o usuário saiba que há mais hologramas para ver dentro de seu espaço. Também podemos anexar um som diretamente a um holograma e atualizar continuamente a direção e a distância que o holograma está do usuário. Essa técnica faz parecer que o som está vindo diretamente desse objeto.
Para o HoloTour, queríamos aproveitar as funcionalidades de som espacial do HoloLens, portanto, criamos um ambiente de 360 graus sincronizado com o vídeo para revelar os destaques sônicos de locais específicos.
Nos bastidores
Criamos experiências do HoloTour de dois locais diferentes: Roma e Machu Picchu. Para fazer com que esses passeios se sentissem autênticos e atraentes, queríamos capturar áudio dos locais onde filmamos em vez de usar sons genéricos.
Capturando o áudio
Em nosso estudo de caso sobre como capturar o conteúdo visual do HoloTour, falamos sobre o design da nossa plataforma de câmera. Ele consistia em 14 câmeras GoPro em uma caixa impressa em 3D que foi projetada para caber no tripé. Para capturar áudio, adicionamos uma matriz de microfone quad abaixo das câmeras. O som se alimenta de uma unidade compacta de gravação de quatro canais na base do tripé. Escolhemos microfones que se saíram bem, mas eram pequenos o suficiente para evitar interferir nas câmeras.
Câmera personalizada e plataforma de microfone
Essa configuração captura o som em quatro direções. Gravamos informações suficientes para recriar um panorama aural 3D do som espacial, que posteriormente poderíamos sincronizar com o vídeo de 360 graus.
Um desafio do áudio da matriz de câmeras é que você está à mercê de sons fora da câmera, como sirenes, aviões ou ventos fortes. Para garantir que tivéssemos todos os elementos sonoros necessários, usamos gravadores móveis estéreo e mono para capturar som assíncrono e ambiente em pontos específicos de interesse em cada local. Essas gravações dão ao designer de som limpo conteúdo para adicionar interesse e melhorar a direcionalidade na pós-produção.
Cada dia de captura gera muitos arquivos. Portanto, era importante desenvolver um sistema para rastrear quais arquivos correspondem a um local específico ou uma captura de câmera. Nossa unidade de gravação foi configurada para nomear automaticamente os arquivos por data e número "take". Fizemos backup de arquivos em unidades externas no final de cada dia. Também achamos importante planejar verbalmente o início das gravações de áudio. Essa precaução permite uma identificação contextual fácil do conteúdo caso ocorram problemas de nome de arquivo. Também era importante fixar visualmente a captura da plataforma da câmera, porque o vídeo e o áudio foram gravados como mídia separada e tiveram que ser sincronizados durante a pós-produção.
Editando o áudio
De volta ao estúdio após a viagem de captura, a primeira etapa na montagem de uma experiência aural direcional e imersiva é examinar todo o áudio capturado para um local. Escolhemos as melhores tomadas e identificamos os destaques que podem ser aplicados durante a integração. Em seguida, o áudio é editado e limpo. Por exemplo, uma explosão de buzina de carro que dura um segundo ou mais e se repete algumas vezes pode ser substituída por um áudio ambiente mais silencioso da mesma sessão de captura.
Depois que a edição de vídeo de um local for definida, o designer de som poderá sincronizar o áudio correspondente. Neste ponto, avaliamos as capturas de som móvel e de plataforma de câmera para decidir quais elementos criariam a melhor cena de áudio imersiva. Achamos útil colocar todos os elementos de som em um editor de áudio e criar simulações lineares rápidas para experimentar diferentes ideias de combinação. Esta etapa nos deu ideias mais bem formadas para quando chegou a hora de criar as cenas reais do HoloTour.
Montando a cena
A primeira etapa para criar uma cena ambiente 3D é criar uma cama de sons gerais de looping ambiente em segundo plano que darão suporte a outros recursos e elementos de som interativos em uma cena. Adotamos uma abordagem holística para a implementação conforme determinado pelos critérios de design para qualquer cena específica. Algumas cenas podem ser indexadas para usar a captura de câmera sincronizada. Mais momentos "cinematográficos" podem exigir uma abordagem coletada que se baseia em sons posicionados discretamente, elementos interativos e música.
Quando indexamos no áudio de captura de câmera, colocamos emissores de áudio ambiente habilitados para som espacial que correspondiam à orientação direcional das câmeras. A exibição da câmera norte reproduz o áudio do microfone norte e, da mesma forma, para as outras direções cardeais. Esses emissores são bloqueados pelo mundo, o que significa que o som muda quando os usuários viram a cabeça. Essa técnica modela efetivamente o som de ficar naquele local. Ouça Piazza Navona ou The Pantheon para obter exemplos de cenas que usam uma boa mistura de áudio capturado pela câmera.
Em uma abordagem diferente, às vezes reproduzimos ambiente estéreo em loop com emissores de som espacial que são colocados ao redor da cena. Esses emissores reproduzem sons únicos de volume aleatório, tom e frequência de gatilho. Essa técnica cria um ambiente que tem uma sensação aprimorada de direcionalidade. Em Águas Alienadas, por exemplo, você pode ouvir como cada quadrante do panorama tem emissores específicos que realçam áreas específicas da geografia, mas trabalham juntos para criar um ambiente imersivo geral.
Dicas e truques
Há outras maneiras de realçar a direcionalidade e melhorar a imersão para fazer uso completo das funcionalidades de som espacial do HoloLens. Fornecemos uma lista aqui. Ouça esses efeitos na próxima vez que você experimentar o HoloTour.
- Alvos de aparência: Esses sons são disparados quando você olha para um objeto ou área específico do quadro holográfico. Por exemplo, olhe em direção ao café do lado da rua na Piazza Navona de Roma para disparar sutilmente sons de restaurantes ocupados.
- Visão local: A jornada por meio do HoloTour contém certas "batidas" em que seu guia turístico, auxiliado por hologramas, explora um tópico em profundidade. Por exemplo, como a fachada do Panteão se dissolve para revelar o oculus, reverberar o áudio que foi colocado como um emissor 3D de dentro do Panteão incentiva o usuário a explorar o interior.
- Direcionalidade aprimorada: Em muitas cenas, colocamos sons de várias maneiras para adicionar à direcionalidade. Na cena do Panteão, por exemplo, o som da fonte foi colocado como um emissor separado perto o suficiente do usuário para que eles pudessem ter uma noção de "paralaxe sônico" enquanto caminhavam pelo espaço de reprodução. Na cena de Salinas de Maras, no Peru, os sons de pequenos fluxos individuais foram colocados como emissores separados para construir um ambiente ambiente mais imersivo, cercando o usuário com os sons autênticos desse local.
- Emissor de spline: Esses emissores se movem no espaço 3D com base na posição visual do objeto ao qual estão anexados. Um exemplo é o trem em Machu Picchu, onde usamos um emissor de spline para dar uma sensação distinta de direcionalidade e movimento.
- Música e SFX: Certos aspectos do HoloTour que representam uma abordagem mais estilizada ou cinematográfica usam música e efeitos sonoros para aumentar o impacto emocional. Por exemplo, a batalha do gladiador no final da turnê de Roma usa efeitos especiais como whooshes e ferrões para fortalecer o efeito de rótulos que aparecem nas cenas.