Caso de estudo: Design de som espacial para HoloTour
Os vídeos panorâmicos e a paisagem holográfica são apenas parte da fórmula para uma visita Microsoft HoloLens envolvente. Este artigo descreve como o som foi utilizado para o fazer sentir como se estivesse realmente em cada localização do HoloTour.
A tecnologia
As belas imagens e cenas holográficas que vê no HoloTour são apenas uma parte de uma experiência de realidade mista credível. Embora os hologramas só apareçam à frente de um utilizador, o HoloLens pode fornecer som espacial a partir de todas as direções, o que proporciona uma experiência sensorial mais completa.
O som espacial fornece pistas para indicar uma direção que o utilizador deve virar ou para informar o utilizador de que existem mais hologramas para ver dentro do respetivo espaço. Também podemos anexar um som diretamente a um holograma e atualizar continuamente a direção e a distância que o holograma é do utilizador. Esta técnica faz com que pareça que o som vem diretamente desse objeto.
Para o HoloTour, queríamos tirar partido das capacidades de som espacial do HoloLens, pelo que criámos um ambiente de 360 graus sincronizado com o vídeo para revelar os destaques sónicos de localizações específicas.
Nos bastidores
Criámos experiências holotour de duas localizações diferentes: Roma e Machu Picchu. Para que estas visitas se sentissem autênticas e apelativas, queríamos capturar áudio dos locais onde filmámos em vez de utilizar sons genéricos.
Capturar o áudio
No nosso caso de estudo sobre a captura de conteúdos visuais para o HoloTour, falamos sobre o design da nossa plataforma de câmara. Consistia em 14 câmaras GoPro numa habitação impressa em 3D que foi concebida para caber no tripé. Para capturar áudio, adicionámos uma matriz de microfone quad por baixo das câmaras. O som é alimentado numa unidade de gravação compacta de quatro canais na base do tripé. Escolhemos microfones que funcionavam bem, mas eram pequenos o suficiente para evitar interferir com as câmaras.
Câmara personalizada e plataforma de microfone
Esta configuração captura som em quatro direções. Gravámos informações suficientes para recriar um panorama aural 3D de som espacial, que mais tarde poderíamos sincronizar com o vídeo de 360 graus.
Um dos desafios do áudio da matriz da câmara é que está à mercê de sons fora da câmara, como sirenes, aviões ou ventos fortes. Para garantir que tínhamos todos os elementos sonoros de que precisávamos, utilizámos gravadores estéreo e mono móveis para capturar som assíncrono e ambiente em pontos de interesse específicos em cada localização. Estas gravações dão ao estruturador de som conteúdo limpo para aumentar o interesse e melhorar a direcionalidade na pós-produção.
Cada dia de captura gera muitos ficheiros. Por isso, era importante desenvolver um sistema para controlar que ficheiros correspondem a uma localização ou câmara específica. A nossa unidade de gravação foi configurada para atribuir automaticamente nomes aos ficheiros por data e número "take". Fizemos uma cópia de segurança de ficheiros para unidades externas no final de cada dia. Também considerámos importante marcar verbalmente o início das gravações de áudio. Esta precaução permite uma identificação contextual fácil do conteúdo no caso de ocorrerem problemas de nome de ficheiro. Também era importante colocar visualmente a captura da plataforma da câmara, porque o vídeo e o áudio eram gravados como suportes de dados separados e tinham de ser sincronizados durante a pós-produção.
Editar o áudio
De volta ao estúdio após a viagem de captura, o primeiro passo para montar uma experiência direcional e envolvente aural é rever todo o áudio capturado para uma localização. Escolhemos as melhores tomadas e identificamos os destaques que podem ser aplicados durante a integração. Em seguida, o áudio é editado e limpo. Por exemplo, uma explosão de trompa de carro que dure um segundo ou mais e se repita algumas vezes pode ser substituída por áudio ambiente mais silencioso da mesma sessão de captura.
Depois de definir a edição de vídeo para uma localização, o estruturador de som pode sincronizar o áudio correspondente. Neste momento, avaliamos tanto a câmara-plataforma como as capturas de som móveis para decidir quais os elementos que construiriam a melhor cena de áudio envolvente. Considerámos útil colocar todos os elementos de som num editor de áudio e criar maquetes lineares rápidas para experimentar ideias de mistura diferentes. Este passo deu-nos ideias mais bem formadas para quando chegou a altura de criar as cenas reais do HoloTour.
A montar a cena
O primeiro passo para criar uma cena ambiente 3D é criar uma cama de sons de looping ambiente de fundo gerais que suportarão outras funcionalidades e elementos de som interativos numa cena. Tomamos uma abordagem holística à implementação, conforme determinado pelos critérios de conceção de qualquer cenário específico. Algumas cenas podem indexar para a utilização da captura de câmara sincronizada. Mais momentos "cinematográficos" podem exigir uma abordagem organizada que se baseie em sons discretamente colocados, elementos interativos e música.
Quando indexámos no áudio de captura de câmara, colocámos emissores de áudio ambiente com som espacial ativado que correspondiam à orientação direcional das câmaras. A vista da câmara norte reproduz áudio do microfone norte e, da mesma forma, para as outras direções cardinal. Estes emissores estão protegidos pelo mundo, o que significa que o som muda quando os utilizadores viram a cabeça. Esta técnica modela efetivamente o som de estar nessa localização. Ouça Piazza Navona ou O Panteão para obter exemplos de cenas que utilizam uma boa combinação de áudio capturado pela câmara.
Numa abordagem diferente, por vezes jogamos ambiente estéreo em loop com emissores de som espacial que são colocados em torno da cena. Estes emissores reproduzem sons pontuais de volume aleatório, tom e frequência de acionador. Esta técnica cria um ambiente que tem uma sensação de direcionalidade melhorada. Em Aguas Aliens, por exemplo, pode ouvir como cada quadrante do panorama tem emissores específicos que realçam áreas específicas da geografia, mas trabalham em conjunto para criar um ambiente envolvente geral.
Sugestões e truques
Existem outras formas de realçar a direcionalidade e melhorar a imersão para utilizar plenamente as capacidades de som espacial do HoloLens. Fornecemos uma lista aqui. Ouça estes efeitos da próxima vez que tentar o HoloTour.
- Procurar destinos: Estes sons são acionados quando se olha para um objeto ou área específico da moldura holográfica. Por exemplo, olhe para o café do lado da rua na Piazza Navona, em Roma, para subtilmente desencadear sons de restaurantes ocupados.
- Visão local: A viagem, embora o HoloTour contenha determinadas "batidas" em que o seu guia turístico, auxiliado por hologramas, explora um tópico em profundidade. Por exemplo, à medida que a fachada do Panteão se dissolve para revelar o óculo, o áudio reverberante que foi colocado como um emissor 3D de dentro do Panteão encoraja o utilizador a explorar o interior.
- Direcionalidade melhorada: Em muitas cenas, colocámos sons de várias formas para aumentar a direcionalidade. Na cena do Panteão, por exemplo, o som da fonte foi colocado como um emissor separado perto o suficiente para o utilizador que poderia ter uma sensação de "parallax sónico" enquanto caminhavam pelo espaço de jogo. Na cena salinas de Maras do Peru, os sons de pequenos fluxos individuais foram colocados como emissores separados para construir um ambiente mais envolvente, envolvendo o utilizador com os sons autênticos desse local.
- Emissor de spline: Estes emissores movem-se no espaço 3D com base na posição visual do objeto ao qual estão ligados. Um exemplo é o comboio em Machu Picchu, onde utilizámos um emissor de spline para dar uma sensação distinta de direcionalidade e movimento.
- Música e SFX: Certos aspetos do HoloTour que representam uma abordagem mais estilizada ou cinematográfica utilizam música e efeitos sonoros para aumentar o impacto emocional. Por exemplo, a batalha do gladiador no final da digressão de Roma usa efeitos especiais como whooshes e stingers para fortalecer o efeito das etiquetas que aparecem nas cenas.