Caso práctico: Diseño de sonido espacial para HoloTour
Los vídeos panorámicos y los paisajes holográficos solo forman parte de la fórmula de un recorrido Microsoft HoloLens inmersivo. En este artículo se describe cómo se usó el sonido para que te sientas como si estuvieras realmente en cada ubicación de HoloTour.
La tecnología
Las hermosas imágenes y escenas holográficas que se ven en HoloTour son solo una parte de una experiencia de realidad mixta creíble. Aunque los hologramas solo aparecen delante de un usuario, HoloLens puede proporcionar sonido espacial desde todas las direcciones, lo que proporciona una experiencia sensorial más completa.
El sonido espacial proporciona indicaciones para indicar una dirección en la que el usuario debe girar o para que el usuario sepa que hay más hologramas para ver dentro de su espacio. También podemos adjuntar un sonido directamente a un holograma y actualizar continuamente la dirección y la distancia que el holograma es del usuario. Esta técnica hace que parezca como si el sonido provenía directamente de ese objeto.
Para HoloTour, queríamos aprovechar las funcionalidades de sonido espacial de HoloLens, por lo que creamos un entorno ambiente de 360 grados que se sincroniza con el vídeo para mostrar los resaltados sónicos de ubicaciones específicas.
Entre bambalinas
Creamos experiencias de HoloTour de dos ubicaciones diferentes: Roma y Machu Picchu. Para hacer que estos tours se sientan auténticos y atractivos, queríamos capturar audio de las ubicaciones donde filmamos en lugar de usar sonidos genéricos.
Captura del audio
En nuestro caso práctico sobre cómo capturar el contenido visual de HoloTour, hablamos sobre el diseño de nuestro equipo de cámara. Constaba de 14 cámaras GoPro en una carcasa impresa en 3D diseñada para ajustarse al tripod. Para capturar audio, agregamos una matriz de cuatro micrófonos debajo de las cámaras. El sonido se alimenta en una unidad compacta de grabación de cuatro canales en la base del tripod. Elegimos micrófonos que estaban bien, pero eran lo suficientemente pequeños como para evitar interferir con las cámaras.
Cámara personalizada y plataforma de micrófonos
Esta configuración captura el sonido en cuatro direcciones. Grabamos suficiente información para volver a crear un panorama aural 3D del sonido espacial, que más tarde podríamos sincronizar con el vídeo de 360 grados.
Un desafío del audio de matriz de cámara es que estás a la misericordia de sonidos fuera de la cámara, como sirenas, aviones o vientos altos. Para asegurarnos de que teníamos todos los elementos de sonido que necesitamos, usamos grabadoras móviles estéreo y mono para capturar sonido asincrónico y ambiente en puntos específicos de interés en cada ubicación. Estas grabaciones proporcionan al diseñador de sonido contenido limpio para agregar interés y mejorar la direccionalidad en la posproducción.
Cada día de captura genera muchos archivos. Por lo tanto, era importante desarrollar un sistema para realizar un seguimiento de los archivos que corresponden a una ubicación determinada o captura de cámara. Nuestra unidad de grabación se configuró para nombrar automáticamente los archivos por fecha y número "take". Realizamos copias de seguridad de archivos en unidades externas al final de cada día. También encontramos que es importante pizarra verbalmente el principio de las grabaciones de audio. Esta precaución permite facilitar la identificación contextual del contenido en caso de que se produzcan problemas de nombre de archivo. También era importante pizarra visualmente la captura de la plataforma de cámara, porque el vídeo y el audio se grababan como medios independientes y tenían que sincronizarse durante la posproducción.
Edición del audio
De vuelta en el estudio después del viaje de captura, el primer paso para ensamblar una experiencia direccional y envolvente es revisar todo el audio capturado para una ubicación. Seleccionamos las mejores opciones e identificamos los aspectos destacados que se pueden aplicar durante la integración. A continuación, el audio se edita y limpia. Por ejemplo, una explosión de cuernos de coche que dura un segundo o así, y se repite varias veces podría reemplazarse por audio ambiente más silencioso de la misma sesión de captura.
Una vez establecida la edición de vídeo para una ubicación, el diseñador de sonidos puede sincronizar el audio correspondiente. En este momento, se evalúan las capturas de sonido móvil y de plataforma de cámara para decidir qué elementos crearían la mejor escena de audio envolvente. Hemos encontrado que resulta útil colocar todos los elementos de sonido en un editor de audio y crear modelos lineales rápidos para experimentar con diferentes ideas de mezcla. Este paso nos dio ideas mejor formadas para cuando llegó el momento de crear las escenas reales de HoloTour.
Ensamblar la escena
El primer paso para crear una escena ambiental 3D es crear una cama de sonidos de bucle ambiente de fondo generales que admitirán otras características y elementos de sonido interactivos en una escena. Tomamos un enfoque holístico para la implementación según lo determinado por los criterios de diseño para cualquier escena determinada. Algunas escenas pueden indexar hacia el uso de la captura de cámara sincronizada. Más momentos "cinemáticos" pueden requerir un enfoque mantenido que se basa en sonidos discretos, elementos interactivos y música.
Cuando indizamos en el audio de captura de cámara, colocamos emisores de audio ambiente habilitados para sonido espacial que corresponden a la orientación direccional de las cámaras. La vista de cámara norte reproduce audio desde el micrófono norte y, del mismo modo, para las demás direcciones cardinales. Estos emisores están bloqueados por el mundo, lo que significa que el sonido cambia cuando los usuarios giran sus cabezas. Esta técnica modela eficazmente el sonido de pie en esa ubicación. Escucha Piazza Navona o The Pantheon para ver ejemplos de escenas que usan una buena combinación de audio capturado por cámara.
En un enfoque diferente, a veces jugamos en bucle ambiente estéreo con emisores de sonido espacial que se colocan alrededor de la escena. Estos emisores reproducen sonidos puntuales de volumen aleatorio, tono y frecuencia de desencadenador. Esta técnica crea ambiente que tiene un sentido mejorado de direccionalidad. En Aguas Alienates, por ejemplo, puedes oír cómo cada cuadrante del panorama tiene emisores específicos que resaltan áreas específicas de la geografía, pero trabajan conjuntamente para crear un ambiente envolvente general.
Sugerencias y trucos
Hay otras maneras de resaltar la direccionalidad y mejorar la inmersión para hacer un uso completo de las funcionalidades de sonido espacial de HoloLens. Aquí hemos proporcionado una lista. Escuche estos efectos la próxima vez que pruebe HoloTour.
- Objetivos de búsqueda: Estos sonidos se desencadenan cuando se examina un objeto o área específicos del marco holográfico. Por ejemplo, mira hacia la cafetería del lado de la calle en la Piazza Navona de Roma para desencadenar subtly sonidos de restaurante ocupado.
- Visión local: El recorrido, aunque HoloTour contiene ciertos "ritmos" en los que tu guía turística, asistida por hologramas, explora un tema en profundidad. Por ejemplo, a medida que la fachada del Pantheon se disuelva para revelar las pilas, reverberando el audio que se colocó como emisor 3D desde dentro del Pantheon anima al usuario a explorar el interior.
- Direccionalidad mejorada: En muchas escenas, colocamos sonidos de varias maneras de agregar a la direccionalidad. En la escena del Pantheon, por ejemplo, el sonido de la fuente se colocó como un emisor independiente lo suficientemente cerca como para el usuario de que podía obtener una sensación de "parallax sónico" a medida que caminaba por el espacio de juego. En la escena de Salinas de Maras de Perú, los sonidos de las pequeñas secuencias individuales se colocaron como emisores independientes para construir un entorno ambiente más inmersivo, rodeando al usuario con los sonidos auténticos de esa ubicación.
- Emisor spline: Estos emisores se mueven en el espacio 3D en función de la posición visual del objeto al que están conectados. Un ejemplo es el tren en Machu Picchu, donde usamos un emisor spline para dar un sentido distinto de direccionalidad y movimiento.
- Música y SFX: Algunos aspectos de HoloTour que representan un enfoque más estilizado o cinemático usan música y efectos de sonido para aumentar el impacto emocional. Por ejemplo, la batalla del gladiador al final de la gira de Roma utiliza efectos especiales como whooshes y stingers para fortalecer el efecto de las etiquetas que aparecen en las escenas.