Procedimientos recomendados de sonido espacial
Si no está familiarizado con el sonido espacial, consulte nuestra introducción al sonido espacial.
Puede usar sonido para informar y reforzar el modelo mental del usuario del estado de la aplicación. Use la espacialización, cuando corresponda, para colocar sonidos en el mundo de la realidad mixta. Al conectar el auditor y el objeto visual de esta manera, profundiza la naturaleza intuitiva de las interacciones y aumenta la confianza del usuario.
Cuándo agregar sonidos
Las aplicaciones de realidad mixta suelen tener una mayor necesidad de sonido que las aplicaciones 2D debido a su falta de una interfaz táctil. Agregue sonidos cuando informe al usuario o refuerza las interacciones.
Informar y reforzar
- En el caso de los eventos que no inicia el usuario, como las notificaciones, use sonido para informar al usuario de que se ha producido un cambio.
- Las interacciones pueden tener varias fases. Usa sonido para reforzar las transiciones de fase.
Vea los ejemplos siguientes de interacciones, eventos y características de sonido sugeridas.
Restricción del ejercicio
Los usuarios no tienen una capacidad ilimitada para la información de audio.
- Cada sonido debe comunicar información específica y valiosa.
- Cuando la aplicación reproduce un sonido para informar al usuario, reduzca temporalmente el volumen de otros sonidos.
- Para los sonidos de desplazamiento del botón (consulte la siguiente información), agregue un retraso de tiempo para evitar un desencadenamiento excesivo de sonido.
No se base únicamente en sonidos
Los sonidos que se usan bien son valiosos para los usuarios. Pero asegúrese de que la aplicación se pueda usar incluso con el sonido desactivado.
- Los usuarios pueden ser difíciles de escuchar.
- La aplicación se puede usar en un entorno alto.
- Los usuarios pueden tener problemas de privacidad u otras razones para deshabilitar el audio del dispositivo.
Cómo sonificar las interacciones
Los tipos de interacción en la realidad mixta incluyen gestos, manipulación directa y voz. Use las siguientes características sugeridas para seleccionar o diseñar sonidos para estas interacciones.
Interacciones de gestos
En realidad mixta, los usuarios pueden interactuar con botones mediante un mouse. Por lo general, las acciones de botón se producen cuando el usuario suelta en lugar de presionar el botón para dar al usuario la oportunidad de cancelar la interacción. Usa sonidos para reforzar estas etapas. Para ayudar a los usuarios a seleccionar botones distantes, considere también la posibilidad de usar un sonido de puntero sobre el puntero.
- Los sonidos de pulsación de botones deben ser un "clic" corto y táctil.
Ejemplo: MRTK_ButtonPress.wav - Los sonidos button-"unpress" deben tener una sensación táctil similar. Un tono más alto que el sonido de prensa refuerza la sensación de finalización.
Ejemplo: MRTK_ButtonUnpress.wav - Para los sonidos de desplazamiento, considere la posibilidad de usar un sonido sutil y no amenazante, como un thud o un golpe de frecuencia baja.
Manipulación directa
En HoloLens 2, el seguimiento de manos articulado admite la manipulación directa de elementos de la interfaz de usuario. Los sonidos son importantes cuando no hay ningún otro comentario físico.
Un sonido de pulsación de botón es importante porque el usuario no obtiene ninguna otra indicación cuando llega a la parte inferior del trazo de la tecla. Los indicadores de viaje clave pueden ser pequeños, sutiles y ocluidos. Al igual que con las interacciones de gestos, las pulsaciones de botón deben obtener un sonido táctil corto y táctil como un clic. Los despresores deben tener un sonido de clic similar, pero con tono elevado.
- Ejemplo: MRTK_ButtonPress.wav
- Ejemplo: MRTK_ButtonUnpress.wav
Es difícil confirmar visualmente una acción de captura o liberación. La mano del usuario a menudo estará en la forma de cualquier efecto visual, y los objetos con forma dura carecen de una analogía visual del mundo real de "agarrando". Los sonidos pueden comunicar eficazmente interacciones de captura y liberación correctas.
- Las acciones de toma deben tener un sonido táctil corto y algo silenciado que pide la idea de que los dedos se cierran alrededor de un objeto. A veces también hay un sonido "whoosh" que conduce al sonido agarrador para comunicar el movimiento de la mano.
Ejemplo: MRTK_Move_Start.wav - Las acciones de liberación deben obtener un sonido corto y táctil similar. Por lo general, es más bajo que el sonido de la toma y en orden inverso, con un impacto y luego un "whoosh" para comunicar que el objeto se está estableciendo en su lugar.
Ejemplo: MRTK_Move_End.wav
Una interacción de dibujo debe obtener un sonido persistente y en bucle con el volumen determinado por el movimiento de la mano del usuario. Debe ser silencioso cuando la mano del usuario sigue siendo y más fuerte cuando la mano se mueve rápidamente.
Interacciones de voz
Las interacciones de voz suelen tener elementos visuales sutiles. Usa sonidos para reforzar las fases de interacción. Es posible que quiera usar sonidos más tonales para distinguirlos de los sonidos de gestos y manipulación directa.
- Use un tono de sonido positivo para las confirmaciones de comandos de voz. Los tonos crecientes y los intervalos musicales principales son efectivos.
- Use un tono de sonido más corto y menos positivo para los errores de comandos de voz. Evite sonidos negativos. En su lugar, use un sonido más percusivo e neutro para comunicar que la aplicación pasa de la interacción.
- Si la aplicación tiene una palabra de reactivación, use un tono corto y suave cuando el dispositivo empiece a escuchar. Use un sonido de bucle sutil mientras la aplicación escucha .
Notificaciones
Las notificaciones indican cambios en el estado de la aplicación y otros eventos que el usuario no inició. Los cambios de estado pueden incluir finalizaciones de procesos, mensajes y llamadas telefónicas.
En realidad mixta, los objetos a veces salen del campo de vista del usuario. Empareja los objetos animados móviles con un sonido espacializado que depende del tipo de objeto y la velocidad de movimiento.
- Ayuda a reproducir un sonido espacializado al final de una animación para informar al usuario de la nueva posición del objeto.
- Para movimientos graduales, un sonido "whoosh" durante el movimiento ayuda al usuario a realizar un seguimiento del objeto.
Los sonidos de notificación de mensajes se pueden escuchar repetidamente, a veces en sucesión rápida. Es importante que no destaquen ni suenan duras. Los sonidos tonal positivos de rango medio son efectivos.
- Los sonidos de llamada entrante deben tener cualidades similares a un tono de llamada de teléfono celular. Estos sonidos son frases musicales en bucle que se reproducen hasta que el usuario responde a la llamada.
- La conexión de comunicación de voz y la desconexión deben tener un sonido corto y tonal. El sonido de conexión debe ser un tono positivo para indicar una conexión correcta. El sonido de desconexión debe ser un sonido neutro para indicar la finalización de la llamada.
Controlar la espacialización
La espacialización usa auriculares estéreo o altavoces para colocar sonidos en el mundo de la realidad mixta.
Qué sonidos para espacializar
Se debe espacializar un sonido cuando está asociado a un evento que tiene una ubicación espacial. Esto incluye la interfaz de usuario, las voces de ia incorporadas y los indicadores visuales.
Espacialice los elementos de la interfaz de usuario para ayudar a desordenar el "espacio" sónico del usuario limitando el número de sonidos estéreo que escuchan. Las interacciones de manipulación, como tocar, agarrar y liberar se sienten más naturales cuando los comentarios de audio se espacializan. Tenga en cuenta la siguiente información sobre la atenuación de distancia para estos elementos.
Espacialice indicadores visuales y voces de inteligencia artificial incorporadas para informar intuitivamente a los usuarios cuando estas cosas están fuera del campo de vista.
En cambio, evite la espacialización para las voces de inteligencia artificial sin rostro y otros elementos que carecen de una ubicación espacial bien definida. La espacialización sin un elemento visual relacionado puede distraer a los usuarios al pensar que hay un elemento visual que no pueden encontrar.
La espacialización incluye algunos costos de CPU. Muchas aplicaciones tienen como máximo dos sonidos reproduciendo simultáneamente. El costo de la espacialización en ese caso es probable que sea insignificante. Puede usar el monitor de velocidad de fotogramas de MRTK para juzgar el impacto de agregar espacialización.
Cuándo y cómo aplicar la atenuación basada en la distancia
En el mundo físico, los sonidos que están más lejos son más tranquilos. El motor de audio puede modelar esta atenuación en función de la distancia de origen. Use la atenuación basada en la distancia cuando comunique información relevante.
Las distancias a indicadores visuales, hologramas animados y otros sonidos informativos son relevantes para el usuario. Use la atenuación basada en distancia para proporcionar indicaciones de forma intuitiva.
Ajuste la curva de atenuación de cada origen para ajustarse al tamaño de los espacios del mundo de realidad mixta. La curva predeterminada del motor de audio suele estar pensada para espacios grandes (hasta medio kilómetro).
Los sonidos que refuerzan las fases progresivas de las acciones de botón y otras interacciones no deben aplicarse atenuaciones. Los efectos de refuerzo de estos sonidos son más importantes que comunicar la distancia con el botón. Las variaciones pueden distraerse, especialmente con los teclados, cuando se pueden escuchar muchos clics de botón en sucesión.
Qué tecnología de espacialización se va a usar
Con auriculares o altavoces HoloLens, use tecnologías de espacialización basadas en la función de transferencia relacionada con la cabeza (HRTF). Estas tecnologías modela la propagación de sonido alrededor de la cabeza en el mundo físico. Incluso cuando una fuente de sonido está en el lado lejano de la cabeza, el sonido se propaga al oído lejano con cierta atenuación y retraso. El movimiento panorámico del altavoz solo se basa en la atenuación y aplica la atenuación total en el oído izquierdo cuando los sonidos están en el lado derecho y el otro lado. Esta técnica puede ser incómodo para los agentes de escucha "audición normales" y inaccesibles para los agentes de escucha que son difíciles de escuchar en un oído.