空间音效概述

在现实生活中,空间音效非常重要。 当有人叫你的姓名时,你知道往哪个方向看。 如果你在人行道上掉了一个硬币,你可以判断它已经往哪个方向滚动。 为什么? 因为你可以听到“立体声”--换言之,你可以在环境中确定声音发生的位置。

在混合现实应用中,你可能必须上下、左右或前后观看才能了解所发生的事情。 有时,你可能不清楚应该往哪看。 空间音效将全息影像与混合现实世界更深入地联系起来,并提供有关环境和物体状态的信息。 你可以根据想要引起用户注意的方向提供提示;这有助于用户维持对真实环境的认知,并且可以引导他们完成后续步骤。 这会提高用户对手势和语音交互的信心。

在混合现实中使用声音需要使用不同于触摸和键盘与鼠标应用的方法。 关键的声音设计决策包括对哪些声音空间化,对哪些交互音效化。 有关详细指南,请参阅我们的空间音效最佳做法一文。

空间化

空间化是空间音效的方向性组件。 对于 7.1 家庭影院设置,空间化就像在扬声器之间平移一样简单。 但对于混合现实中的耳机,使用基于 HRTF 的技术以确保准确性和舒适度至关重要。 Windows 提供基于 HRTF 的空间化,这种支持在 HoloLens 2 上得到了硬件加速。

有关在应用程序中有效使用空间化的建议,请参阅空间音效最佳做法

设备支持

功能 HoloLens(第一代) HoloLens 2 沉浸式头戴显示设备
空间化
空间化硬件加速

案例研究

HoloTour 通过虚拟方式带领用户前往世界各地的旅游和历史景点。 请参阅 HoloTour 声音设计案例研究。 使用特殊的麦克风和渲染设置来捕获主体空间。

RoboRaid 是一种适用于 HoloLens 的高能射击类游戏。 RoboRaid 声音设计案例研究介绍了用于确保空间音效产生最生动效果而做出的设计选择。

空间定位器个性化

混合现实头戴显示设备(包括 HoloLens)的低延迟头部跟踪支持基于 HRTF 的高品质空间化。

HRTF 在整个频谱范围内控制耳朵之间的电平和相位差。 它们基于人体头部、躯干和耳朵形状(耳廓)的物理模型和测量值。 我们的大脑会对这些差异做出响应,判断出感知到的声音的方向。

每个人的耳朵形状、头部大小和耳朵位置各不相同。 因此,与个人情况相符的才是最佳 HRTF。 为了提高空间化准确度,HoloLens 会使用你与头戴显示设备之间的瞳距 (IPD) 来针对头部大小调整 HRTF。

空间定位器平台支持

Windows 通过 ISpatialAudioClient API 提供空间化(包括 HRTF)。 此 API 向应用程序公开 HoloLens 2 HRTF 硬件加速。

空间定位器中间件支持

以下第三方音频引擎支持 Windows 的 HRTF。

音响效果

空间音效不仅仅涉及方向。 其他维度包括封闭、障碍、混响、入站和源建模。 这些维度统称为“音响效果”。 如果没有音响效果,空间化声音就会缺少感知距离。

音响效果处理范围从简单到复杂不等。 可以使用任何音频引擎支持的混响,将空间化声音推送到听者的环境中。 音响效果系统(如项目音响效果)提供更丰富且更具吸引力的音响效果处理。 项目音响效果可以模拟墙壁、门和其他场景几何体对声音的影响。 这是一个有效的案例选项,其中的相关场景几何体在开发时已知。

后续步骤