Holographic Remoting 术语

全息远程处理结合了高级技术并使用了许多术语,这会带来一些歧义。 因此,以下部分将列出与全息远程处理相关的一些术语。

注意

这些术语的说明是关于使用全息远程处理的大致、简单的说明,它不是一项技术说明。

术语 说明
玩家 “播放器”是在你的头盔式显示器上运行的应用程序。 “播放器”将姿势发送到“远程”应用程序并从“远程”接收视频帧作为交换,所有这些都是实时操作。 可以在 Windows 商店中找到全息远程处理播放器。 商店“播放器”提供使用全息远程处理的常规功能。 可以将商店“播放器”用于各种“远程”应用程序,而无需创建“播放器”应用程序。 如果需要在“播放器”应用程序中扩展功能,可以编写自己的“播放器”。 有关详细信息,请参阅编写自定义播放器应用
远程 “远程”是在台式计算机或云中的虚拟机上运行的应用程序。 “远程”从“播放器”接收姿势,执行计算密集型呈现,并将视频帧发送回“播放器”。 可以在全息远程处理示例 github 存储库中找到 C++“远程”示例。 如果在 UnityUnreal 中使用全息远程处理,则游戏引擎就是“远程”应用程序。
服务器 服务器侦听传入连接。 通过全息远程处理,可以实现“播放器”或“远程”服务器的按需定制。 此功能是我们使用额外术语“播放器”和“远程”的原因。 例如,商店“播放器”作为服务器运行,该服务器等待来自“远程”客户端的连接。 如果自定义“播放器”应为客户端,则可以将“远程”应用配置为服务器。
客户端 客户端连接到服务器。 如前所述,通过全息远程处理,“播放器”或“远程”可以成为客户端。 如果“播放器”必须是客户端,则可以创建自定义“播放器”。 有关详细信息,请参阅编写自定义播放器应用
主机名 主机名用于标识网络中的设备。 若要建立全息远程处理连接,必须在客户端提供服务器的主机名(例如 IP 地址)。 对于主机名,客户端知晓其可以在网络中找到服务器的位置。
端口 许多 Internet 协议(如 TCP 或 UDP)使用端口将数据包分配到正确的进程。 对于全息远程处理连接,还必须提供客户端和服务器应使用的端口。 这两端的默认端口为 8265。
TCP 传输控制协议 (TCP) 是一种常见的网络协议。 TCP 通过执行三向握手来创建客户端和服务器之间的连接。 TCP 是一种“可靠”协议,该协议会检测错误,并在数据包丢失时执行重新传输。 遗憾的是,可靠性伴随着额外延迟带来的成本增加。
UDP 用户数据报协议是一种无连接的“不可靠”协议。 如果数据包丢失,UDP 不会重新发送。 UDP 的一个优点是,其延迟较 TCP 而言更低。 对于实时应用程序(如全息远程处理),减少延迟很重要。 幸运的是,并非所有数据都必须以可靠的方式发送;这应允了 UDP 的使用。 例如,“播放器”将姿势以高频率实时发送到“远程”。 如果包含姿势数据的其中一个数据包丢失,则等待重新传输将花费很长时间,以至于姿势已经过时。 在这种情况下,“远程”只需使用后续的新姿势之一。
防火墙 防火墙保护系统免受不必要的网络访问。 根据防火墙设置,你必须允许全息远程处理应用程序和使用的端口才能成功连接。
数据通道 数据通道用于在“播放器”和“远程”之间发送某些数据。 全息远程处理使用各种数据通道,如视频和音频。 如果需要在“播放器”和“远程”应用之间发送自定义数据,则可以使用自定义数据通道。 所有数据通道(包括自定义数据通道)共享可用带宽。 有关详细信息,请参阅提供 OpenXR API 的自定义数据通道提供 Windows Mixed Reality API 的自定义数据通道
带宽 通常,带宽表示每秒可传输的位数。 对于全息远程处理,“播放器”与“远程”应用程序之间的可用带宽对于体验非常重要。 可以在“远程”应用程序上配置全息远程处理应使用的最大带宽。 实际可用带宽取决于各种因素,例如物理连接或网络中的其他流量。 全息远程处理会对可用带宽中的更改进行尽可能的补偿,视频编码器将通过调整视频流的质量来处理这些更改。
视频编码器 “远程”应用程序使用硬件加速视频编码将呈现的图像压缩到视频流中。 此压缩是必需的,因为无法实时传输未压缩的视频数据。 在“远程”应用程序中,可以选择用于编码的视频编解码器。 有关详细信息,请参阅使用 OpenXR API 编写远程应用使用 Windows Mixed Reality API 编写远程应用
视频解码器 视频解码器用于解码“播放器”端上的编码图像。 视频解码也经过硬件加速,以最大限度地减少“播放器”和“远程”之间的延迟。
延迟 延迟是指将数据从一端传递到另一端所需的时间量。 全息远程处理用于实时应用程序。 因此,“播放器”与“远程”应用程序之间的延迟在体验中扮演着重要的角色。 如果转过头来却没有立即看到 HMD 中的变更,将会影响体验感。 全息远程处理经过高度优化,将延迟降到最低;在另一台计算机上呈现图像可能就不会引起注意。
Windows Mixed Reality API Windows Mixed Reality API(有时被称为“HolographicSpace API”)是一种在 Windows 10 中引入的 API,其允许对 Windows Mixed Reality 设备进行访问。 使用全息远程处理时,可以使用 Windows Mixed Reality API 实时流式传输到 Windows Mixed Reality 设备。
OpenXR API OpenXR 是一项新的开放标准,可提供对跨不同供应商的 XR 平台和设备的访问权限。 全息远程处理提供了 OpenXR 运行时,它允许实时流式传输到 XR 设备。 使用全息远程处理时,还可以将 Windows Mixed Reality“播放器”与 OpenXR“远程”一起使用。

另请参阅