Holographic Remoting 术语
全息远程处理结合了高级技术并使用了许多术语,这会带来一些歧义。 因此,以下部分将列出与全息远程处理相关的一些术语。
注意
这些术语的说明是关于使用全息远程处理的大致、简单的说明,它不是一项技术说明。
术语 | 说明 |
---|---|
玩家 | “播放器”是在你的头盔式显示器上运行的应用程序。 “播放器”将姿势发送到“远程”应用程序并从“远程”接收视频帧作为交换,所有这些都是实时操作。 可以在 Windows 商店中找到全息远程处理播放器。 商店“播放器”提供使用全息远程处理的常规功能。 可以将商店“播放器”用于各种“远程”应用程序,而无需创建“播放器”应用程序。 如果需要在“播放器”应用程序中扩展功能,可以编写自己的“播放器”。 有关详细信息,请参阅编写自定义播放器应用 |
远程 | “远程”是在台式计算机或云中的虚拟机上运行的应用程序。 “远程”从“播放器”接收姿势,执行计算密集型呈现,并将视频帧发送回“播放器”。 可以在全息远程处理示例 github 存储库中找到 C++“远程”示例。 如果在 Unity 或 Unreal 中使用全息远程处理,则游戏引擎就是“远程”应用程序。 |
服务器 | 服务器侦听传入连接。 通过全息远程处理,可以实现“播放器”或“远程”服务器的按需定制。 此功能是我们使用额外术语“播放器”和“远程”的原因。 例如,商店“播放器”作为服务器运行,该服务器等待来自“远程”客户端的连接。 如果自定义“播放器”应为客户端,则可以将“远程”应用配置为服务器。 |
客户端 | 客户端连接到服务器。 如前所述,通过全息远程处理,“播放器”或“远程”可以成为客户端。 如果“播放器”必须是客户端,则可以创建自定义“播放器”。 有关详细信息,请参阅编写自定义播放器应用。 |
主机名 | 主机名用于标识网络中的设备。 若要建立全息远程处理连接,必须在客户端提供服务器的主机名(例如 IP 地址)。 对于主机名,客户端知晓其可以在网络中找到服务器的位置。 |
端口 | 许多 Internet 协议(如 TCP 或 UDP)使用端口将数据包分配到正确的进程。 对于全息远程处理连接,还必须提供客户端和服务器应使用的端口。 这两端的默认端口为 8265。 |
TCP | 传输控制协议 (TCP) 是一种常见的网络协议。 TCP 通过执行三向握手来创建客户端和服务器之间的连接。 TCP 是一种“可靠”协议,该协议会检测错误,并在数据包丢失时执行重新传输。 遗憾的是,可靠性伴随着额外延迟带来的成本增加。 |
UDP | 用户数据报协议是一种无连接的“不可靠”协议。 如果数据包丢失,UDP 不会重新发送。 UDP 的一个优点是,其延迟较 TCP 而言更低。 对于实时应用程序(如全息远程处理),减少延迟很重要。 幸运的是,并非所有数据都必须以可靠的方式发送;这应允了 UDP 的使用。 例如,“播放器”将姿势以高频率实时发送到“远程”。 如果包含姿势数据的其中一个数据包丢失,则等待重新传输将花费很长时间,以至于姿势已经过时。 在这种情况下,“远程”只需使用后续的新姿势之一。 |
防火墙 | 防火墙保护系统免受不必要的网络访问。 根据防火墙设置,你必须允许全息远程处理应用程序和使用的端口才能成功连接。 |
数据通道 | 数据通道用于在“播放器”和“远程”之间发送某些数据。 全息远程处理使用各种数据通道,如视频和音频。 如果需要在“播放器”和“远程”应用之间发送自定义数据,则可以使用自定义数据通道。 所有数据通道(包括自定义数据通道)共享可用带宽。 有关详细信息,请参阅提供 OpenXR API 的自定义数据通道或提供 Windows Mixed Reality API 的自定义数据通道。 |
带宽 | 通常,带宽表示每秒可传输的位数。 对于全息远程处理,“播放器”与“远程”应用程序之间的可用带宽对于体验非常重要。 可以在“远程”应用程序上配置全息远程处理应使用的最大带宽。 实际可用带宽取决于各种因素,例如物理连接或网络中的其他流量。 全息远程处理会对可用带宽中的更改进行尽可能的补偿,视频编码器将通过调整视频流的质量来处理这些更改。 |
视频编码器 | “远程”应用程序使用硬件加速视频编码将呈现的图像压缩到视频流中。 此压缩是必需的,因为无法实时传输未压缩的视频数据。 在“远程”应用程序中,可以选择用于编码的视频编解码器。 有关详细信息,请参阅使用 OpenXR API 编写远程应用或使用 Windows Mixed Reality API 编写远程应用。 |
视频解码器 | 视频解码器用于解码“播放器”端上的编码图像。 视频解码也经过硬件加速,以最大限度地减少“播放器”和“远程”之间的延迟。 |
延迟 | 延迟是指将数据从一端传递到另一端所需的时间量。 全息远程处理用于实时应用程序。 因此,“播放器”与“远程”应用程序之间的延迟在体验中扮演着重要的角色。 如果转过头来却没有立即看到 HMD 中的变更,将会影响体验感。 全息远程处理经过高度优化,将延迟降到最低;在另一台计算机上呈现图像可能就不会引起注意。 |
Windows Mixed Reality API | Windows Mixed Reality API(有时被称为“HolographicSpace API”)是一种在 Windows 10 中引入的 API,其允许对 Windows Mixed Reality 设备进行访问。 使用全息远程处理时,可以使用 Windows Mixed Reality API 实时流式传输到 Windows Mixed Reality 设备。 |
OpenXR API | OpenXR 是一项新的开放标准,可提供对跨不同供应商的 XR 平台和设备的访问权限。 全息远程处理提供了 OpenXR 运行时,它允许实时流式传输到 XR 设备。 使用全息远程处理时,还可以将 Windows Mixed Reality“播放器”与 OpenXR“远程”一起使用。 |