附录 1:HPC 群集网络

Microsoft HPC Pack 支持五种群集拓扑,旨在满足各种用户需求和性能、可伸缩性、可管理性和访问要求。 这些拓扑通过群集中的节点相互连接和企业网络的方式进行区分。 根据为群集选择的网络拓扑,头节点可以向节点提供某些网络服务,例如动态主机配置协议 (DHCP) 和网络地址转换 (NAT) 。

在设置 HPC 群集之前,必须选择将用于群集的网络拓扑。

本节包括下列主题:

HPC 群集网络

下表列出了并描述了 HPC 群集可以连接到的网络。

网络名称 说明
企业网络 连接到头节点的组织网络,在某些情况下连接到群集中的其他节点。 企业网络通常是大多数用户登录以执行其工作的公共网络或组织网络。 所有群集内管理和部署流量都在企业网络上进行,除非专用网络和(可选)应用程序网络也连接群集节点。
专用网络 在节点之间传输群集内通信的专用网络。 此网络(如果存在)将承载管理、部署和应用程序流量(如果不存在应用程序网络)。
应用程序网络 专用网络,最好具有高带宽和低延迟。 此网络通常用于并行消息传递接口 (MPI) 群集节点之间的应用程序通信。

支持的 HPC 群集拓扑

HPC Pack 支持五种群集拓扑:

拓扑 1:专用网络上隔离的计算节点

下图演示了头节点和计算节点如何连接到此拓扑中的群集网络。

CCS 群集拓扑 1

下表列出了有关此拓扑中不同组件的详细信息。

组件 说明
网络适配器 - 头节点有两个网络适配器。
- 每个计算节点都有一个网络适配器。
- 头节点同时连接到企业网络和专用网络。
- 计算节点仅连接到专用网络。
交通 - 专用网络承载头节点和计算节点之间的所有通信,包括部署、管理和应用程序流量 (例如 MPI 通信) 。
网络服务 - 此拓扑的默认配置是在专用网络上启用 NAT 的,以便为计算节点提供地址转换,以及访问企业网络上的服务和资源。
- 默认情况下,在专用网络上启用 DHCP,以便将 IP 地址分配给计算节点。
- 如果专用网络上已安装 DHCP 服务器,则默认情况下将禁用 NAT 和 DHCP。
安全性 - 群集上的默认配置为企业网络打开防火墙,专用网络关闭防火墙。
选择此拓扑时的注意事项 - 群集性能更加一致,因为群集内通信路由到专用网络。
- 企业网络 ((如数据库和文件服务器)上的计算节点和资源之间的网络流量) 通过头节点。 因此,根据流量量,这可能会影响群集性能。
- 企业网络上的用户无法直接访问计算节点。 这在开发和调试在群集上使用的并行应用程序时有影响。
- 如果要将工作站节点添加到群集,并且这些节点已连接到企业网络,则工作站节点与计算节点之间的通信是不可能的。

拓扑 2:企业和专用网络上的所有节点

下图演示了头节点和计算节点如何连接到此拓扑中的群集网络。

CCS 群集拓扑 2

下表列出了有关此拓扑中不同组件的详细信息。

组件 说明
网络适配器 - 头节点有两个网络适配器。
- 每个附加群集节点都有两个网络适配器。
- 群集中的所有节点都连接到企业网络和专用群集网络。
交通 - 节点之间的通信(包括部署、管理和应用程序流量)在专用网络上进行。
- 来自企业网络的流量可以直接路由到计算节点。
网络服务 - 此拓扑的默认配置在专用网络上具有 DHCPenabled,用于向计算节点提供 IP 地址。
- 此拓扑中不需要 NAT,因为计算节点已连接到企业网络,因此默认情况下禁用此选项。
安全性 - 群集上的默认配置为企业网络打开防火墙,专用网络关闭防火墙。
选择此拓扑时的注意事项 - 此拓扑提供更一致的群集性能,因为群集内通信路由到专用网络。
- 此拓扑非常适合开发和调试应用程序,因为所有计算节点都连接到企业网络。
- 通过此拓扑,企业网络上的用户可以轻松访问计算节点。
- 此拓扑为计算节点提供对企业网络资源的直接访问。

拓扑 3:专用网络和应用程序网络上隔离的计算节点

下图演示了头节点和计算节点如何连接到此拓扑中的群集网络。

CCS 群集拓扑 3

下表列出了有关此拓扑中不同组件的详细信息。

组件 说明
网络适配器 - 头节点有三个网络适配器:一个用于企业网络,一个用于专用网络,一个高速适配器连接到应用程序网络,实现高性能。
- 每个计算节点都有两个网络适配器,一个用于专用网络,另一个用于应用程序网络。
交通 - 专用网络在头节点和计算节点之间承载部署和管理通信。
- 在群集上运行的 MPI 作业使用高性能应用程序网络进行跨节点通信。
网络服务 - 此拓扑的默认配置为专用网络启用了 DHCP 和 NAT,以便为计算节点提供 IP 寻址和地址转换。 默认情况下,DHCP 在应用程序网络上启用,但不是在 NAT 上启用的。
- 如果专用网络上已安装 DHCP 服务器,则默认情况下将禁用 NAT 和 DHCP。
安全性 - 群集上的默认配置为企业网络打开防火墙,在专用网络和应用程序网络上关闭防火墙。
选择此拓扑时的注意事项 - 此拓扑提供更一致的群集性能,因为群集内通信路由到专用网络,而应用程序通信在单独的隔离网络上路由。
- 此拓扑中的企业网络上的用户无法直接访问计算节点。 这在开发和调试在群集上使用的并行应用程序时有影响。
- 如果要在群集中添加工作站节点,并且这些节点已连接到企业网络,则工作站节点与计算节点之间的通信是不可能的。

拓扑 4:企业、专用和应用程序网络上的所有节点

下图演示了头节点和计算节点如何连接到此拓扑中的群集网络。

CCS 群集拓扑 4.

下表列出了有关此拓扑中不同组件的详细信息。

组件 说明
网络适配器 - 头节点和每个计算节点都有三个网络适配器:一个用于企业网络,一个用于专用网络,一个高速适配器连接到应用程序网络,实现高性能。
交通 - 专用群集网络仅承载部署和管理流量。
- 应用程序网络传输延迟敏感型流量,例如节点之间的 MPI 通信。
- 来自企业网络的网络流量直接到达计算节点。
网络服务 - 此拓扑的默认配置为专用网络和应用程序网络启用了 DHCP,以便向两个网络上的计算节点提供 IP 地址。
- 专用网络和应用程序网络禁用 NAT,因为计算节点已连接到企业网络。
安全性 - 群集上的默认配置为企业网络打开防火墙,在专用网络和应用程序网络上关闭防火墙。
选择此拓扑时的注意事项 - 此拓扑提供更一致的群集性能,因为群集内通信路由到专用网络,而应用程序通信在单独的隔离网络上路由。
- 此拓扑非常适合开发和调试应用程序,因为所有群集节点都连接到企业网络。
- 此拓扑使企业网络上的用户能够直接访问计算节点。
- 此拓扑为计算节点提供对企业网络资源的直接访问。

拓扑 5:仅在企业网络上的所有节点

下图演示了头节点和计算节点如何连接到此拓扑中的群集网络。

CCS 群集拓扑 5.

下表列出了有关此拓扑中不同组件的详细信息。

组件 说明
网络适配器 - 头节点有一个网络适配器。
- 所有计算节点都有一个网络适配器。
- 所有节点都位于企业网络上。
交通 - 所有流量(包括群集内、应用程序和企业流量)都通过企业网络传输。 这可以最大程度地提高用户和开发人员在企业网络上对计算节点的访问权限。
网络服务 - 此拓扑不需要 NAT 或 DHCP,因为计算节点已连接到企业网络。
安全性 - 群集上的默认配置为企业网络打开防火墙。
选择此拓扑时的注意事项 - 此拓扑为企业网络上的用户提供对计算节点的直接访问权限。
- 单个计算节点访问企业网络上的资源速度更快。
- 此拓扑(与拓扑 2 和拓扑 4 一样)非常适合开发和调试应用程序,因为所有群集节点都连接到企业网络。
- 此拓扑为计算节点提供对企业网络资源的直接访问。
- 由于所有节点仅连接到企业网络,因此无法使用 HPC Pack 中的部署工具从裸机或通过 iSCSI 部署节点。
- 建议使用此拓扑来添加通常已连接到企业网络) (工作站节点,因为工作站节点能够与群集中的所有其他类型的节点通信。

Internet 协议版本支持

若要支持 HPC 网络,必须为 IPv4 启用群集节点上的网络适配器。 支持仅 IPv4 和双堆栈 (IPv4 和 IPv6) 配置。 无法仅为 IPv6 启用网络适配器。

HPC 网络服务

根据为 HPC 群集选择的网络拓扑,头节点可以向连接到不同群集网络的节点提供网络地址转换 (NAT) 或动态主机配置协议 (DHCP) 。

网络地址转换 (NAT)

网络地址转换 (NAT) 提供了一种方法,用于将一个网络上计算机的 IPv4 地址转换为不同网络上计算机的 IPv4 地址。

在头节点上启用 NAT 可使专用或应用程序网络上的节点访问企业网络上的资源。 如果有另一台服务器在专用或应用程序网络上提供 NAT 或路由服务,则不需要启用 NAT。 此外,如果所有节点都连接到企业网络,则不需要 NAT。

DHCP 服务器

DHCP 服务器将 IP 地址分配给网络客户端。 根据 HPC 群集的检测到的配置和为群集选择的网络拓扑,节点将从运行 DHCP 的头节点、专用网络上的专用 DHCP 服务器或通过来自企业网络上服务器的 DHCP 服务接收 IP 地址。

备注

如果在 HPC Pack 2012 头节点上启用 DHCP 服务器,则默认情况下不会安装 DHCP 管理工具。 如果需要 DHCP 管理工具,可以使用添加角色和功能向导 GUI 或命令行工具将它们安装在头节点上。 有关详细信息,请参阅安装或卸载角色、角色服务或功能

Windows 防火墙配置

在群集中的节点上安装 HPC Pack 时,默认情况下会配置并启用两组特定于 HPC 的 Windows 防火墙规则:

  • HPC 专用 使头节点上的 Windows HPC 群集服务能够相互通信的规则。

  • HPC 公共 允许外部客户端与 Windows HPC 群集服务通信的规则。

根据群集中节点的角色 (例如头节点与计算节点) ,构成 HPC 专用 组和 HPC 公共 组的规则会有所不同。

若要进一步管理防火墙设置,可以配置 HPC Pack 是否在群集节点上的 Windows 防火墙中包含或排除单个网络适配器。 如果从 Windows 防火墙中排除了网络适配器,则通过该适配器完全打开与节点之间的通信,这与节点上启用或禁用的 Windows 防火墙规则无关。

网络配置向导中的“ 防火墙设置 ”页可帮助你根据这些网络适配器连接到的 HPC 网络,指定将从 Windows 防火墙中包括或排除哪些网络适配器。 还可以指定根本不希望 HPC Pack 管理网络适配器排除项。

备注

如果让 HPC Pack 为你管理网络适配器排除项,HPC Pack 会持续监视节点上的网络适配器排除项,并尝试将它们还原到你选择的设置。

如果将 HPC Pack 配置为管理网络适配器排除项,请为每个群集网络选择以下设置之一。

防火墙选择 说明
ON 不要从 Windows 防火墙中排除连接到该 HPC 网络的网络适配器。 影响除该网络上) 工作站节点之外的所有节点 (。
OFF 从 Windows 防火墙中排除连接到该 HPC 网络的网络适配器。 影响除该网络上) 工作站节点之外的所有节点 (。

注意

必须使用符合组织安全策略的 Windows 防火墙配置。

其他注意事项

  • 使用网络配置向导对防火墙设置进行更改时,这些更改将传播到群集 (中的所有现有节点(工作站节点和非托管服务器节点除外),) ,但更改最多可能需要 5 分钟才能在节点上生效。

  • 如果 HPC 群集包含专用网络或应用程序网络,则默认选择是在这些网络上创建网络适配器排除项, (即,这些 HPC 网络的默认设置为 OFF) 。 这可提供最佳性能和可管理性体验。 如果使用的是专用网络和应用程序网络,并且节点内安全性对你很重要,请隔离头节点后面的专用网络和应用程序网络。

  • 高级安全 Windows 防火墙中的管理工具或 Active Directory 中的组策略设置可以替代 HPC Pack 配置的某些防火墙设置。 这会对 Windows HPC 群集的功能产生负面影响。

  • 如果卸载头节点上的 HPC Pack,则默认情况下会根据为 HPC 群集网络配置 Windows 防火墙的方式,在连接到群集网络 (或禁用 Windows 防火墙) 。 如果需要,可以在卸载 HPC Pack 后,在 Windows 防火墙中手动重新配置受保护的连接。

  • 如果应用程序需要访问头节点或特定端口上的群集节点,则必须在 Windows 防火墙中为这些应用程序手动配置规则。

  • 可以使用 hpcfwutil 命令行工具检测、清除或修复 Windows HPC 群集中特定于 HPC 的 Windows 防火墙规则。 有关详细信息,请参阅 hpcfwutil

群集服务所需的防火墙端口

下表汇总了 HPC 群集节点上的服务所需的防火墙端口。 默认情况下,在安装 HPC Pack 期间,这些端口在 Windows 防火墙中打开。 (请参阅此表后面的 Windows 防火墙规则表中的详细信息。)

备注

如果使用非 Microsoft 防火墙,请手动配置必要的端口和规则,以便正确运行 HPC 群集。

端口号 协议 方向 用于
80 TCP 入站 任意
443 TCP 入站 任意
1856 TCP 入站 HpcNodeManager.exe
5800, 5801, 5802, 5969, 5970 TCP 入站 HpcScheduler.exe
5974 TCP 入站 HpcDiagnostics.exe
5999 TCP 入站 HpcScheduler.exe
6729, 6730 TCP 入站 HpcManagement.exe
7997 注意: 从 HPC Pack 2008 R2 Service Pack 1 开始配置此端口。 TCP 入站 HpcScheduler.exe
8677 TCP 入站 Msmpisvc.exe
9087 TCP 入站 HpcBroker.exe
9090 TCP 入站 HpcSession.exe
9091 TCP 入站 SMSvcHost.exe
9092 TCP 入站 HpcSession.exe
9094 注意: 从 HPC Pack 2012 开始配置此端口。 TCP 入站 HpcSession.exe
9095 注意: 从 HPC Pack 2012 开始配置此端口。 TCP 入站 HpcBroker.exe
9096 注意: 从 HPC Pack 2012 开始配置此端口。 TCP 入站 HpcSoaDiagMon.exe
9100 - 9163 注意: HPC Pack 2012 中未配置这些端口。 TCP 入站 HpcServiceHost.exe、HpcServiceHost32.exe
9200 - 9263 注意: 这些端口未在 HPC Pack 2012 中配置。 TCP 入站 HpcServiceHost.exe、HpcServiceHost32.exe
9794 TCP 入站 HpcManagement.exe
9892, 9893 TCP,UDP 注意: 此端口仅为 HPC Pack 2012 中的 TCP 配置。 入站 HpcSdm.exe
9894 注意: 从 HPC Pack 2012 开始配置此端口。 TCP、UDP 入站 HpcMonitoringServer.exe

Microsoft HPC Pack 配置的 Windows 防火墙规则

以下两个表中的 Windows 防火墙规则是在安装 HPC Pack 期间配置的。 并非所有规则都是在所有群集节点上配置的。

备注

在下表中,“工作站节点”是指工作站节点和非托管服务器节点。 可以从 HPC Pack 2008 R2 Service Pack 3 (SP3) 开始配置非托管服务器节点。

HPC 专用规则

规则名称 方向 群集节点 用于 协议 本地端口
HPC 部署服务器 (TCP-in) 入站 头节点 HpcManagement.exe TCP 9794
HPC 作业计划程序服务 (TCP-In、专用) 入站 头节点 HpcScheduler.exe TCP 5970
HPC MPI 时钟同步 (TCP-In) 入站 头节点、代理节点、计算节点、工作站节点 Mpisync.exe TCP 任意
HPC MPI Etl 到 clog 转换 (TCP-In) 入站 头节点、代理节点、计算节点、工作站节点 Etl2clog.exe TCP 任意
HPC MPI Etl 到 OTF 的转换 (TCP-In) 入站 头节点、代理节点、计算节点、工作站节点 Etl2otf.exe TCP 任意
HPC MPI Pingpong 诊断 (TCP-in) 入站 头节点、代理节点、计算节点、工作站节点 Mpipingpong.exe TCP 任意
HPC MPI 服务 (TCP-in) 入站 头节点、代理节点、计算节点、工作站节点 Msmpisvc.exe TCP 8677
HPC Node Manager 服务 (TCP-in) 入站 头节点、代理节点、计算节点、工作站节点 HpcNodeManager.exe TCP 1856
HPC 会话 (TCP-In、专用) 入站 头节点 HpcSession.exe TCP 9092
HPC SMPD (TCP-in) 入站 头节点、代理节点、计算节点、工作站节点 HpcSmpd.exe TCP 任意
HPC 应用程序集成端口共享 (TCP-Out) 出站 头节点、代理节点 SMSvcHost.exe TCP 任意
HPC MPI 时钟同步 (TCP-Out) 出站 头节点、代理节点、计算节点、工作站节点 Mpisync.exe TCP 任意
HPC MPI Etl 以阻塞转换 (TCP-Out) 出站 头节点、代理节点、计算节点、工作站节点 Etl2clog.exe TCP 任意
HPC MPI Etl 到 OTF 的转换 (TCP-Out) 出站 头节点、代理节点、计算节点、工作站节点 Etl2otf.exe TCP 任意
HPC MPI PingPong 诊断 (TCP 输出) 出站 头节点、代理节点、计算节点、工作站节点 Mpipingpong.exe TCP 任意
HPC Mpiexec (TCP-Out) 出站 头节点、代理节点、计算节点、工作站节点 Mpiexec.exe TCP 任意
HPC Node Manager 服务 (TCP 输出) 出站 头节点、代理节点、计算节点、工作站节点 HpcNodeManager.exe TCP 任意

HPC 公共规则

规则名称 方向 群集节点 用于 协议 本地端口
HPC 应用程序集成端口共享 (TCP-In) 入站 头节点、代理节点 SMSvcHost.exe TCP 9091
HPC Broker (TCP-in) 入站 头节点、代理节点 HpcBroker.exe TCP 9087, 9095
HPC Broker Worker (HTTP-In) 注意: 此规则从具有 Service Pack 1 的 HPC Pack 2008 R2 开始配置。 入站 头节点、代理节点 任意 TCP 80、443
HPC 诊断服务 (TCP-in) 入站 头节点 HpcDiagnostics.exe TCP 5974
HPC 文件暂存代理服务 (TCP-In) 注意: 此规则从 HPC Pack 2008 R2 Service Pack 1 开始配置。 入站 头节点 HpcScheduler.exe TCP 7997
HPC 文件暂存辅助角色服务 (TCP-In) 注意: 此规则从 HPC Pack 2008 R2 Service Pack 1 开始配置。 入站 头节点、代理节点、计算节点、工作站节点 HpcNodeManager.exe TCP 7998
HPC 主机 (TCP-in) 入站 头节点、代理节点、计算节点、工作站节点 HpcServiceHost.exe TCP - HPC Pack 2012:any
- HPC Pack 2008 R2:9100 - 9163
控制器的 HPC 主机 (TCP-In) 入站 头节点、代理节点、计算节点、工作站节点 HpcServiceHost.exe TCP - HPC Pack 2012:any
- HPC Pack 2008 R2:9200 - 9263
HPC 主机 x32 (TCP-In) 入站 头节点、代理节点、计算节点、工作站节点 HpcServiceHost32.exe TCP - HPC Pack 2012:any
- HPC Pack 2008 R2:9100 - 9163
适用于控制器的 HPC 主机 x32 (TCP-In) 入站 头节点、代理节点、计算节点、工作站节点 HpcServiceHost32.exe TCP - HPC Pack 2012:any
- HPC Pack 2008 R2:9200 - 9263
HPC 作业计划程序服务 (TCP-In) 入站 头节点 HpcScheduler.exe TCP 5800, 5801, 5969, 5999
HPC 管理服务 (TCP-in) 入站 头节点、代理节点、计算节点、工作站节点 HpcManagement.exe TCP 6729, 6730
HPC Monitoring Server Service (TCP-In) 注意: 此规则从 HPC Pack 2012 开始配置。 入站 头节点、代理节点、计算节点、工作站节点 HpcMonitoringServer.exe TCP 9894
HPC Monitoring Server (UDP-In) 注意: 此规则从 HPC Pack 2012 开始配置。 头节点 HpcMonitoring Server.exe UDP 9894
) 中的 HPC Reporting Database ( 入站 头节点 Sqlservr.exe 任意 任意
HPC SDM 存储服务 (TCP-in) 入站 头节点 HpcSdm.exe TCP 9892, 9893
HPC SDM Store Service (UDP-In) 注意: HPC Pack 2012 未配置此规则。 入站 头节点 HpcSdm.exe UDP 9893
HPC 会话 (HTTPS-in) 入站 头节点 任意 TCP 443
HPC 会话 (TCP-In) 入站 头节点 HpcSession.exe TCP 9090, 9094
HPC SOA Diag Monitor 服务 (TCP-in) 注意: 此规则从 HPC Pack 2012 开始配置。 入站 头节点 HpcSoaDiagMon.exe 9096
) 中的 SQL 浏览器 ( 入站 头节点 Sqlbrowser.exe 任意 任意
HPC Broker (out) 出站 头节点、代理节点 HpcBroker.exe 任意 任意
HPC Broker 辅助角色 (TCP 输出) 出站 头节点、代理节点 HpcBrokerWorker.exe TCP 任意
HPC 作业计划程序服务 (TCP 输出) 出站 头节点 HpcScheduler.exe TCP 任意
HPC 管理服务 (TCP 输出) 出站 头节点、代理节点、计算节点、工作站节点 HpcManagement.exe TCP 任意
HPC 会话 (输出) 出站 头节点 HpcSession.exe 任意 任意
HPC SOA Diag Mon 服务 (TCP-Out) 注意: 从 HPC Pack 2012 开始配置此规则。 出站 头节点、代理节点、计算节点、工作站节点 HPCSoaDiagMon.exe TCP 任意

用于与 Windows Azure 节点通信的防火墙端口

下表列出了任何内部或外部防火墙中的端口,默认情况下必须使用 HPC Pack 2008 R2 和 Service Pack 3、Service Pack 4 或 HPC Pack 2012 来部署和操作 Windows Azure 节点。

协议 方向 端口 目的
TCP 出站 443 HTTPS

- 节点部署
- 与 Windows Azure 存储通信
- 与 REST 管理 API 通信

非 HTTPS TCP 流量

- 面向服务的体系结构 (SOA) 服务
- 文件暂存
- 作业计划
TCP 出站 3389 RDP

- 与节点的远程桌面连接

下表列出了任何内部或外部防火墙中的端口,这些端口必须使用 HPC Pack 2008 R2 与 Service Pack 1 或 Service Pack 2 来部署和操作 Windows Azure 节点。

协议 方向 端口 目的
TCP 出站 80 HTTP

- 节点部署
TCP 出站 443 HTTPS

- 节点部署
- 与 Windows Azure 存储通信
- 与 REST 管理 API 通信
TCP 出站 3389 RDP

- 与节点的远程桌面连接
TCP 出站 5901 面向服务的体系结构 (SOA) 服务

- SOA 代理
TCP 出站 5902 SOA 服务

- SOA 代理控制
TCP 出站 7998 文件暂存
TCP 出站 7999 作业计划

还原到早期 Windows Azure 防火墙端口配置的注册表设置

如果群集至少运行 HPC Pack 2008 R2 和 SP3,则可以将头节点配置为使用 HPC Pack 2008 R2 SP1 或 SP2 所需的网络防火墙端口而不是默认端口 443 与 Windows Azure 通信。 若要更改所需的端口,请在 HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\HPC下配置注册表设置。 配置名为 WindowsAzurePortsSetting 的 DWORD,并将数据设置为零 (0) 。 配置此注册表设置后,必须重启头节点才能重启 HPC 服务。 还必须确保正确配置任何内部或外部防火墙端口,并使用以前配置的端口设置重新部署任何 Windows Azure 节点。

注意

不正确地编辑注册表可能会对系统造成严重损坏。 在更改注册表之前,应备份计算机上任何有价值的数据。

网络资源