查看 Azure Local 的四节点存储无交换机、双 TOR、双链路部署网络参考模式

项目
02/11/2025

适用于：Azure 本地 2411.1 及更高版本

本文介绍如何将四节点存储无交换机网络参考模式与两个 TOR L3 交换机和两个全网格链接配合使用来部署 Azure 本地解决方案。

注意

Microsoft已测试并验证本文中所述的四节点无交换机网络参考模式。

方案

此网络模式的方案包括实验室、工厂、分支机构和数据中心。

在查找跨所有网络组件具有容错能力且具成本效益的解决方案时，请考虑实现此模式。

此模式完全支持 SDN L3 服务。如果边界网关协议（BGP）等路由服务支持 L3 服务，可以直接在 TOR 交换机上配置。微分段或 QoS 等网络安全功能不需要额外配置防火墙设备，因为它们是在虚拟网络适配器层实现的。

物理连接组件

如以下四节点网络图所示，此模式具有以下物理网络组件：

对于北行和南行通信，Azure 本地实例需要在多机箱链路聚合组（MLAG）配置中配置两个 TOR 交换机。
使用 SET 虚拟交换机处理管理和计算流量的两张网卡，连接到 TOR 交换机。每个网络接口端口都连接到不同的 TOR。
在每个节点上使用 6 个 RDMA NIC，采用全网状双链路配置，用于存储的东-西向流量。系统中每个节点都有一个冗余连接，其中两个路径指向系统中另一个节点。

网络	管理和计算	存储
链接速度	至少 1 GBps。建议使用 10 GBps	至少 10 GBps
接口类型	RJ45、SFP+ 或 SFP28	SFP+ 或 SFP28
端口和聚合	两个组合端口	四个独立的端口

逻辑网络

用于 SMB 流量的节点互连网络 VLAN（存储和实时迁移）

基于存储意向的流量由支持 RDMA 流量的 12 个单个子网组成。每个接口专用于单独的节点互连网络。此流量仅用于在四个节点之间传输。这些子网上的存储流量是隔离的，无需连接到其他资源。

节点之间的每对存储适配器在不同的 IP 子网中运行。若要启用无交换机配置，每个连接的节点都支持其邻居的相同匹配子网。

在无交换机配置中部署四个节点时，网络 ATC 具有以下要求：

仅支持用于存储连接的所有 IP 子网的单个 VLAN。
StorageAutoIP 参数必须设置为 false，Switchless 参数必须设置为 true，并且必须在用于从 Azure 部署 Azure 本地实例的 Azure 资源管理器（ARM）模板上指定 IP。
对于 Azure Local：
- 不支持横向扩展存储无交换机系统。
- 只能使用 ARM 模板部署此四节点方案。

有关详细信息，请参阅利用 Azure 资源管理器部署模板进行部署。

管理 VLAN

所有物理计算主机都必须访问管理逻辑网络。出于 IP 地址规划目的，每个主机必须至少有一个从管理逻辑网络分配的 IP 地址。

DHCP 服务器可以自动为管理网络分配 IP 地址，也可以手动分配静态 IP 地址。当 DHCP 是首选 IP 分配方法时，建议使用不过期的 DHCP 预留。

有关信息，请参阅云部署的 DHCP 网络注意事项。

管理网络支持两种不同的 VLAN 流量配置 - 原生和标记：

用于管理网络的原生 VLAN 不需要用户提供 VLAN ID。
在 Azure Arc 中注册节点之前，管理网络的标记 VLAN 需要在物理网络适配器或管理虚拟网络适配器上配置 VLAN ID。
必须正确配置物理交换机端口才能接受管理适配器上的 VLAN ID。
如果意向包括管理和计算流量类型，则必须在中继模式下配置物理交换机端口，以接受管理和计算工作负荷所需的所有 VLAN。

管理网络支持管理员用于管理系统的流量，包括远程桌面、Windows Admin Center 和 Active Directory。

有关详细信息，请参阅管理 VLAN 网络注意事项。

计算 VLAN

在某些情况下，无需将 SDN 虚拟网络与 VXLAN 封装配合使用。相反，可以使用传统的 VLAN 来隔离其租户工作负荷。需要在中继模式下的 TOR 交换机端口上配置这些 VLAN。将新虚拟机连接到这些 VLAN 时，会在虚拟网络适配器上定义相应的 VLAN 标记。

HNV 提供商地址 (PA) 网络

Hyper-V 网络虚拟化提供商地址 (HNV PA) 网络充当东-西向（内部-内部）租户流量、北-南向（外部-内部）租户流量的基础物理网络，以及用于与物理网络交换 BGP 对等互连信息。仅当需要使用 VXLAN 封装部署虚拟网络时，才需要此网络才能实现额外的隔离层和网络多租户。

有关详细信息，请参阅规划软件定义的网络基础结构。

网络 ATC 意向

对于四节点无交换机存储模式，创建了两个网络 ATC 意向。第一个意向用于管理和计算网络流量，第二个意向用于存储流量。

管理和计算意向

意图类型：管理和计算
意向模式：群集模式
组合：是。 pNIC01 和 pNIC02 组合。
默认管理 VLAN：管理适配器所配置的 VLAN 未被修改。
PA 和计算 VLAN 和 vNIC：网络 ATC 对 PA vNIC 和 VLAN 或计算 VM vNIC 和 VLAN 是透明的。

存储意向

意向类型：存储
意向模式：群集模式
组合：否。 RDMA NIC 使用 SMB 多通道来实现恢复能力和带宽聚合。
默认 VLAN：所有子网的单个 VLAN。
存储自动 IP：False。此模式需要手动 IP 配置或 ARM 模板 IP 定义。
需要 12 个子网（用户定义的）：
- 存储网络 1：10.0.1.0/24 – Node1 -> Node2
- 存储网络 2：10.0.2.0/24 – Node1 -> Node2
- 存储网络 3：10.0.3.0/24 – Node1 -> Node3
- 存储网络 4：10.0.4.0/24 – Node1 -> Node3
- 存储网络 5：10.0.5.0/24 – Node1 -> Node4
- 存储网络 6：10.0.6.0/24 – Node1 -> Node4
- 存储网络 7：10.0.7.0/24 – Node2 -> Node3
- 存储网络 8：10.0.8.0/24 – Node2 -> Node3
- 存储网络 9：10.0.9.0/24 – Node2 -> Node4
- 存储网络 10：10.0.10.0/24 – Node2 -> Node4
- 存储网络 11：10.0.11.0/24 – Node3 -> Node4
- 存储网络 12：10.0.12.0/24 – Node3 -> Node4

有关详细信息，请参阅使用网络 ATC 部署主机网络。

ARM 模板存储意向网络配置示例

可以使用四节点存储无交换机、双 TOR 和双链路的 ARM 模板。

          "storageNetworkList": {
            "value": [
                {
                  "name": "StorageNetwork1",
                  "networkAdapterName": "SMB1",
                  "vlanId": "711",
                  "storageAdapterIPInfo": [
                    {
                        "physicalNode": "Node1",
                        "ipv4Address": "10.0.1.2",
                        "subnetMask": "255.255.255.0"
                    },
                    {
                        "physicalNode": "Node2",
                        "ipv4Address": "10.0.1.3",
                        "subnetMask": "255.255.255.0"
                    },
                    {
                        "physicalNode": "Node3",
                        "ipv4Address": "10.0.3.3",
                        "subnetMask": "255.255.255.0"
                    },
                    {
                        "physicalNode": "Node4",
                        "ipv4Address": "10.0.5.3",
                        "subnetMask": "255.255.255.0"
                    }
                    ]
                },
                {
                  "name": "StorageNetwork2",
                  "networkAdapterName": "SMB2",
                  "vlanId": "711",
                  "storageAdapterIPInfo": [
                    {
                        "physicalNode": "Node1",
                        "ipv4Address": "10.0.2.2",
                        "subnetMask": "255.255.255.0"
                    },
                    {
                        "physicalNode": "Node2",
                        "ipv4Address": "10.0.2.3",
                        "subnetMask": "255.255.255.0"
                    },
                    {
                        "physicalNode": "Node3",
                        "ipv4Address": "10.0.4.3",
                        "subnetMask": "255.255.255.0"
                    },
                    {
                        "physicalNode": "Node4",
                        "ipv4Address": "10.0.6.3",
                        "subnetMask": "255.255.255.0"
                    }
                    ]
                },
                {
                  "name": "StorageNetwork3",
                  "networkAdapterName": "SMB3",
                  "vlanId": "711",
                  "storageAdapterIPInfo": [
                    {
                        "physicalNode": "Node1",
                        "ipv4Address": "10.0.3.2",
                        "subnetMask": "255.255.255.0"
                    },
                    {
                        "physicalNode": "Node2",
                        "ipv4Address": "10.0.7.2",
                        "subnetMask": "255.255.255.0"
                    },
                    {
                        "physicalNode": "Node3",
                        "ipv4Address": "10.0.7.3",
                        "subnetMask": "255.255.255.0"
                    },
                    {
                        "physicalNode": "Node4",
                        "ipv4Address": "10.0.9.3",
                        "subnetMask": "255.255.255.0"
                    }
                  ]
              },
              {
                "name": "StorageNetwork4",
                "networkAdapterName": "SMB4",
                "vlanId": "711",
                "storageAdapterIPInfo": [
                    {
                        "physicalNode": "Node1",
                        "ipv4Address": "10.0.4.2",
                        "subnetMask": "255.255.255.0"
                    },
                    {
                        "physicalNode": "Node2",
                        "ipv4Address": "10.0.8.2",
                        "subnetMask": "255.255.255.0"
                    },
                    {
                        "physicalNode": "Node3",
                        "ipv4Address": "10.0.8.3",
                        "subnetMask": "255.255.255.0"
                    },
                    {
                        "physicalNode": "Node4",
                        "ipv4Address": "10.0.10.3",
                        "subnetMask": "255.255.255.0"
                    }
                ]
            },
            {
                "name": "StorageNetwork5",
                "networkAdapterName": "SMB5",
                "vlanId": "711",
                "storageAdapterIPInfo": [
                    {
                        "physicalNode": "Node1",
                        "ipv4Address": "10.0.5.2",
                        "subnetMask": "255.255.255.0"
                    },
                    {
                        "physicalNode": "Node2",
                        "ipv4Address": "10.0.9.2",
                        "subnetMask": "255.255.255.0"
                    },
                    {
                        "physicalNode": "Node3",
                        "ipv4Address": "10.0.11.2",
                        "subnetMask": "255.255.255.0"
                    },
                    {
                        "physicalNode": "Node4",
                        "ipv4Address": "10.0.11.3",
                        "subnetMask": "255.255.255.0"
                    }
                ]
            },
            {
                "name": "StorageNetwork6",
                "networkAdapterName": "SMB6",
                "vlanId": "711",
                "storageAdapterIPInfo": [
                    {
                        "physicalNode": "Node1",
                        "ipv4Address": "10.0.6.2",
                        "subnetMask": "255.255.255.0"
                    },
                    {
                        "physicalNode": "Node2",
                        "ipv4Address": "10.0.10.2",
                        "subnetMask": "255.255.255.0"
                    },
                    {
                        "physicalNode": "Node3",
                        "ipv4Address": "10.0.12.2",
                        "subnetMask": "255.255.255.0"
                    },
                    {
                        "physicalNode": "Node4",
                        "ipv4Address": "10.0.12.3",
                        "subnetMask": "255.255.255.0"
                    }
                ]
            }
            ]
        },

通过