查看 Azure 本地的三节点存储无交换机、双 TOR、双链路部署网络参考模式

项目
11/23/2024

> 适用于：Azure 本地版本 23H2 及更高版本

本文介绍如何使用两个 TOR L3 交换机和两个全网格链接网络参考模式（可用于部署 Azure 本地解决方案）的三节点存储无交换机。

注意

本文中所述的 3 节点无交换机网络参考模式已经过Microsoft测试和验证。有关双节点无交换机网络模式的信息，请参阅 Azure 本地网络部署模式。

方案

此网络模式的方案包括实验室、工厂、分支机构和数据中心。

寻求一种可跨所有网络组件容错的高性价比解决方案时，请考虑实现此模式。此模式完全支持 SDN L3 服务。如果边界网关协议（BGP）等路由服务支持 L3 服务，可以直接在 TOR 交换机上配置。微分段或 QoS 等网络安全功能不需要额外配置防火墙设备，因为它们是在虚拟网络适配器层实现的。

物理连接组件

如上图所示，此模式具有以下物理网络组件：

对于北行和南行通信，Azure 本地实例需要在多机箱链路聚合组（MLAG）配置中配置两个 TOR 交换机。
使用 SET 虚拟交换机处理管理和计算流量（连接到 TOR 交换机）的两张网卡。每个 NIC 都连接到不同的 TOR。
用于存储的东西方流量的完整网格双链路配置中的每个节点上的四个 RDMA NIC。系统中每个节点都有一个冗余连接，其中两个路径指向系统中另一个节点。

网络	管理和计算	存储
链接速度	至少 1 GBps。建议使用 10 GBps	至少 10 GBps
接口类型	RJ45、SFP+ 或 SFP28	SFP+ 或 SFP28
端口和聚合	两个组合端口	四个独立的端口

Logical networks

如下图所示，此模式采用以下逻辑网络组件：

用于 SMB 流量的节点互连网络 VLAN（存储和实时迁移）

基于存储意向的流量由六个支持 RDMA 流量的单个子网组成。每个接口专用于单独的节点互连网络。此流量仅用于在三个节点之间传输。这些子网上的存储流量是隔离的，无需连接到其他资源。

节点之间的每对存储适配器在不同的 IP 子网中运行。若要启用无交换机配置，每个连接的节点都支持其邻居的相同匹配子网。

在无交换机配置中部署三个节点时，网络 ATC 具有以下要求：

仅支持用于存储连接的所有 IP 子网的单个 VLAN。
StorageAutoIP 参数必须设置为 false， Switchless 参数必须设置为 true，并且你负责指定用于从 Azure 部署 Azure 本地实例的 ARM 模板上的 IP。
对于 Azure 本地版本 23H2 云部署：
- 不支持横向扩展存储无交换机系统。
- 只能使用 ARM 模板部署此三节点方案。

有关详细信息，请参阅通过 Azure 资源管理器部署模板进行部署。

管理 VLAN

所有物理计算主机都必须访问管理逻辑网络。出于 IP 地址规划目的，每个主机必须至少有一个从管理逻辑网络分配的 IP 地址。

DHCP 服务器可以为管理网络自动分配 IP 地址，你也可以手动分配静态 IP 地址。当 DHCP 是首选 IP 分配方法时，建议使用不过期的 DHCP 预留。

有关信息，请参阅云部署的 DHCP 网络注意事项。

管理网络支持两种不同的流量 VLAN 配置 - 本机和标记：

用于管理网络的本机 VLAN 不需要你提供 VLAN ID。
用于管理网络的标记 VLAN 需要在物理网络适配器或管理虚拟网络适配器上配置 VLAN ID，然后才能在 Azure Arc 中注册节点。
必须正确配置物理交换机端口才能接受管理适配器上的 VLAN ID。
如果意向包括管理和计算流量类型，则必须在中继模式下配置物理交换机端口，以接受管理和计算工作负荷所需的所有 VLAN。

管理网络支持管理员用于管理系统的流量，包括远程桌面、Windows Admin Center 和 Active Directory。

有关详细信息，请参阅管理 VLAN 网络注意事项。

计算 VLAN

在某些情况下，无需将 SDN 虚拟网络与 VXLAN 封装配合使用。相反，可以使用传统的 VLAN 来隔离其租户工作负荷。需要在中继模式下的 TOR 交换机端口上配置这些 VLAN。将新虚拟机连接到这些 VLAN 时，会在虚拟网络适配器上定义相应的 VLAN 标记。

HNV 提供商地址 (PA) 网络

Hyper-V 网络虚拟化提供程序地址（HNV PA）网络充当东西方（内部-内部）租户流量、南北（外部-内部）租户流量的基础物理网络，并与物理网络交换 BGP 对等互连信息。仅当需要使用 VXLAN 封装部署虚拟网络时，才需要此网络才能实现额外的隔离层和网络多租户。

有关详细信息，请参阅规划软件定义的网络基础结构。

网络 ATC 意向

对于三节点存储无交换机模式，将创建两个网络 ATC 意向。第一个意向用于管理和计算网络流量，第二个意向用于存储流量。

管理和计算意向

意向类型：管理和计算
意向模式：群集模式
组合：是。 pNIC01 和 pNIC02 团队。
默认管理 VLAN：未修改为管理适配器配置的 VLAN。
PA 和计算 VLAN 和 vNIC：网络 ATC 对 PA vNIC 和 VLAN 透明，或者计算 VM vNIC 和 VLAN。

存储意向

意向类型：存储
意向模式：群集模式
组合：否。 RDMA NIC 使用 SMB 多通道提供复原能力和带宽聚合。
默认 VLAN：所有子网的单个 VLAN。
存储自动 IP：False。此模式需要手动 IP 配置或 ARM 模板 IP 定义。
需要六个子网（用户定义的）：
- 存储网络 1：10.0.1.0/24 – Node1 -> Node2
- 存储网络 2：10.0.2.0/24 – Node1 -> Node2
- 存储网络 3：10.0.3.0/24 – Node2 -> Node3
- 存储网络 4：10.0.4.0/24 – Node1 -> Node3
- 存储网络 5：10.0.5.0/24 – Node1 -> Node3
- 存储网络 6：10.0.6.0/24 – Node2 -> Node3

有关详细信息，请参阅使用网络 ATC 部署主机网络。

ARM 模板存储意向网络配置示例

可以将 ARM 模板用于 3 节点存储无交换机、双 TOR 和双链路。

"storageNetworkList": {
        "value": [
            {
                "name": "StorageNetwork1",
                "networkAdapterName": "SMB1",
                "vlanId": "711",
                "storageAdapterIPInfo": [
                    {
                        "physicalNode": "Node1",
                        "ipv4Address": "10.0.1.1",
                        "subnetMask": "255.255.255.0"
                    },
                    {
                        "physicalNode": "Node2",
                        "ipv4Address": "10.0.1.2",
                        "subnetMask": "255.255.255.0"
                    },
                    {
                        "physicalNode": "Node3",
                        "ipv4Address": "10.0.5.3",
                        "subnetMask": "255.255.255.0"
                  }
                ]
            },
            {
                "name": "StorageNetwork2",
                "networkAdapterName": "SMB2",
                "vlanId": "711",
                "storageAdapterIPInfo": [
                    {
                        "physicalNode": "Node1",
                        "ipv4Address": "10.0.2.1",
                        "subnetMask": "255.255.255.0"
                    },
                    {
                        "physicalNode": "Node2",
                        "ipv4Address": "10.0.2.2",
                        "subnetMask": "255.255.255.0"
                    },
                    {
                        "physicalNode": "Node3",
                        "ipv4Address": "10.0.4.3",
                        "subnetMask": "255.255.255.0"
                  }
                ]
            },
            {
              "name": "StorageNetwork3",
              "networkAdapterName": "SMB3",
              "vlanId": "711",
              "storageAdapterIPInfo": [
                  {
                      "physicalNode": "Node1",
                      "ipv4Address": "10.0.5.1",
                      "subnetMask": "255.255.255.0"
                  },
                  {
                      "physicalNode": "Node2",
                      "ipv4Address": "10.0.3.2",
                      "subnetMask": "255.255.255.0"
                  },
                  {
                      "physicalNode": "Node3",
                      "ipv4Address": "10.0.3.3",
                      "subnetMask": "255.255.255.0"
                }
              ]
          },
          {
            "name": "StorageNetwork4",
            "networkAdapterName": "SMB4",
            "vlanId": "711",
            "storageAdapterIPInfo": [
                {
                    "physicalNode": "Node1",
                    "ipv4Address": "10.0.4.2",
                    "subnetMask": "255.255.255.0"
                },
                {
                    "physicalNode": "Node2",
                    "ipv4Address": "10.0.6.1",
                    "subnetMask": "255.255.255.0"
                },
                {
                    "physicalNode": "Node3",
                    "ipv4Address": "10.0.6.3",
                    "subnetMask": "255.255.255.0"
              }
            ]
        }
        ]
      },

通过