通过

你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

Azure 容器网络接口 (CNI) Pod 子网

  • 项目

Azure CNI Pod 子网可将 IP 地址分配给来自群集节点的单独子网中的 Pod。 此功能分为两种模式：动态 IP 分配和静态块分配（预览版）。

先决条件

注意

使用 CIDR 的静态块分配时，不支持使用 Kubernetes 负载均衡器服务将应用程序公开为专用链接服务。

  • 查看在 AKS 中配置基本 Azure CNI 网络的先决条件，因为相同的先决条件适用于本文。

  • 查看用于在 AKS 中配置基本 Azure CNI 网络的部署参数，因为适用相同的参数。

  • 不支持 AKS 引擎和 DIY 群集。

  • Azure CLI 版本 2.37.0 或更高版本以及 aks-preview 扩展版本 2.0.0b2 或更高版本。

  • 为订阅注册订阅级功能标志：“Microsoft.ContainerService/AzureVnetScalePreview”。

  • 如果已有现有群集，则需要启用容器见解来监视 IP 子网使用情况加载项。 可以使用 az aks enable-addons 命令来启用容器见解，如以下示例所示：

    az aks enable-addons --addons monitoring --name <cluster-name> --resource-group <resource-group-name>

动态 IP 分配模式

动态 IP 分配可通过从子网（该子网独立于托管 AKS 群集的子网）分配 Pod IP 来帮助缓解 Pod IP 地址耗尽问题。

动态 IP 分配模式具有以下优势：

  • 更高的 IP 利用率：IP 从 Pod 子网动态分配给群集 Pod。 与传统的 CNI 解决方案（为每个节点静态分配 IP）相比，此功能可以优化群集中的 IP 利用率。
  • 可缩放性和灵活性：可以单独缩放节点和 Pod 子网。 单个 Pod 子网可以在群集的多个节点池之间或在同一 VNet 中部署的多个 AKS 群集之间共享。 你还可以为节点池配置单独的 Pod 子网。
  • 高性能：由于为 Pod 分配了 VNet IP，因此它们可以直接连接到 VNet 中的其他群集 Pod 和资源。 此解决方案支持非常大的群集，且丝毫不会降低性能。
  • 用于 Pod 的单独 VNet 策略：由于 Pod 具有单独的子网，因此你可以单独为它们配置不同于节点策略的 VNet 策略。 此方式可以实现许多有用的方案，例如只允许 Pod 而不允许节点连接 Internet，使用 Azure NAT 网关修复节点池中 Pod 的源 IP，以及使用网络规则组 (NSG) 筛选节点池之间的流量。
  • Kubernetes 网络策略：Azure 网络策略和 Calico 都适用于此模式。

计划 IP 寻址

使用动态 IP 分配，节点和 Pod 可以独立缩放，以便可以单独规划其地址空间。 由于可以将 Pod 子网配置为节点池的粒度，因此你在添加节点池时始终可以添加新的子网。 群集/节点池中的系统 Pod 也会从 Pod 子网中接收 IP，因此需要考虑此行为。

以 16 个为一组将 IP 分配给节点。 Pod 子网 IP 分配应规划为群集中每个节点至少 16 个 IP，因为节点将在启动时请求 16 个 IP，且会在任何时候（当其服务配额中存在 <8 个 IP 未分配时）请求另一批 16 个 IP。

Kubernetes 服务和 Docker 网桥的 IP 地址规划将保持不变。

静态块分配模式（预览版）

静态块分配通过将 CIDR 块分配给节点而不是单个 IP 来帮助缓解潜在的 Pod 子网大小调整和 Azure 地址映射限制。

静态块分配模式具有以下优势：

  • 更好的 IP 可伸缩性：CIDR 块会静态分配到群集节点，并在节点的生存期内一直存在，这与使用传统 CNI 动态分配单个 IP 不同。 这可以启用基于 CIDR 块的路由，并有助于将群集限制从传统的每个群集 65,000 个 Pod 扩展到 100 万个 Pod。 Azure 虚拟网络必须足够大，才能适应群集的规模。
  • 灵活性：节点和 Pod 子网可以独立缩放。 单个 Pod 子网可以在群集的多个节点池之间或在同一 VNet 中部署的多个 AKS 群集之间共享。 你还可以为节点池配置单独的 Pod 子网。
  • 高性能：由于为 Pod 分配了虚拟网络 IP，因此它们可以直接连接到 VNet 中的其他群集 Pod 和资源。
  • 用于 Pod 的单独 VNet 策略：由于 Pod 具有单独的子网，因此你可以单独为它们配置不同于节点策略的 VNet 策略。 这样可以实现许多有用的方案，例如只允许 Pod 而不允许节点连接 Internet，使用 Azure NAT 网关修复节点池中 Pod 的源 IP 以及使用 NSG 筛选节点池之间的流量。
  • Kubernetes 网络策略：Cilium、Azure NPM 和 Calico 使用此解决方案。

限制

下面是使用 Azure CNI 静态块分配时存在的一些限制：

  • 所需的最低 Kubernetes 版本为 1.28
  • 支持的最大子网大小为 xxxx/12 ~ 100 万个 IP
  • 每个子网只能使用一种操作模式。 如果子网使用静态块分配模式，则它不能在具有相同子网的不同群集或节点池中使用动态 IP 分配模式，反之亦然。
  • 仅在新群集中受支持，或将具有不同子网的节点池添加到现有群集时受支持。 不支持迁移或更新现有群集或节点池。
  • 在分配到节点池中某个节点的所有 CIDR 块中，将选择一个 IP 作为该节点的主 IP。 因此，对于选择 --max-pods 值的网络管理员，可以尝试使用以下计算来最好地满足需求并优化子网中 IP 的使用：

max_pods = (N * 16) - 1，其中 N 为任何正整数和 N> 0

上市区域

此功能在以下区域中不可用：

  • 美国南部
  • 美国东部 2
  • 美国西部
  • 美国西部 2

计划 IP 寻址

使用静态块分配，节点和 Pod 可以独立缩放，以便可以单独规划其地址空间。 由于可以将 Pod 子网配置为节点池的粒度，因此你在添加节点池时始终可以添加新的子网。 群集/节点池中的系统 Pod 也会从 Pod 子网中接收 IP，因此需要考虑此行为。

/28（16 个 IP）CIDR 块将根据节点池的 --max-pods 配置分配到节点，这定义了每个节点的最大 Pod 数量。 在每个节点上，将保留该节点上所有可用 IP 中的 1 个 IP，以便在内部使用。

规划 IP 时，请务必使用以下计算定义 --max-pods 配置：max_pods_per_node = (16 * N) - 1，其中 N 为大于 0 的任何正整数。

不浪费 IP 的理想值要求最大 Pod 值符合上述表达式。

请参阅以下示例情况：

案例 max_pods 为每个节点分配的 CIDR 块 Pod 可用的 IP 总数 节点的 IP 浪费情况
低浪费（可接受） 30 2 (16 * 2) - 1 = 32 - 1 = 31 31 - 30 = 1
理想情况 31 2 (16 * 2) - 1 = 32 - 1 = 31 31 - 31 = 0
高浪费（不建议） 32 3 (16 * 3) - 1 = 48 - 1 = 47 47 - 32 = 15

Kubernetes 服务的 IP 地址规划将保持不变。

注意

确保 VNet 有足够大且连续的地址空间，以支持群集的规模。