通过

排查由于 PDB 导致的逐出失败而导致的 UpgradeFailed 错误

  • 项目

本文介绍如何识别和解决由于 Pod 中断预算（PDB）导致逐出失败而导致的 UpgradeFailed 错误，这些错误在尝试升级 Azure Kubernetes 服务 （AKS） 群集时发生。

先决条件

本文需要 Azure CLI 2.0.65 或更高版本。 若要查找版本号，请运行 az --version。 如果必须安装或升级 Azure CLI，请参阅 如何安装 Azure CLI。

有关升级过程的详细信息，请参阅升级 Azure Kubernetes 服务 （AKS） 群集中的“升级 AKS 群集”部分。

现象

AKS 群集升级操作失败，并出现以下错误消息：

代码：UpgradeFailed
消息：逐出 Pod <Pod 名称时，清空节点<节点名称>>失败。 逐出失败，出现“请求过多”错误。 这通常是由限制性 Pod 中断预算 （PDB） 策略引起的。 请参阅 http://aka.ms/aks/debugdrainfailures。 原始错误：对 Kubernetes API 服务器的 API 调用失败。

原因

如果 Pod 受到 Pod 中断预算 （PDB） 策略的保护，则可能会发生此错误。 在这种情况下，Pod 拒绝耗尽。

若要测试这种情况，请运行 kubectl get pdb -A，然后检查 “允许的中断 ”值。 该值应为 1 或更大。 有关详细信息，请参阅 使用 Pod 中断预算规划可用性。

如果“允许的中断”值为 0，则节点排出将在升级过程中失败。

若要解决此问题，请使用以下解决方案之一。

解决方案 1：允许 Pod 清空

  1. 调整 PDB 以启用 Pod 清空。 通常，允许的中断由 Min Available / Max unavailable 或 Running pods / Replicas 参数控制。 可以在 PDB 级别修改Min Available / Max unavailable参数，或者将允许的中断值推送到 1 或更大的数目Running pods / Replicas。
  2. 请重试将 AKS 群集升级到以前尝试升级到的同一版本。 此过程将触发对帐。

解决方案 2：备份、删除和重新部署 PDB

  1. 备份 PDB kubectl get pdb <pdb-name> -n <pdb-namespace> -o yaml > pdb_backup.yaml，然后删除 PDB kubectl delete pdb <pdb-name> -n /<pdb-namespace>。 升级完成后，可以重新部署 PDB kubectl apply -f pdb_backup.yaml。
  2. 请重试将 AKS 群集升级到以前尝试升级到的同一版本。 此过程将触发对帐。

解决方案 3：删除无法清空的 Pod

  1. 删除无法清空的 Pod。

    注意

    如果 Pod 是由部署或 StatefulSet 创建的，它们将由 ReplicaSet 控制。 如果是这种情况，可能需要删除部署或 StatefulSet。 在执行此操作之前，建议进行备份： kubectl get <kubernetes-object> <name> -n <namespace> -o yaml > backup.yaml

  2. 请重试将 AKS 群集升级到以前尝试升级到的同一版本。 此过程将触发对帐。

联系我们寻求帮助

如果你有任何疑问或需要帮助，请创建支持请求或联系 Azure 社区支持。 你还可以将产品反馈提交到 Azure 反馈社区。