在 AKS 群集和群集池上升级 HDInsight

项目
09/20/2024

重要

AKS 上的 Azure HDInsight 已于 2025 年 1 月 31 日停用。了解更多信息，请查看此公告。

需要将工作负荷迁移到 Microsoft Fabric 或等效的 Azure 产品，以避免工作负荷突然终止。

重要

此功能目前以预览版提供。 Microsoft Azure 预览版补充使用条款包括适用于 beta 版、预览版或尚未正式发布的 Azure 功能的更多法律条款。有关此特定预览版的信息，请参阅 Azure HDInsight on AKS 预览信息。有关问题或功能建议，请在 AskHDInsight 上提交请求，提供详细信息。关注我们以获取 Azure HDInsight 社区的更多更新。

了解如何通过就地升级，将 AKS 群集和群集池上的 HDInsight 更新到最新的 AKS 补丁、安全更新、群集补丁和群集热修复。

为何要升级

AKS 上的 HDInsight 是一项服务，可用于在 Azure Kubernetes 服务（AKS）上运行 Apache Flink、Apache Spark、Trino。借助 AKS 上的 HDInsight，你可以获得云可伸缩性、可靠性和灵活性的优势，同时使你能够使用现有的工具和应用程序。

AKS 上的 HDInsight 重要功能之一是，可以使用最新的软件更新升级群集和群集池。这意味着你可以享受最新的修补程序、安全更新和 AKS 修补程序，而无需重新创建群集。

由于 AKS 上的 HDInsight 依赖于基础 Azure Kubernetes 服务（AKS）基础结构，因此需要定期更新它，以确保安全性和与最新功能的兼容性。请务必升级以应用最新的安全版本并获取对最新 Kubernetes 功能的访问权限，并保留在 AKS 群集池上的 HDInsight 对应的 AKS 支持窗口中。 Microsoft为 AKS 上的映像节点提供修补程序和新映像（每周），但除非执行节点 OS 升级，否则正在运行的节点不会获取新映像。

例如，可以升级 Spark 群集以获取最新的修补程序增强功能、节点 OS 的安全修补程序和 AKS 修补程序更新，以保持群集和群集池软件 up-to-date。

本文介绍如何使用 Azure 门户在 AKS 群集和群集池上升级 HDInsight。

我们分享一些最佳做法，帮助你完成升级过程。

升级类型

下表汇总了升级类型的详细信息，以及您可以预计群集池和群集更新发生的频率。

升级类型	适用性	升级频率	In-Place 升级
AKS 版本（次要）升级/HDInsight 部署在 AKS 上的次要版本升级	群集池、群集	大约每六个月一次	✅
AKS 上的 HDInsight – 群集补丁版本	簇	大约每月	✅
AKS 上的 HDInsight – 群集修补程序	簇	根据需要	✅
AKS 修补程序版本升级	群集池、群集	大约每周（依赖于上游 AKS 修补）	✅
节点 OS 升级	群集池、群集	每周	✅
节点镜像的安全修补程序和热修复	群集池、群集	根据需要	✅

了解有关 AKS 版本控制 HDInsight 的详细信息。

由于 AKS 上的 HDInsight 使用 Azure Kubernetes 服务（AKS）作为底层基础结构，因此需要定期更新它，以确保安全性和与最新功能的兼容性。

AKS 群集有两个组件需要维护：

AKS 修补程序和次要版本升级：AKS 群集生命周期的一部分涉及执行升级到最新的 Kubernetes 版本。请务必升级以应用最新的安全版本并获取对最新 Kubernetes 功能的访问权限，并保留在 AKS 支持窗口。 AKS 群集池版本的 HDInsight 映射到 AKS 次要版本。
- AKS 修补程序是使用 AKS 修补程序升级完成的，这些修补程序可应用于 AKS 上的 HDInsight 中的群集池和群集，从群集池版本 1.1 开始。
- AKS 次要版本升级通过使用 AKS 次要版本升级来完成，它将群集池和群集升级到 AKS 上的 HDInsight 支持的最新 AKS 次要版本（支持从群集池版本 1.* 开始的 AKS）。AKS 上的 HDInsight 旨在遵循 Kubernetes N-2 支持策略，以及 AKS 发布日历，以便继续为你提供进行就地次要升级的能力。我们鼓励你尽早计划升级到最新的次要版本。
节点 OS 升级：AKS 定期提供包含最新 OS 和运行时更新的节点映像。定期升级您的节点镜像是有益的，这样可以确保支持最新的 AKS 功能，并在 AKS 层应用必要的安全补丁和修复程序。映像升级公告包含在 AKS 发行说明中，可能需要一周时间才能在所有区域推出这些更新。通过此升级，我们仅更新节点池映像，而无需升级 Kubernetes 版本。在 AKS 上的 HDInsight 中，此升级是使用节点 OS 升级完成的，该升级可应用于群集池和群集，从群集池版本 1.1 开始。

为利用 AKS 上 HDInsight 的最新功能，建议使用热修复和补丁定期更新 AKS 群集上的 HDInsight。 AKS 上的 HDInsight 支持就地升级，允许现有群集升级到较新的热修复和补丁。无需删除并重新创建新群集。当群集符合升级条件时，软件更新状态会显示升级待定。您只需点击几下即可执行升级，并在维护窗口中完成。

在 AKS 上运行的 HDInsight 每隔 30 到 60 天发布一次补丁。尽早更新到最新的补丁总是有益的。建议的群集升级最长持续时间不到三个月。

热修复升级：热修复版本根据需要发布，仅包含为群集包中有限数量的模块提供的若干修复。热修复程序适用于您的群集，当有此类更新可用时，群集的软件更新状态会显示待处理的更新，方便您通过就地升级进行维护操作。

修补程序升级：资源提供程序提供 Azure 中的资源。 AKS 资源提供程序上的 HDInsight 负责创建、管理和删除群集。 AKS 上的 HDInsight 会持续更新其在 Azure 容器注册表上的映像，以便将可在群集上部署的开源软件（OSS）组件组合在一起。这些映像包含基本 Azure Linux 操作系统和核心组件，例如 Spark、Flink、Trino。每月补丁会引入来自资源提供程序、开源组件的 bug 修复，以及与你正在运行的群集特定的功能 bug 或改进。您的群集适用于修补程序升级，当此类更新可用时，您的群集将在软件更新状态中显示待处理的更新，使您能够通过就地升级执行维护操作。

如何检查可用的升级

在开始升级之前，需要检查 AKS 群集上的 HDInsight 的可用升级。

更新取决于群集版本或群集池版本、当前 HDInsight on AKS 版本以及 AKS 版本。

可以检查 软件更新 部分的概述页面，确认是否有软件更新——已是最新 或 有待更新。

如果有软件更新可用，您会注意到群集在挂起状态显示软件更新，您可以通过使用 Azure 门户来选择升级。

若要使用 Azure 门户检查可用更新，请执行以下步骤：

登录到 Azure 门户。
在搜索框中输入“AKS 上的 HDInsight”。
在 AKS 群集池中选择您的 HDInsight
在群集概述页中，检查软件更新状态。

显示软件更新的
单击“升级”
在升级边栏选项卡中，可以看到可用的升级。
根据可用的升级，可以选择和执行升级。
触发升级后，可在门户中收到服务通知。
群集更新状态从挂起移动到升级，群集池状态将移动到 NodeOSUpgrading。
当你选择同时更新群集池和群集时，群集也会移动到类似的状态。

显示状态更新的
升级完成后，横幅上有更新，软件更新的状态会反映在群集池和群集上（如果群集池也升级了群集），通知更新反映了升级的成功。

显示成功状态的

规划 HDInsight 在 AKS 集群和集群池上的升级计划

检查可用的升级版本并选择符合需求的升级版本后，可以使用 Azure 门户在 AKS 上升级 HDInsight 群集。升级过程可能需要一些时间，具体取决于群集的大小和配置以及群集池中的群集数。

在升级期间，群集仍可正常运行且可访问，但可能会遇到一些性能下降或暂时中断的情况。因此，建议在非高峰时段或群集负载不足时升级群集。

在 AKS 群集和群集池上对 HDInsight 进行就地升级的最佳做法

若要确保在 AKS 群集和群集池上顺利成功升级 HDInsight，请遵循以下最佳做法：

在开始升级之前，请确保群集正常运行且稳定，并且群集状态不会出错。

在升级之前，请查看 AKS 版本上新 HDInsight 的发行说明，并准备对应用程序或脚本进行任何必要的更改，以适应新功能或更改。在迁移到生产环境之前，请在较低的环境中对其进行测试。
在升级之前，规划维护时段，可在其中在计划窗口中执行群集升级。就地升级（群集和群集池）会影响环境和作业的性能，在升级正在进行时可能会经历停机。
在升级期间，不要对群集资源进行任何更改，例如添加或删除节点或执行缩放、更新配置或删除。这样做可能会干扰升级过程并导致错误或失败。
在升级期间，监视群集可用性。可以使用 Azure 门户检查软件更新状态。
如果升级失败或遇到任何问题，可以联系 Azure 支持部门或执行手动回滚作，将升级还原到之前使用的版本。
升级后，验证群集是否按预期工作。可以使用 Azure 门户、Azure CLI、Azure PowerShell 或服务运行状况来检查群集版本、运行状况和服务运行状况。还可以运行一些测试作业或查询来验证群集功能。