AKS 版本的 Azure HDInsight
重要
AKS 上的 Azure HDInsight 已于 2025 年 1 月 31 日停用。 了解此公告的详细信息。
需要将工作负荷迁移到 Microsoft Fabric 或等效的 Azure 产品,以避免工作负荷突然终止。
重要
此功能目前以预览版提供。 Microsoft Azure 预览版的补充使用条款 包含有关适用于 Azure 功能(这些功能处于测试版、预览阶段或尚未正式发布)的更多法律条款。 有关此特定预览的信息,请参阅 Azure HDInsight on AKS 预览信息。 有关问题或功能建议,请在 AskHDInsight 上提交请求,并提供详细信息。关注我们以获取 Azure HDInsight 社区 的更多更新。
AKS 服务上的 HDInsight 有三个组件:资源提供程序、开源软件(OSS)和群集上部署的控制器。 Microsoft定期升级映像和上述组件,以包括新的改进和功能。
如果以下一个或多个条件成立,则可能会创建一个在 AKS 版本上的新 HDInsight:
- AKS 资源提供程序上的 HDInsight 功能的主要或次要更新或更改。
- 开源组件的主要或次要版本或更新。
- AKS 基础结构组件的主要或次要版本或更新。
- 基础操作系统的重大或小型更改或更新。
- 包组件部分的补丁或热修复(包括最新的安全更新和关键错误修复)。
介绍
AKS 上的 Azure HDInsight 具有群集池和群集的概念,这些群集池和群集将基本组件版本(如包和连接器)与特定的开源组件相关联。 每个版本升级定期包括新的改进、功能和修补程序。
备注
使用新的修补程序、次要版本或主要版本时,应测试和验证应用程序是否正常运行。
AKS 上的 Azure HDInsight 对每个版本使用标准 语义版本控制 方案:
[major].[minor].[patch]
Examples:
1.0.1
1.0.2
版本中的每一个数字都表示与以前版本的一般兼容性
- 当不兼容的 API 更新或向后兼容性可能被破坏时,主要版本 会更新。
- 次要版本 更改发生在当功能更新与其他次要版本向后兼容时(除了上游控制的新功能添加或核心安全修补程序/平台更新)。
- 当对次要版本进行保持向后兼容的 bug 修复时, 补丁版本会发生更改。
重要
您的目标应该是运行您当前次要版本的最新修补程序版本。 例如,如果生产群集位于 1.0.1
,则 1.0.2
是可用于 1.0 系列的最新修补程序版本。 应尽快升级到 1.0.2
,以确保您的群集已完全修补并得到支持。
使群集保持最新状态
为了利用 HDInsight 在 AKS 上的最新特性,我们建议定期将群集迁移到最新的补丁或次要版本。 目前,AKS 上的 HDInsight 支持 就地升级 作为公共预览版的一部分,其中包含修补程序、节点 OS 和 AKS 修补程序升级,其中现有群集升级到较新版本。
需要在现有群集池中的 AKS 群集上创建新的 HDInsight,并迁移应用程序以使用具有最新次要版本或修补程序的新群集。 所有群集池都与主要版本保持一致,池中的群集与同一主要版本保持一致,你可以创建具有后续次要版本或修补程序版本的群集。
生命周期和可支持性
由于 AKS 上的 HDInsight 依赖于基础 Azure Kubernetes 服务(AKS)基础结构,因此需要定期更新它,以确保安全性和与最新功能的兼容性。 使用 就地升级,您可以通过群集热修补程序更新进行群集升级、节点操作系统的安全更新和 AKS 修补程序升级。
AKS 群集池上的 HDInsight 版本 | 发布日期 | 发布阶段 | 映射的 AKS 版本 | AKS 生命周期结束 |
---|---|---|---|---|
1.1 | 2023 年 10 月 | 公共预览版 | 1.27 | 2024 年 7 月 |
1.2 | 2024 年 5 月 | - | 1.29 | - |
作为最佳做法的一部分,建议定期更新群集。 AKS 版本的 HDInsight 每 30 到 60 天发布一次。 尽早迁移到最新版本总是很好。 建议的群集升级最长持续时间不到三个月。
示例方案
在下面的示例中,我们演示了 AKS 上的 HDInsight 版本更改的生命周期。 例如,在群集池版本 2.0 上运行的群集被视为群集版本 2.3.6。 这是一个示例,所有版本更新都将持续在发行说明上提供。
例 | 版本影响 | 发行说明更新(示例) |
---|---|---|
AKS Kubernetes 版本更新 | MS-Minor | AKS 版本 2.4.0 上的 HDInsight。 此版本包括从 1.26.4 更新到 1.27.4 的 AKS 版本。 群集需要更新。 |
操作系统版本修补程序 | MS-Patch | HDInsight 在 AKS 版本 2.4.1 上。 本版本发布包括操作系统的维护补丁。 群集需要更新。 |
Web SSH 现在支持运行客户端工具 | MS-Patch | AKS 版本 2.4.2 上的 HDInsight。 此版本包括对在 Webssh Pod 上运行客户端工具的支持。 群集需要更新。 |
现在已在 AKS 上的 HDInsight 中添加了负载驱动的高级自动伸缩功能 | MS-Minor | HDInsight 在 AKS 版本 2.5.0 上。 此版本引入了具有更多功能的高级基于负载的自动缩放。 群集需要更新。 |
现在可以使用自定义的基于负载的自动缩放功能 | MS-Patch | AKS 版本 2.5.1 上的 HDInsight。 此版本包括负载自适应的自动缩放功能的自定义。 群集需要更新。 |
添加服务标记支持 | MS-Patch | AKS 版本 2.5.2 上的 HDInsight 从 2.5.2 版开始,AKS 上的 HDInsight 将添加服务标记支持。 群集需要更新。 |
开源组件次要更新 | MS-Minor | AKS 版本 2.6.0 上的 HDInsight。 从 2.6.0 版本开始,AKS 上的 HDInsight 会将开源组件从 1.x 更新到 1.y,需要对群集进行更新。 |
开源组件升级 & AKS 升级,重大 API 变更 | MS-Major | AKS 版本 3.0.1 上的 HDInsight。 从 3.0.1 开始,开源组件 Y 已从 1.x 更新到 2.x,AKS 已将基础结构升级到 2.x;群集池需要更新到 3.0,群集需要更新到 3.0.1。 |
使用 Azure 门户进行版本控制
在下面的示例中,您可以观察如何在群集池和群集上选择版本。 群集池始终与群集的主要版本保持一致。 也就是说,如果要在 AKS 上查找 2.4.5 版 HDInsight 的更新,则需要使用 2.0 版本的群集池。
在 AKS 群集或 Apache Flink 群集上创建 HDInsight 时,可以从受支持的版本列表中选择 minor.patch 版本。
显示群集详细信息的
下面列出的最新支持的开源组件是一个下拉列表,可供你开始使用。
由于 AKS 上的 HDInsight 在每次常规更新中都会公开和更新次要版本,因此现在您可以在升级到新版本之前安排足够的测试,并能够控制升级的时间安排。
显示 AKS 版本的
重要
如果您正在使用 REST API 操作,始终使用最新的 MS-Patch 版本创建群集,以确保您可以获得最新的安全更新和关键 bug 修复。
发行说明
有关 AKS 上的 HDInsight 最新版本的发行说明,请参阅 发行说明
版本控制注意事项
- AKS 群集池版本的 HDInsight 和生命周期结束依赖于上游 AKS 支持,可以参考 AKS 支持的版本,并持续规划群集池/群集升级。
- 使用特定群集池版本部署群集池后,该群集池无法自动升级到较新的次要版本。 在 就地升级 功能适用于群集池的次要版本之前,需要重新创建。
- 在特定的群集池版本中部署群集后,该群集无法自动升级到较新的次要版本或修补程序版本。 需要重新创建,直到 就地升级 功能实时更新群集的次要版本。
- 在新群集创建期间,将部署或选取最新版本。
- 客户应在 AKS 版本上使用新的 HDInsight 时测试并验证应用程序是否正常运行。
- AKS 上的 HDInsight 保留在不事先通知的情况下更改默认版本的权利。 如果有版本依赖项,请在创建群集时在 AKS 版本上指定 HDInsight。
- AKS 上的 HDInsight 可能会在开源软件或 AKS 依赖项的上游支持基础上,先停用 OSS 组件版本,然后才停用 AKS 上的 HDInsight 版本。