通过

手动缩放

  • 项目

重要

AKS 上的 Azure HDInsight 已于 2025 年 1 月 31 日停用。 通过此公告 了解更多信息。

需要将工作负荷迁移到 Microsoft Fabric 或等效的 Azure 产品，以避免工作负荷突然终止。

重要

此功能目前以预览版提供。 Microsoft Azure 预览版补充使用条款 包括适用于 beta 版、预览版或尚未正式发布的 Azure 功能的更多相关法律条款。 有关此特定预览的信息，请参阅 AKS 上的 Azure HDInsight 预览信息。 有关问题或功能建议，请在 AskHDInsight 上提交请求，并提供详细信息，并关注我们以获取有关 Azure HDInsight 社区 的更多更新。

AKS 上的 HDInsight 提供弹性选项，用于纵向扩展和缩减群集节点数。 这种弹性有助于提高资源利用率并提高成本效益。

用于缩放群集的实用工具

AKS 上的 HDInsight 提供了以下手动缩放群集的方法：

效用 描述
Azure 门户 在 AKS 群集窗格中打开 HDInsight，在左侧菜单中选择 群集大小，然后在“群集大小”窗格中键入工作器节点数，然后选择“保存”
REST API 若要使用 REST API 在 AKS 群集上缩放正在运行的 HDInsight，请在计算配置文件中具有更新计数的同一资源上发出后续 POST 请求。

可以使用 Azure 门户访问群集导航页中的“群集大小”菜单。 在“群集大小”面板中，更改“工作器节点数”，并保存更改以扩展或缩减群集。

显示用于选择群集大小和配置手动缩放的 UI 的屏幕截图。

扩展操作对集群的影响

任何缩放操作都会触发服务重启，这可能会导致已运行作业出错。

将节点 添加到 AKS 群集上运行的 HDInsight（纵向扩展）：

  • 使用手动缩放的成功操作会将工作节点添加到群集。
  • 完成缩放过程后，可以安全地提交新作业。
  • 如果缩放操作失败，您的群集将处于“失败”状态。
  • 当服务重启时，在缩放操作期间，可能会出现作业失败。

如果 从 AKS 群集上的 HDInsight 中删除节点（缩减）：

  • 缩放操作完成后，待处理或正在运行中的作业会失败。 此失败是因为某些服务在扩展过程中重启导致的。 更改群集节点数的影响因每种群集类型而异。

重要

  • 进行缩放操作时若要避免配额错误，请在订阅中规划好配额。 如果配额不足，可以使用此 文档增加配额。
  • 如果缩减规模时选择了作为协调器/入口和其他服务宿主的头节点，则会导致停机。

常见问题解答

常规

问题 答
在扩容操作中，最少可以添加/删除多少个节点？ 一个节点。
AKS 群集上的 HDInsight 支持多少个节点？ 每个群集有 500 个节点（公共预览版）。
如何手动地缩减群集？ 在 ARM 请求中，更新 computeProfile.count，或按照步骤通过 Azure 门户缩小规模。
是否可以在手动缩放期间向群集添加自定义脚本作业？ 脚本操作适用于 Apache Spark 群集类型
如何获取群集节点手动缩放失败的日志？ 日志可在日志分析模块中获取，请参阅 Azure 监视器集成 。
是否支持基于负载或基于计划的自动缩放？ 是的。 有关详细信息，请参阅 自动缩放。

Trino

问题 答
进行缩放操作后，我的 Trino 服务是否会重启？ 是的，服务在缩放操作期间会重启。
问题 答
扩展操作对 Apache Flink 集群有何影响？ 任何缩放作都可能会触发服务重启，这会导致作业失败。 完成扩展过程后，可以提交新作业。 在 Apache Flink 中，缩减规模会触发作业重启，而扩展规模则不会触发作业重启。

Apache Spark

问题 答
扩缩操作对 Spark 集群有何影响？ 手动缩减操作可能会触发头节点服务重启。

注意

建议在扩展操作之前管理订阅中设定的配额，以避免配额错误。 在缩减之前，请注意，要使 AKS Trino 群集上的 HDInsight 能够正常运行，至少需要 个 活动节点。