Поделиться через

Масштабирование вручную

  • Статья

Важный

Azure HDInsight на AKS выведено из эксплуатации 31 января 2025 г. Узнайте больше из этого объявления.

Необходимо перенести рабочие нагрузки в Microsoft Fabric или эквивалентный продукт Azure, чтобы избежать резкого завершения рабочих нагрузок.

Важный

Эта функция сейчас доступна в предварительной версии. Дополнительные условия использования для предварительных версий Microsoft Azure включают дополнительные юридические термины, применимые к функциям Azure, которые находятся в бета-версии, в предварительной версии или в противном случае еще не выпущены в общую доступность. Сведения об этой конкретной предварительной версии см. в Azure HDInsight в предварительной версии AKS. Для вопросов или предложений по функциям отправьте запрос на AskHDInsight с подробной информацией и подписывайтесь на обновления в Azure HDInsight Community.

HDInsight в AKS обеспечивает эластичность с параметрами масштабирования и уменьшения числа узлов кластера. Эта эластичность помогает повысить эффективность использования ресурсов и повысить эффективность затрат.

Служебная программа для масштабирования кластеров

HDInsight в AKS предоставляет следующие методы для ручного масштабирования кластеров:

Полезность Описание
Портал Azure Откройте панель кластера HDInsight на AKS, выберите размер кластера в меню слева, затем на панели размера кластера введите количество рабочих узлов и нажмите "Сохранить".
REST API Чтобы масштабировать запущенный HDInsight в кластере AKS с помощью REST API, выполните повторный запрос POST на том же ресурсе с обновленным числом в вычислительном профиле.

Портал Azure можно использовать для доступа к меню "Размер кластера" на странице навигации кластера. В колонке "Размер кластера" измените значение "Число рабочих узлов" и сохраните изменение, чтобы увеличить или уменьшить масштаб кластера.

снимок экрана: пользовательский интерфейс для выбора размера кластера и настройки масштабирования вручную.

Влияние операции масштабирования в кластере

Любая операция масштабирования активирует перезапуск службы, что может привести к ошибкам в уже запущенных заданиях.

При добавлении узлов в операционный кластер HDInsight в кластере AKS (увеличение масштаба):

  • Успешная операция масштабирования с помощью ручного масштабирования добавит рабочие узлы в кластер.
  • Новые задания можно безопасно отправлять при завершении процесса масштабирования.
  • Если операция масштабирования завершается неудачей, кластер остается в состоянии "Неудача".
  • В процессе операции масштабирования можно ожидать сбоев работы при перезапуске служб.

Если удалить узлы (уменьшить масштаб) из HDInsight на кластере AKS:

  • Ожидание или выполнение заданий завершается сбоем при завершении операции масштабирования. Этот сбой обусловлен перезапуском некоторых служб во время масштабирования. Влияние изменения количества узлов кластера зависит от каждого типа кластера.

Важный

  • Чтобы избежать ошибок квот во время масштабирования, запланируйте квоту в подписке. В случае нехватки квоты можно увеличить её при помощи документации .
  • Если в процессе уменьшения масштаба выбирается головной узел, на котором размещаются координатор, входящий трафик и другие службы, это приведет к простою.

Часто задаваемые вопросы

Общее

Вопрос Ответ
Каковы минимальные узлы, которые можно добавить или удалить во время операций масштабирования? Один узел.
Сколько узлов поддерживает HDInsight в кластере AKS? 500 узлов на кластер (в общедоступной предварительной версии).
Как вручную уменьшить масштаб кластера? В запросе ARM обновите computeProfile.count или выполните указанные ниже действия, чтобы уменьшить масштаб с помощью портала Azure.
Можно ли добавить пользовательские скрипты для кластера во время ручного масштабирования? Действия скрипта применимы для типа кластера Apache Spark
Как получить журналы для сбоев ручного масштабирования узлов кластера? Журналы доступны в модуле аналитики журналов, смотрите подробности в разделе интеграции Azure Monitor .
Поддерживается ли автомасштабирование на основе нагрузки или расписания? Да. Для получения дополнительной информации см. в разделе о автомасштабировании .

Трино

Вопрос Ответ
Будет ли моя служба Trino перезапущена после операции масштабирования? Да, служба перезапускается во время операции масштабирования.
Вопрос Ответ
Каковы последствия операций масштабирования в кластере Apache Flink? Любая операция масштабирования, скорее всего, активирует перезапуск службы, что приводит к сбоям заданий. При завершении процесса масштабирования можно отправить новые задания. В Apache Flink масштабирование вниз вызывает перезапуск заданий, а масштабирование вверх не приводит к их перезапуску.

Apache Spark

Вопрос Ответ
Каковы последствия операций масштабирования в кластере Spark? Операция уменьшения масштаба вручную может активировать перезапуск служб головного узла.

Заметка

Рекомендуется управлять квотами, заданными в подписке перед операциями масштабирования, чтобы избежать ошибок квот. Прежде чем уменьшить масштаб, обратите внимание, что для работы кластера AKS Trino в HDInsight требуется минимум пять активных узлов.