Настройка кластеров больших данных после развертывания
Область применения: 
SQL Server 2019 (15.x)
Внимание
Поддержка надстройки "Кластеры больших данных" Microsoft SQL Server 2019 будет прекращена. Мы прекратим поддержку Кластеров больших данных SQL Server 2019 28 февраля 2025 г. Все существующие пользователи SQL Server 2019 с Software Assurance будут полностью поддерживаться на платформе, и программное обеспечение будет продолжать поддерживаться с помощью накопительных обновлений SQL Server до этого времени. Дополнительные сведения см. в записи блога объявлений и в статье о параметрах больших данных на платформе Microsoft SQL Server.
Параметры кластера, службы и ресурсов для SQL Server Кластеры больших данных можно настроить после развертывания с помощью интерфейса командной azdata строки. Эта функция позволяет администраторам SQL Server Кластеры больших данных настраивать конфигурации в соответствии с требованиями рабочей нагрузки. В этой статье рассматриваются примеры сценариев с настройкой часовых поясов и требования к рабочей нагрузке Spark. Для настройки после развертывания используется процесс "задание — определение различий — применение".
Примечание.
Конфигурация параметров после развертывания доступна только в SQL Server Кластеры больших данных CU9 и более поздних версий. Настройка параметров не распространяется на конфигурацию масштаба, хранилища или конечных точек. Параметры и инструкции по настройке SQL Server Кластеры больших данных до cu9 см. здесь.
Пошаговый сценарий. Настройка часового пояса в SQL Server Кластеры больших данных
Начиная с SQL Server Кластеры больших данных CU13 можно настроить конфигурацию часового пояса кластера, поэтому метки времени служб соответствуют выбранному часовой поясу. Этот параметр не применяется к уровню управления кластерами больших данных, а задает новую конфигурацию часового пояса для всех пулов SQL Server (главный, вычислительный и для данных), а также компонентов Hadoop и Spark.
Примечание.
По умолчанию SQL Server Кластеры больших данных задает utc в качестве часового пояса.
Следующая команда позволяет изменить конфигурацию часового пояса:
azdata bdc settings set --settings bdc.timezone=America/Los_Angeles
Применение ожидающих изменения параметров к кластеру
Следующая команда применит конфигурацию и перезапустит все службы. Процессы отслеживания изменений и управления настройкой см. в последних разделах этой статьи.
azdata bdc settings apply
Пошаговый сценарий: настройка кластера в соответствии с требованиями рабочей нагрузки Spark
Просмотр текущих конфигураций службы Spark кластера больших данных
В приведенном ниже примере показано, как можно просмотреть настроенные пользователем параметры службы Spark. С помощью дополнительных параметров можно просмотреть все возможные настраиваемые параметры, параметры, управляемые системой, и ожидающие параметры. Дополнительные сведения см. в справке по командам azdata bdc spark statement.
azdata bdc spark settings show
Пример полученных результатов
Служба Spark
| Параметр | Текущее значение |
|---|---|
spark-defaults-conf.spark.driver.cores |
1 |
spark-defaults-conf.spark.driver.memory |
1664m |
Изменение объема памяти и количества ядер, выделяемых по умолчанию для драйвера Spark
Укажите новые значения по умолчанию для службы Spark: 2 ядра и 7424 МБ памяти. Это изменение влияет на все ресурсы, используемые в Spark для службы Spark.
azdata bdc spark settings set --settings spark-defaults-conf.spark.driver.cores=2,spark-defaults-conf.spark.driver.memory=7424m
Изменение числа ядер и размера памяти по умолчанию для исполнителей Spark в пуле носителей
Измените число ядер исполнителей по умолчанию на 4 для пула носителей.
azdata bdc spark settings set --settings spark-defaults-conf.spark.executor.cores=4 --resource=storage-0
Настройка дополнительных путей для пути к классам приложений Spark по умолчанию
Путь /opt/hadoop/share/hadoop/tools/lib/ содержит несколько библиотек, используемых приложениями Spark, но ссылка на путь по умолчанию не включается в путь к классам для приложений Spark. Чтобы включить этот параметр, примените следующий шаблон конфигурации.
azdata bdc hdfs settings set --settings hadoop-env.HADOOP_CLASSPATH="/opt/hadoop/share/hadoop/tools/lib/*"
Просмотр ожидающих изменений параметров, подготовленных в кластере больших данных
Вы можете просмотреть ожидающие изменения параметров только для службы Spark и для всего кластера больших данных.
Ожидающие параметры службы Spark
azdata bdc spark settings show --filter-option=pending --include-details
Служба Spark
| Параметр | Текущее значение | Настроенное значение | Конфигурируемый | Настроено | Время последнего изменения |
|---|---|---|---|---|---|
spark-defaults-conf.spark.driver.cores |
1 |
2 |
true |
true |
|
spark-defaults-conf.spark.driver.memory |
1664m |
7424m |
true |
true |
Все ожидающие параметры
azdata bdc settings show --filter-option=pending --include-details --recursive
Ожидающие параметры службы Spark
| Параметр | Текущее значение | Настроенное значение | Конфигурируемый | Настроено | Время последнего изменения |
|---|---|---|---|---|---|
spark-defaults-conf.spark.driver.cores |
1 |
2 |
true |
true |
|
spark-defaults-conf.spark.driver.memory |
1664m |
7424m |
true |
true |
Ожидающие параметры ресурса Spark Storage-0
| Параметр | Текущее значение | Настроенное значение | Конфигурируемый | Настроено | Время последнего изменения |
|---|---|---|---|---|---|
spark-defaults-conf.spark.executor.cores |
1 |
4 |
true |
true |
Применение ожидающих изменения параметров к кластеру больших данных
azdata bdc settings apply
Мониторинг состояния изменения конфигурации
azdata bdc status show
Другие необязательные шаги
Отмена ожидающих параметров конфигурации
Если вы решите, что больше не хотите применять ожидающие параметры конфигурации, их подготовку можно отменить. При этом ожидающие параметры отменяются на всех уровнях.
azdata bdc settings revert
Прерывание обновления конфигурации
Если обновление конфигурации для любого из компонентов завершилось сбоем, можно отменить процесс обновления и восстановить предыдущие конфигурации кластера. Параметры, которые были подготовлены к изменению во время обновления, снова перейдут в состояние ожидания.
azdata bdc settings cancel-apply