Управление конфигурацией Apache Spark
Из этой статьи вы узнаете, как создать конфигурацию Apache Spark для студии synapse. Созданная конфигурация Apache Spark может управляться стандартизированным способом, а при создании определения задания Notebook или Apache Spark можно выбрать конфигурацию Apache Spark, которую вы хотите использовать с пулом Apache Spark. При выборе этого параметра отображаются сведения о конфигурации.
Создание конфигурации Apache Spark
Пользовательские конфигурации можно создавать из разных точек входа, например на странице конфигурации Apache Spark существующего пула Spark.
Создание пользовательских конфигураций в конфигурациях Apache Spark
Выполните следующие действия, чтобы создать конфигурацию Apache Spark в Synapse Studio.
Выберите Управление>Конфигурации Apache Spark.
Нажмите кнопку "Создать ", чтобы создать новую конфигурацию Apache Spark, или выберите "Импортировать локальный .json файл" в рабочую область.
После нажатия кнопки "Создать" откроется новая страница конфигурации Apache Spark.
В поле Имя можно ввести предпочитаемое и допустимое имя.
В поле Описание можно ввести описание.
Вы можете добавить заметки, нажав кнопку Создать, а также удалить существующие заметки, нажав кнопку Удалить.
Для свойств конфигурации настройте конфигурацию, нажав кнопку Добавить, чтобы добавить свойства. Если вы не добавите свойство, Azure Synapse будет использовать значение по умолчанию при необходимости.
Нажмите кнопку "Продолжить ".
Нажмите кнопку "Создать" при успешной проверке.
Элемент "Опубликовать все".
Примечание.
Функция настройки Apache Spark была удалена.
Пулы, использующие отправленную конфигурацию, необходимо обновить. Обновите конфигурацию пула, выбрав существующую конфигурацию или создав новую конфигурацию в меню конфигурации Apache Spark для пула. Если новая конфигурация не выбрана, задания для этих пулов будут выполняться с помощью конфигурации по умолчанию в параметрах системы Spark.
Создание конфигурации Apache Spark в уже существующем пуле Apache Spark
Выполните следующие действия, чтобы создать конфигурацию Apache Spark в существующем пуле Apache Spark.
Выберите существующий пул Apache Spark и выберите действие "..." пуговица.
Выберите конфигурацию Apache Spark в списке содержимого.
Для конфигурации Apache Spark можно выбрать уже созданную конфигурацию в раскрывающемся списке или нажать кнопку +Создать , чтобы создать новую конфигурацию.
Если выбрать +Создать, откроется страница конфигурации Apache Spark и вы можете создать новую конфигурацию, выполнив действия, описанные в разделе "Создание настраиваемых конфигураций в конфигурациях Apache Spark".
Если выбрать существующую конфигурацию, сведения о конфигурации будут отображаться в нижней части страницы, можно также нажать кнопку "Изменить ", чтобы изменить существующую конфигурацию.
Выберите "Просмотреть конфигурации", чтобы открыть страницу "Выбор конфигурации". Все конфигурации будут отображаться на этой странице. Вы можете выбрать конфигурацию, которую хотите использовать в этом пуле Apache Spark.
Нажмите кнопку " Применить" , чтобы сохранить действие.
Создание конфигурации Apache Spark в сеансе настройки записной книжки
Если вам нужно использовать настраиваемую конфигурацию Apache Spark при создании записной книжки, ее можно создать и настроить в сеансе настройки, выполнив приведенные ниже действия.
Создайте новую или откройте существующую записную книжку.
Откройте Свойства этой записной книжки.
Выберите "Настройка сеанса", чтобы открыть страницу "Настройка сеанса ".
Прокрутите страницу настройки сеанса для конфигурации Apache Spark, разверните раскрывающееся меню, чтобы создать новую конфигурацию, нажмите кнопку "Создать". Или выберите существующую конфигурацию, если выбрать существующую конфигурацию, щелкните значок "Изменить ", чтобы перейти на страницу "Изменить конфигурацию Apache Spark", чтобы изменить конфигурацию.
Выберите "Просмотреть конфигурации", чтобы открыть страницу "Выбор конфигурации". Все конфигурации будут отображаться на этой странице. Можно выбрать конфигурацию, которую вы хотите использовать.
Создание конфигурации Apache Spark в определениях заданий Apache Spark
При создании определения задания Spark необходимо использовать конфигурацию Apache Spark, которая может быть создана следующим образом:
Создайте новое или откройте существующее определение задания Apache Spark.
Для конфигурации Apache Spark можно нажать кнопку "Создать ", чтобы создать новую конфигурацию. Или выберите существующую конфигурацию в раскрывающемся меню, если выбрать существующую конфигурацию, щелкните значок "Изменить ", чтобы перейти на страницу "Изменить конфигурацию Apache Spark", чтобы изменить конфигурацию.
Выберите "Просмотреть конфигурации", чтобы открыть страницу "Выбор конфигурации". Все конфигурации будут отображаться на этой странице. Можно выбрать конфигурацию, которую вы хотите использовать.
Примечание.
Если в конфигурации Apache Spark в записной книжке и определении задания Apache Spark не выполняет никаких специальных действий, то при выполнении задания будет использоваться конфигурация по умолчанию.
Импорт и экспорт конфигурации Apache Spark
Вы можете импортировать конфигурацию .txt/.conf/.json в трех форматах, а затем преобразовать ее в артефакт с последующей публикацией. Кроме того, можно выполнить экспорт в один из этих трех форматов.
Импортируйте конфигурацию .txt/.conf/.json из локальной среды.
Импортируйте конфигурацию .txt/.conf/.json в локальную среду.
Для файла конфигурации .txt и файла конфигурации .conf доступны следующие примеры:
spark.synapse.key1 sample
spark.synapse.key2 true
# spark.synapse.key3 sample2
Для файла конфигурации .json доступны следующие примеры:
{
"configs": {
"spark.synapse.key1": "hello world",
"spark.synapse.key2": "true"
},
"annotations": [
"Sample"
]
}
Примечание.
Synapse Studio продолжит поддерживать файлы конфигурации на основе terraform или bicep.