Поделиться через

DatabricksCluster Класс

  • Ссылка

Определяет сведения о кластере Databricks для использования в DatabricksSection.

Инициализации.

Наследование
azureml._base_sdk_common.abstract_run_config_element._AbstractRunConfigElement
DatabricksCluster

Конструктор

DatabricksCluster(existing_cluster_id=None, spark_version=None, node_type=None, instance_pool_id=None, num_workers=None, min_workers=None, max_workers=None, spark_env_variables=None, spark_conf=None, init_scripts=None, cluster_log_dbfs_path=None, permit_cluster_restart=None)

Параметры

Имя Описание
existing_cluster_id
str

Идентификатор существующего интерактивного кластера в рабочей области Databricks. Если этот параметр указан, никакие другие параметры указывать не нужно.

Default value: None
spark_version
str

Версия Spark для кластера Databricks. Пример: "10.4.x-scala2.12".

Default value: None
node_type
str

Типы узлов виртуальных машин Azure для кластера Databricks. Пример: "Standard_D3_v2".

Default value: None
instance_pool_id
str

Идентификатор пула экземпляров, к которому необходимо подключить кластер.

Default value: None
num_workers
int

Число рабочих ролей для кластера Databricks. Если этот параметр указан, параметры min_workers и max_workers указывать не следует.

Default value: None
min_workers
int

Минимальное число рабочих ролей для кластера Databricks с автомасштабированием.

Default value: None
max_workers
int

Число рабочих ролей для кластера Databricks с автомасштабированием.

Default value: None
spark_env_variables
dict(<xref:{str:str}>)

Переменные среды Spark для кластера Databricks.

Default value: None
spark_conf
dict(<xref:{str:str}>)

Конфигурация Spark для кластера Databricks.

Default value: None
init_scripts
list[str]

Не рекомендуется. Databricks объявила, что скрипт инициализации, хранящийся в DBFS, прекратит работу после 1 декабря 2023 г. Чтобы устранить эту проблему, 1) используйте глобальные скрипты инициализации в databricks: https://learn.microsoft.com/azure/databricks/init-scripts/global 2) закомментируйте строку init_scripts на шаге AzureML databricks.

Default value: None
cluster_log_dbfs_path
str

Путь DBFS, по которому должны доставляться журналы кластеров.

Default value: None
permit_cluster_restart
bool

Если указан existing_cluster_id, этот параметр указывает, можно ли перезапустить кластер от имени пользователя.

Default value: None

Методы

validate

Проверка указанных сведений о кластере Databricks.

Проверка типов предоставленных параметров, а также проверка предоставления правильного сочетания параметров. Например, необходимо указать existing_cluster_id или остальные параметры кластера. Дополнительные сведения приведены в разделе определений параметров конструктора.

validate

Проверка указанных сведений о кластере Databricks.

Проверка типов предоставленных параметров, а также проверка предоставления правильного сочетания параметров. Например, необходимо указать existing_cluster_id или остальные параметры кластера. Дополнительные сведения приведены в разделе определений параметров конструктора.

validate()

Исключения

Тип Описание
class:azureml.exceptions.UserErrorException