Dela via

DatabricksCluster Klass

  • Referens

Definierar Databricks-klusterinformation för användning i en DatabricksSection.

Initiera.

Arv
azureml._base_sdk_common.abstract_run_config_element._AbstractRunConfigElement
DatabricksCluster

Konstruktor

DatabricksCluster(existing_cluster_id=None, spark_version=None, node_type=None, instance_pool_id=None, num_workers=None, min_workers=None, max_workers=None, spark_env_variables=None, spark_conf=None, init_scripts=None, cluster_log_dbfs_path=None, permit_cluster_restart=None)

Parametrar

Name Description
existing_cluster_id
str

Ett kluster-ID för ett befintligt interaktivt kluster på Databricks-arbetsytan. Om den här parametern anges ska ingen av de andra parametrarna anges.

Standardvärde: None
spark_version
str

Versionen av Spark för Databricks-körklustret. Exempel: "10.4.x-scala2.12".

Standardvärde: None
node_type
str

Nodtyperna för virtuella Azure-datorer för Databricks-körklustret. Exempel: "Standard_D3_v2".

Standardvärde: None
instance_pool_id
str

Det instanspools-ID som klustret måste kopplas till.

Standardvärde: None
num_workers
int

Antalet arbetare för ett Databricks-körkluster. Om den här parametern anges ska parametrarna min_workers och max_workers inte anges.

Standardvärde: None
min_workers
int

Det minsta antalet arbetare för ett autoskalat Databricks-kluster.

Standardvärde: None
max_workers
int

Antalet arbetare för ett autoskalat Databricks-körkluster.

Standardvärde: None
spark_env_variables
dict(<xref:{str:str}>)

Spark-miljövariablerna för Databricks kör klustret.

Standardvärde: None
spark_conf
dict(<xref:{str:str}>)

Spark-konfigurationen för Databricks kör klustret.

Standardvärde: None
init_scripts
list[str]

Inaktuellt. Databricks meddelade att init-skriptet som lagras i DBFS slutar fungera efter den 1 december 2023. Du kan åtgärda problemet genom att 1) använda globala init-skript i databricks följande https://learn.microsoft.com/azure/databricks/init-scripts/global 2) kommentera ut raden med init_scripts i ditt AzureML-databricks-steg.

Standardvärde: None
cluster_log_dbfs_path
str

DBFS-sökvägen till den plats där klusterloggar måste levereras.

Standardvärde: None
permit_cluster_restart
bool

Om existing_cluster_id anges anger den här parametern om klustret kan startas om för användarens räkning.

Standardvärde: None

Metoder

validate

Verifiera den angivna informationen om Databricks-klustret.

Verifiera kontrollerar typerna av angivna parametrar samt om rätt kombination av parametrar tillhandahålls. Du måste till exempel antingen ange existing_cluster_id eller ange resten av klusterparametrarna. Mer information finns i definitionerna för konstruktorparametern.

validate

Verifiera den angivna informationen om Databricks-klustret.

Verifiera kontrollerar typerna av angivna parametrar samt om rätt kombination av parametrar tillhandahålls. Du måste till exempel antingen ange existing_cluster_id eller ange resten av klusterparametrarna. Mer information finns i definitionerna för konstruktorparametern.

validate()

Undantag

Typ Description
class:azureml.exceptions.UserErrorException