DatabricksCluster Klas

Definieert Databricks-clustergegevens voor gebruik in een DatabricksSection.

Initialiseren.

Overname

azureml._base_sdk_common.abstract_run_config_element._AbstractRunConfigElement

DatabricksCluster

Constructor

DatabricksCluster(existing_cluster_id=None, spark_version=None, node_type=None, instance_pool_id=None, num_workers=None, min_workers=None, max_workers=None, spark_env_variables=None, spark_conf=None, init_scripts=None, cluster_log_dbfs_path=None, permit_cluster_restart=None)

Parameters

Name	Description
existing_cluster_id	str Een cluster-id van een bestaand interactief cluster in de Databricks-werkruimte. Als deze parameter is opgegeven, moet geen van de andere parameters worden opgegeven. Default value: None
spark_version	str De versie van Spark voor het Databricks-cluster wordt uitgevoerd. Voorbeeld: "10.4.x-scala2.12". Default value: None
node_type	str De Azure VM-knooppunttypen voor het Databricks-cluster worden uitgevoerd. Voorbeeld: 'Standard_D3_v2'. Default value: None
instance_pool_id	str De id van de instantiegroep waaraan het cluster moet worden gekoppeld. Default value: None
num_workers	int Het aantal werkrollen voor een Databricks-cluster dat wordt uitgevoerd. Als deze parameter is opgegeven, moeten de min_workers parameters en max_workers niet worden opgegeven. Default value: None
min_workers	int Het minimum aantal werkrollen voor een automatisch geschaald Databricks-cluster. Default value: None
max_workers	int Het aantal werkrollen voor een automatisch geschaald Databricks-uitvoercluster. Default value: None
spark_env_variables	dict(<xref:{str:str}>) De Spark-omgevingsvariabelen voor het Databricks-cluster worden uitgevoerd. Default value: None
spark_conf	dict(<xref:{str:str}>) De Spark-configuratie voor het Databricks-uitvoercluster. Default value: None
init_scripts	list[str] Afgeschaft. Databricks heeft aangekondigd dat het init-script dat is opgeslagen in DBFS na 1 december 2023 stopt met werken. Als u het probleem wilt verhelpen, gebruikt u 1) globale init-scripts in Databricks na https://learn.microsoft.com/azure/databricks/init-scripts/global 2) markeert u de regel van init_scripts in uw AzureML databricks-stap. Default value: None
cluster_log_dbfs_path	str Het DBFS-pad naar waar clusterslogboeken moeten worden geleverd. Default value: None
permit_cluster_restart	bool Als existing_cluster_id is opgegeven, geeft deze parameter aan of het cluster opnieuw kan worden gestart namens de gebruiker. Default value: None

Methoden

validate

Valideer de opgegeven Gegevens van het Databricks-cluster. Valideren controleert de typen opgegeven parameters en of de juiste combinatie van parameters wordt opgegeven. U moet bijvoorbeeld de existing_cluster_id opgeven of de rest van de clusterparameters opgeven. Zie de parameterdefinities van de constructor voor meer informatie.

validate

Valideer de opgegeven Gegevens van het Databricks-cluster.

Valideren controleert de typen opgegeven parameters en of de juiste combinatie van parameters wordt opgegeven. U moet bijvoorbeeld de existing_cluster_id opgeven of de rest van de clusterparameters opgeven. Zie de parameterdefinities van de constructor voor meer informatie.

validate()

Uitzonderingen

Type	Description
class:azureml.exceptions.UserErrorException