Delen via

databricks_step Module

  • Referentie

Bevat functionaliteit voor het maken van een Azure ML-pijplijnstap voor het uitvoeren van een Databricks-notebook of Python-script op DBFS.

Klassen

DatabricksStep

Hiermee maakt u een Azure ML-pijplijnstap om een DataBricks-notebook, Python-script of JAR als een knooppunt toe te voegen.

Zie het notebook https://aka.ms/pl-databricksvoor een voorbeeld van het gebruik van DatabricksStep.

Maak een Azure ML-pijplijnstap om een DataBricks-notebook, Python-script of JAR als een knooppunt toe te voegen.

Zie het notebook https://aka.ms/pl-databricksvoor een voorbeeld van het gebruik van DatabricksStep.

:p aram python_script_name:[Vereist] De naam van een Python-script ten opzichte source_directoryvan . Als het script invoer en uitvoer heeft, worden deze als parameters doorgegeven aan het script. Als python_script_name is opgegeven, source_directory moet dat ook zijn.

Geef precies een van notebook_path, python_script_path, python_script_nameof main_class_nameop.

Als u een DataReference-object opgeeft als invoer met data_reference_name=input1 en een PipelineData-object als uitvoer met name=output1, worden de invoer en uitvoer als parameters doorgegeven aan het script. Dit is hoe ze eruitzien en u moet de argumenten in uw script parseren om toegang te krijgen tot de paden van elke invoer en uitvoer: "-input1","wasbs://test@storagename.blob.core.windows.net/test","-output1", "wasbs://test@storagename.blob.core.windows.net/b3e26de1-87a4-494d-a20f-1988d22b81a2/output1"

Daarnaast zijn de volgende parameters beschikbaar in het script:

  • AZUREML_RUN_TOKEN: het AML-token voor verificatie met Azure Machine Learning.
  • AZUREML_RUN_TOKEN_EXPIRY: de verlooptijd van het AML-token.
  • AZUREML_RUN_ID: Azure Machine Learning-uitvoerings-id voor deze uitvoering.
  • AZUREML_ARM_SUBSCRIPTION: Azure-abonnement voor uw AML-werkruimte.
  • AZUREML_ARM_RESOURCEGROUP: Azure-resourcegroep voor uw Azure Machine Learning-werkruimte.
  • AZUREML_ARM_WORKSPACE_NAME: naam van uw Azure Machine Learning-werkruimte.
  • AZUREML_ARM_PROJECT_NAME: naam van uw Azure Machine Learning-experiment.
  • AZUREML_SERVICE_ENDPOINT: de eindpunt-URL voor AML-services.
  • AZUREML_WORKSPACE_ID: id van uw Azure Machine Learning-werkruimte.
  • AZUREML_EXPERIMENT_ID: id van uw Azure Machine Learning-experiment.
  • AZUREML_SCRIPT_DIRECTORY_NAME: Mappad in DBFS waar source_directory is gekopieerd.
  (This parameter is only populated when `python_script_name` is used.  See more details below.)

Wanneer u een Python-script uitvoert vanaf uw lokale computer in Databricks met behulp van DatabricksStep-parameters source_directory en python_script_name, wordt uw source_directory gekopieerd naar DBFS en wordt het mappad op DBFS als parameter doorgegeven aan uw script wanneer de uitvoering wordt gestart. Deze parameter wordt gelabeld als –AZUREML_SCRIPT_DIRECTORY_NAME. U moet het voorvoegsel toevoegen aan de tekenreeks 'dbfs:/' of '/dbfs/' om toegang te krijgen tot de map in DBFS.