Freigeben über

databricks_step Modul

  • Referenz

Enthält Funktionen zum Erstellen eines Azure ML-Pipelineschritts zum Ausführen eines Databricks-Notebooks oder Python-Skripts in DBFS.

Klassen

DatabricksStep

Erstellt einen Azure ML-Pipelineschritt, um ein DataBricks-Notebook, ein Python-Skript oder eine JAR-Datei als Knoten hinzuzufügen.

Ein Beispiel für die Verwendung von DatabricksStep finden Sie im Notebook https://aka.ms/pl-databricks.

Erstellen Sie einen Azure ML-Pipelineschritt, um ein DataBricks-Notebook, python-Skript oder JAR als Knoten hinzuzufügen.

Ein Beispiel für die Verwendung von DatabricksStep finden Sie im Notebook https://aka.ms/pl-databricks.

:p aram python_script_name:[Erforderlich] Der Name eines Python-Skripts relativ zu source_directory. Wenn das Skript Eingaben und Ausgaben verwendet, werden diese als Parameter an das Skript übergeben. Wenn python_script_name angegeben ist, muss source_directory ebenfalls angegeben sein.

Geben Sie genau eines von notebook_path, python_script_pathpython_script_name, oder anmain_class_name.

Wenn Sie ein DataReference-Objekt als Eingabe mit data_reference_name=input1 und ein PipelineData-Objekt als Ausgabe mit name=output1 angeben, werden die Eingaben und Ausgaben als Parameter an das Skript übergeben. So sehen sie aus, und Sie müssen die Argumente in Ihrem Skript analysieren, um auf die Pfade jeder Eingabe und Ausgabe zu zugreifen: "-input1", "wasbs://test@storagename.blob.core.windows.net/test", "-output1", "wasbs://test@storagename.blob.core.windows.net/b3e26de1-87a4-494d-a20f-1988d22b81a2/output1"

Darüber hinaus sind die folgenden Parameter im Skript verfügbar:

  • AZUREML_RUN_TOKEN: Das AML für die Authentifizierung mit Azure Machine Learning.
  • AZUREML_RUN_TOKEN_EXPIRY: Die AML Ablaufzeit des Tokens.
  • AZUREML_RUN_ID: Azure Machine Learning Ausführungs-ID für diese Ausführung.
  • AZUREML_ARM_SUBSCRIPTION: Azure-Abonnement für Ihren AML Arbeitsbereich.
  • AZUREML_ARM_RESOURCEGROUP: Azure-Ressourcengruppe für Ihren Azure Machine Learning Arbeitsbereich.
  • AZUREML_ARM_WORKSPACE_NAME: Name Ihres Azure Machine Learning Arbeitsbereichs.
  • AZUREML_ARM_PROJECT_NAME: Name Ihres Azure Machine Learning Experiments.
  • AZUREML_SERVICE_ENDPOINT: Die Endpunkt-URL für AML Dienste.
  • AZUREML_WORKSPACE_ID: ID Ihres Azure Machine Learning-Arbeitsbereichs.
  • AZUREML_EXPERIMENT_ID: ID Ihres Azure Machine Learning-Experiments.
  • AZUREML_SCRIPT_DIRECTORY_NAME: Verzeichnispfadstruktur in DBFS, wobei source_directory kopiert wurde.
  (This parameter is only populated when `python_script_name` is used.  See more details below.)

Wenn Sie ein Python-Skript von Ihrem lokalen Computer auf Databricks mithilfe der DatabricksStep-Parameter source_directoryund python_script_name, wird Ihr source_directory in DBFS kopiert, und der Verzeichnisstrukturpfad in DBFS wird als Parameter an Ihr Skript übergeben, wenn es mit der Ausführung beginnt. Dieser Parameter wird bezeichnet als --AZUREML_SCRIPT_DIRECTORY_NAME. Sie müssen ihr die Zeichenfolge "dbfs:/" voran stellen. oder "/dbfs/", um auf das Verzeichnis in DBFS zu zugreifen.