databricks_step 모듈

DBFS에서 Databricks Notebook 또는 Python 스크립트를 실행하기 위한 Azure ML 파이프라인 단계를 만드는 기능이 포함되어 있습니다.

클래스

DatabricksStep

DataBricks Notebook, Python 스크립트 또는 JAR을 노드로 추가하는 Azure ML 파이프라인 단계를 만듭니다.

DatabricksStep 사용의 예제는 Notebook https://aka.ms/pl-databricks를 참조하세요.

Azure ML 파이프라인 단계를 만들어 DataBricks Notebook, Python 스크립트 또는 JAR을 노드로 추가합니다.

DatabricksStep 사용의 예제는 Notebook https://aka.ms/pl-databricks를 참조하세요.

:p aram python_script_name:[필수] 에 상대적 source_directory인 Python 스크립트의 이름입니다. 스크립트가 입력과 출력을 사용하면 매개 변수로 스크립트에 전달됩니다. python_script_name가 지정되면 source_directory도 지정되어야 합니다.

notebook_path, python_script_path, python_script_name 또는 main_class_name 중 정확히 하나를 지정합니다.

DataReference 개체를 data_reference_name=input1에 입력으로 지정하고 PipelineData 개체를 name=output1에 출력으로 지정하면 입력과 출력이 매개 변수로 스크립트에 전달됩니다. 그러면 다음과 같이 표시되며 각 입력 및 출력의 경로에 액세스하려면 스크립트의 인수를 구문 분석해야 합니다. "-input1","wasbs://test@storagename.blob.core.windows.net/test","-output1", "wasbs://test@storagename.blob.core.windows.net/b3e26de1-87a4-494d-a20f-1988d22b81a2/output1"

또한 스크립트 내에서 다음 매개 변수를 사용할 수 있습니다.

  • AZUREML_RUN_TOKEN: Azure Machine Learning으로 인증하기 위한 AML 토큰입니다.
  • AZUREML_RUN_TOKEN_EXPIRY: AML 토큰 만료 시간입니다.
  • AZUREML_RUN_ID: 이 실행에 대한 Azure Machine Learning 실행 ID입니다.
  • AZUREML_ARM_SUBSCRIPTION: AML 작업 영역에 대한 Azure 구독입니다.
  • AZUREML_ARM_RESOURCEGROUP: Azure Machine Learning 작업 영역에 대한 Azure 리소스 그룹입니다.
  • AZUREML_ARM_WORKSPACE_NAME: Azure Machine Learning 작업 영역의 이름입니다.
  • AZUREML_ARM_PROJECT_NAME: Azure Machine Learning 실험의 이름입니다.
  • AZUREML_SERVICE_ENDPOINT: AML 서비스의 엔드포인트 URL입니다.
  • AZUREML_WORKSPACE_ID: Azure Machine Learning 작업 영역의 ID입니다.
  • AZUREML_EXPERIMENT_ID: Azure Machine Learning 실험의 ID입니다.
  • AZUREML_SCRIPT_DIRECTORY_NAME: source_directory가 복사된 DBFS의 디렉터리 경로입니다.
  (This parameter is only populated when `python_script_name` is used.  See more details below.)

DatabricksStep 매개 변수 source_directorypython_script_name을 사용하여 Databricks의 로컬 머신에서 Python 스크립트를 실행하는 경우 source_directory가 DBFS로 복사되고 DBFS의 디렉터리 경로가 실행을 시작할 때 스크립트에 매개 변수로 전달됩니다. 이 매개 변수의 레이블은 AZUREML_SCRIPT_DIRECTORY_NAME입니다. DBFS의 디렉터리에 액세스하려면 문자열 “dbfs:/” 또는 “/dbfs/”를 접두사로 추가해야 합니다.