다음을 통해 공유

DatabricksCompute 클래스

  • 참조

Azure Machine Learning에서 Databricks 컴퓨팅 대상을 관리합니다.

Azure Databricks는 Azure 클라우드의 Apache Spark 기반 환경입니다. 이 환경은 Azure Machine Learning 파이프라인 사용 시 컴퓨팅 대상으로 사용할 수 있습니다. 자세한 내용은 Azure Machine Learning의 컴퓨팅 대상이란?을 참조하세요.

클래스 ComputeTarget 생성자입니다.

제공된 작업 영역과 연결된 Compute 개체의 클라우드 표현을 검색합니다. 검색된 Compute 개체의 특정 형식에 해당하는 자식 클래스의 instance 반환합니다.

상속
ComputeTarget
DatabricksCompute

생성자

DatabricksCompute(workspace, name)

매개 변수

Name Description
workspace
필수
Workspace

검색할 DatabricksCompute 개체를 포함하는 작업 영역 개체입니다.
name
필수
str

검색할 DatabricksCompute 개체의 이름입니다.
workspace
필수
Workspace

검색할 Compute 개체를 포함하는 작업 영역 개체입니다.
name
필수
str

검색할 Compute 개체의 이름입니다.

설명

다음 예제는 컴퓨팅 대상으로 Azure Databricks를 연결하는 방법을 보여 줍니다.


   # Replace with your account info before running.

   db_compute_name=os.getenv("DATABRICKS_COMPUTE_NAME", "<my-databricks-compute-name>") # Databricks compute name
   db_resource_group=os.getenv("DATABRICKS_RESOURCE_GROUP", "<my-db-resource-group>") # Databricks resource group
   db_workspace_name=os.getenv("DATABRICKS_WORKSPACE_NAME", "<my-db-workspace-name>") # Databricks workspace name
   db_access_token=os.getenv("DATABRICKS_ACCESS_TOKEN", "<my-access-token>") # Databricks access token

   try:
       databricks_compute = DatabricksCompute(workspace=ws, name=db_compute_name)
       print('Compute target {} already exists'.format(db_compute_name))
   except ComputeTargetException:
       print('Compute not found, will use below parameters to attach new one')
       print('db_compute_name {}'.format(db_compute_name))
       print('db_resource_group {}'.format(db_resource_group))
       print('db_workspace_name {}'.format(db_workspace_name))
       print('db_access_token {}'.format(db_access_token))

       config = DatabricksCompute.attach_configuration(
           resource_group = db_resource_group,
           workspace_name = db_workspace_name,
           access_token= db_access_token)
       databricks_compute=ComputeTarget.attach(ws, db_compute_name, config)
       databricks_compute.wait_for_completion(True)

전체 샘플은 https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-use-databricks-as-compute-target.ipynb에서 사용할 수 있습니다.

메서드

attach

사용되지 않습니다. 대신 attach_configuration 메서드를 사용합니다.

기존 Databricks 컴퓨팅 리소스를 제공된 작업 영역에 연결합니다.
attach_configuration

Databricks 컴퓨팅 대상을 연결하기 위한 구성 개체를 만듭니다.
delete

DatabricksCompute 개체에는 삭제가 지원되지 않습니다. 대신 detach를 사용하세요.
deserialize

JSON 개체를 DatabricksCompute 개체로 변환합니다.
detach

연결된 작업 영역에서 Databricks 개체를 분리합니다.

기본 클라우드 개체는 삭제되지 않고 연결만 제거됩니다.
get_credentials

Databricks 대상에 대한 자격 증명을 검색합니다.
refresh_state

개체 속성의 내부 업데이트를 수행합니다.

이 메서드는 해당 클라우드 개체의 현재 상태에 따라 속성을 업데이트합니다. 이는 주로 컴퓨팅 상태의 수동 폴링에 사용됩니다.
serialize

이 DatabricksCompute 개체를 JSON 직렬화된 사전으로 변환합니다.

attach

사용되지 않습니다. 대신 attach_configuration 메서드를 사용합니다.

기존 Databricks 컴퓨팅 리소스를 제공된 작업 영역에 연결합니다.

static attach(workspace, name, resource_id, access_token)

매개 변수

Name Description
workspace
필수
Workspace

컴퓨팅 리소스를 연결할 작업 영역 개체입니다.
name
필수
str

제공된 작업 영역 내에서 컴퓨팅 리소스를 연결할 이름입니다. 연결할 컴퓨팅 리소스의 이름과 일치하지 않아도 됩니다.
resource_id
필수
str

연결 중인 컴퓨팅 리소스의 Azure 리소스 ID입니다.
access_token
필수
str

연결된 리소스에 대한 액세스 토큰입니다.

반환

형식 Description
DatabricksCompute

컴퓨팅 개체의 DatabricksCompute 개체 표현입니다.

예외

형식 Description
ComputeTargetException

attach_configuration

Databricks 컴퓨팅 대상을 연결하기 위한 구성 개체를 만듭니다.

static attach_configuration(resource_group=None, workspace_name=None, resource_id=None, access_token='')

매개 변수

Name Description
resource_group
str

Databricks가 있는 리소스 그룹의 이름입니다.

Default value: None
workspace_name
str

Databricks 작업 영역 이름입니다.

Default value: None
resource_id
str

연결 중인 컴퓨팅 리소스의 Azure 리소스 ID입니다.

Default value: None
access_token
필수
str

연결된 컴퓨팅 리소스에 대한 액세스 토큰입니다.

반환

형식 Description
DatabricksAttachConfiguration

Compute 개체를 연결할 때 사용할 구성 개체입니다.

예외

형식 Description
ComputeTargetException

delete

DatabricksCompute 개체에는 삭제가 지원되지 않습니다. 대신 detach를 사용하세요.

delete()

예외

형식 Description
ComputeTargetException

deserialize

JSON 개체를 DatabricksCompute 개체로 변환합니다.

static deserialize(workspace, object_dict)

매개 변수

Name Description
workspace
필수
Workspace

DatabricksCompute 개체가 연결된 작업 영역 개체입니다.
object_dict
필수
dict

DatabricksCompute 개체로 변환할 JSON 개체입니다.

반환

형식 Description
DatabricksCompute

제공된 JSON 개체의 DatabricksCompute 표현입니다.

예외

형식 Description
ComputeTargetException

설명

제공된 작업 영역이 Compute가 연결된 작업 영역이 아닌 경우 ComputeTargetException을 발생시킵니다.

detach

연결된 작업 영역에서 Databricks 개체를 분리합니다.

기본 클라우드 개체는 삭제되지 않고 연결만 제거됩니다.

detach()

예외

형식 Description
ComputeTargetException

get_credentials

Databricks 대상에 대한 자격 증명을 검색합니다.

get_credentials()

반환

형식 Description
dict

Databricks 대상에 대한 자격 증명입니다.

예외

형식 Description
ComputeTargetException

refresh_state

개체 속성의 내부 업데이트를 수행합니다.

이 메서드는 해당 클라우드 개체의 현재 상태에 따라 속성을 업데이트합니다. 이는 주로 컴퓨팅 상태의 수동 폴링에 사용됩니다.

refresh_state()

예외

형식 Description
ComputeTargetException

serialize

이 DatabricksCompute 개체를 JSON 직렬화된 사전으로 변환합니다.

serialize()

반환

형식 Description
dict

이 DatabricksCompute 개체의 JSON 표현입니다.

예외

형식 Description
ComputeTargetException