Azure Databricks에 대한 연결된 서비스 만들기
Azure Databricks 작업 영역에서 Notebook을 실행하려면 Azure Data Factory 파이프라인이 작업 영역에 연결할 수 있어야 하며, 이렇게 하려면 인증이 필요합니다. 이 인증된 연결을 사용하도록 설정하려면 다음 두 가지 구성 작업을 수행해야 합니다.
- Azure Databricks 작업 영역에 대한 액세스 토큰을 생성합니다.
- 액세스 토큰을 사용하여 Azure Databricks에 연결하는 Azure Data Factory 리소스에 연결된 서비스를 만듭니다.
액세스 토큰 생성하기
액세스 토큰은 사용자 이름 및 암호 형식의 자격 증명 대신 Azure Databricks에 대한 인증 방법을 제공합니다. 클라이언트 애플리케이션에서 토큰을 다시 생성하고 업데이트해야 하는 만료 기간을 지정하여 애플리케이션에 대한 액세스 토큰을 생성할 수 있습니다.
액세스 토큰을 만들려면 Azure Databricks 포털의 사용자 설정 페이지에 있는 개발자 탭에서 새 토큰 생성 옵션을 사용합니다.
연결된 서비스 만들기
Azure Data Factory에서 Azure Databricks에 연결하려면 Azure Databricks 컴퓨팅에 대한 연결된 서비스를 만들어야 합니다. Azure Data Factory Studio의 연결된 서비스 페이지의 관리 섹션에서 연결된 서비스를 만들 수 있습니다.
Azure Databricks 연결된 서비스를 만들 때 다음 구성 설정을 지정해야 합니다.
| 설정 | Description |
|---|---|
| Name | 연결된 서비스의 고유한 이름 |
| Description | 의미 있는 설명 |
| 통합 런타임 | 이 연결된 서비스에서 활동을 실행하는 데 사용되는 통합 런타임. 자세한 내용은 Azure Data Factory의 통합 런타임을 참조하세요. |
| Azure 구독 | Azure Databricks가 프로비저닝되는 Azure 구독 |
| Databricks 작업 영역 | Azure Databricks 작업 영역 |
| 클러스터 | 작업 코드를 실행할 Spark 클러스터. Azure Databricks가 주문형 작업 클러스터를 동적으로 프로비저닝하거나 작업 영역에서 기존 클러스터를 지정할 수 있습니다. |
| 인증 유형 | Azure Databricks에서 연결된 연결을 인증하는 방법. 예를 들어 액세스 토큰을 사용하는 경우 작업 영역에 대해 생성한 액세스 토큰을 지정해야 합니다. |
| 클러스터 구성 | Databricks 런타임 버전, Python 버전, 작업자 노드 유형, 클러스터의 작업자 노드 수. |