Scala용 Databricks Connect 설치

아티클
11/24/2024

참고 항목

이 문서에서는 Databricks Runtime 13.3 LTS 이상에 대한 Databricks Connect에 대해 설명합니다.

이 문서에서는 Scala용 Databricks Connect를 설치하는 방법을 설명합니다. Databricks Connect란?을 참조하세요. 이 문서의 Python 버전은 Python용 Databricks Connect 설치를 참조 하세요.

요구 사항

대상 Azure Databricks 작업 영역 및 클러스터는 Databricks Connect에 대한 컴퓨팅 구성 요구 사항을 충족해야 합니다.
개발 머신에 설치된 JDK(Java Development Kit)입니다. Databricks는 사용하는 JDK 설치 버전이 Azure Databricks 클러스터의 JDK 버전과 일치하는 것을 권장합니다. 클러스터에서 JDK 버전을 찾으려면 클러스터에 대한 Databricks 런타임 릴리스 정보의 "시스템 환경" 섹션을 참조하세요. 예를 들어 JDK Zulu 8.70.0.23-CA-linux64 8에 해당합니다. Databricks Runtime 릴리스 정보 버전 및 호환성을 참조하세요.
개발 머신에 Scala가 설치되어 있습니다. Databricks는 사용하는 Scala 설치 버전이 Azure Databricks 클러스터의 Scala 버전과 일치하는 것을 권장합니다. 클러스터에서 Scala 버전을 찾으려면 클러스터에 대한 Databricks 런타임 릴리스 정보의 "시스템 환경" 섹션을 참조하세요. Databricks Runtime 릴리스 정보 버전 및 호환성을 참조하세요.
개발 머신의 Scala 빌드 도구(예: sbt.)

Databricks Connect 클라이언트에 대한 참조 추가

Databricks Connect 클라이언트를 설정하려면 먼저 클라이언트에 대한 참조를 추가합니다. Scala 프로젝트의 빌드 파일(예: build.sbt sbtpom.xml Maven용 또는 build.gradle Gradle)에서 Databricks Connect 클라이언트에 다음 참조를 추가합니다. 클러스터의 Databricks 런타임 버전과 일치하는 Databricks Connect 라이브러리의 버전으로 바꿉 14.0.0 니다. Maven 중앙 리포지토리에서 Databricks Connect 라이브러리 버전 번호를 찾을 수 있습니다.

Sbt

libraryDependencies += "com.databricks" % "databricks-connect" % "14.0.0"

Maven

<dependency>
  <groupId>com.databricks</groupId>
  <artifactId>databricks-connect</artifactId>
  <version>14.0.0</version>
</dependency>

Gradle

implementation 'com.databricks.databricks-connect:14.0.0'

연결 속성 구성

다음으로, Databricks Connect와 원격 Azure Databricks 클러스터 간에 연결을 설정하도록 속성을 구성합니다. 이러한 속성에는 클러스터를 사용하여 Databricks Connect를 인증하는 설정이 포함됩니다. Databricks Connect에 대한 컴퓨팅 구성을 참조하세요.

Databricks Runtime 13.3 LTS 이상용 Databricks Connect의 경우 Scala의 경우 Databricks Connect에는 Java용 Databricks SDK가 포함됩니다. 이 SDK는 인증에 대한 통합되고 일관된 아키텍처 및 프로그래밍 방식인 Databricks 클라이언트 통합 인증 표준을 구현합니다. 이 방법을 사용하면 Azure Databricks를 사용하여 인증을 설정하고 자동화하는 것이 더 중앙 집중화되고 예측 가능합니다. 이를 통해 Azure Databricks 인증을 한 번 구성한 다음, 추가 인증 구성 변경 없이 여러 Azure Databricks 도구 및 SDK에서 해당 구성을 사용할 수 있습니다.