Python용 Databricks Connect

참고 항목

이 문서에서는 Databricks Runtime 13.3 LTS 이상에 대한 Databricks Connect에 대해 설명합니다.

이 문서에서는 Python 및 PyCharm을 사용하여 Databricks Connect를 빠르게 시작하는 방법을 보여 줍니다.

• 이 문서의 R 버전은 R용 Databricks Connect를 참조하세요.
• 이 문서의 Scala 버전은 Scala용 Databricks Connect를 참조하세요.

Databricks Connect를 사용하면 PyCharm, Notebook 서버 및 기타 사용자 지정 애플리케이션과 같은 인기 있는 IDE를 Azure Databricks 클러스터에 연결할 수 있습니다. Databricks Connect란?을 참조하세요.

자습서

이 자습서를 건너뛰고 다른 IDE를 대신 사용하려면 다음 단계를 참조 하세요.

요구 사항

이 자습서를 완료하려면 다음 요구 사항을 충족해야 합니다.

• 대상 Azure Databricks 작업 영역에 Unity 카탈로그가 활성화되어 있어야 합니다.
• PyCharm이 설치되어 있습니다. 이 자습서는 PyCharm Community Edition 2023.3.5에서 테스트되었습니다. 다른 버전의 PyCharm을 사용하는 경우 다음 지침이 다를 수 있습니다.
• 컴퓨팅은 Python 설치 요구 사항에 대한 Databricks Connect를 충족합니다.
• 클래식 컴퓨팅을 사용하는 경우 클러스터의 ID가 필요합니다. 클러스터 ID를 가져오려면 작업 영역에서 사이드바에서 컴퓨팅을 클릭한 다음 클러스터 이름을 클릭합니다. 웹 브라우저의 주소 표시줄에서 URL에서 clusters와 configuration 긴 문자 문자열을 복사합니다.

1단계: Azure Databricks 인증 구성

이 자습서에서는 Azure Databricks 작업 영역에 인증하기 위해 Azure Databricks OAuth U2M(사용자-컴퓨터) 인증 및 Azure Databricks 구성 프로필을 사용합니다. 다른 인증 유형을 사용하려면 연결 속성 구성을 참조 하세요.

OAuth U2M 인증을 구성하려면 Databricks CLI가 필요합니다. Databricks CLI 설치에 대한 자세한 내용은 Databricks CLI 설치 또는 업데이트를 참조하세요.

다음과 같이 OAuth U2M 인증을 시작합니다.

1. Databricks CLI를 사용하여 각 대상 작업 영역에 대해 다음 명령을 실행하고 OAuth 토큰 관리를 로컬로 시작합니다.

   다음 명령에서 <workspace-url>를 Azure Databricks 작업 영역 URL로 바꿉니다(예: https://adb-1234567890123456.7.azuredatabricks.net).

   databricks auth login --configure-cluster --host <workspace-url>
   

   팁

   Databricks Connect에서 서버리스 컴퓨팅을 사용하려면 서버리스 컴퓨팅에 대한 연결 구성을 참조 하세요.

2. Databricks CLI는 Azure Databricks 구성 프로필로 입력한 정보를 저장하라는 메시지를 표시합니다. Enter를 눌러 제안된 프로필 이름을 수락하거나 새 프로필 또는 기존 프로필의 이름을 입력합니다. 이름이 같은 기존 프로필은 입력한 정보로 덮어쓰여집니다. 프로필을 사용하여 여러 작업 영역에서 인증 컨텍스트를 빠르게 전환할 수 있습니다.

   기존 프로필 목록을 얻으려면 별도의 터미널 또는 명령 프롬프트에서 Databricks CLI를 사용하여 databricks auth profiles 명령을 실행합니다. 특정 프로필의 기존 설정을 보려면 databricks auth env --profile <profile-name> 명령을 실행합니다.

3. 웹 브라우저에서 화면상의 지침을 완료하여 Azure Databricks 작업 영역에 로그인합니다.

4. 터미널 또는 명령 프롬프트에 표시되는 사용 가능한 클러스터 목록에서 위쪽 화살표 키와 아래쪽 화살표 키를 사용하여 작업 영역에서 대상 Azure Databricks 클러스터를 선택한 다음 누릅니 Enter다. 클러스터 표시 이름의 일부를 입력하여 사용 가능한 클러스터 목록을 필터링할 수도 있습니다.

5. 프로필의 현재 OAuth 토큰 값과 토큰의 예정된 만료 타임스탬프를 보려면 다음 명령 중 하나를 실행합니다.

   • databricks auth token --host <workspace-url>
   • databricks auth token -p <profile-name>
   • databricks auth token --host <workspace-url> -p <profile-name>

   동일한 --host 값을 가진 프로필이 여러 개 있는 경우, Databricks CLI가 올바르게 일치하는 OAuth 토큰 정보를 찾을 수 있도록 --host 및 -p 옵션을 함께 지정해야 할 수 있습니다.

2단계: 프로젝트 만들기

1. PyCharm을 시작합니다.
2. 기본 메뉴에서 파일 > 새 프로젝트를 클릭합니다.
3. 새 프로젝트 대화 상자에서 Pure Python을 클릭합니다.
4. 위치의 경우 폴더 아이콘을 클릭하고 화면의 방향을 완료하여 새 Python 프로젝트의 경로를 지정합니다.
5. main.py 시작 스크립트 만들기를 선택한 상태로 둡니다.
6. 인터프리터 형식의 경우 Project venv를 클릭합니다.
7. Python 버전을 확장하고 폴더 아이콘 또는 드롭다운 목록을 사용하여 이전 요구 사항에서 Python 인터프리터의 경로를 지정합니다.
8. 만들기를 클릭합니다.

3단계: Databricks Connect 패키지 추가

1. PyCharm의 주 메뉴에서 도구 Windows > Python 패키지 보기를 > 클릭합니다.
2. 검색 상자에 databricks-connect를 입력합니다.
3. PyPI 리포지토리 목록에서 databricks-connect를 클릭합니다.
4. 결과 창의 최신 드롭다운 목록에서 클러스터의 Databricks 런타임 버전과 일치하는 버전을 선택합니다. 예를 들어 클러스터에 Databricks Runtime 14.3이 설치된 경우 14.3.1을 선택합니다.
5. 패키지 설치를 클릭합니다.
6. 패키지가 설치되면 Python 패키지 창을 닫을 수 있습니다.

4단계: 코드 추가

1. 프로젝트 도구 창에서 프로젝트의 루트 폴더를 마우스 오른쪽 단추로 클릭하고 새 > Python 파일을 클릭합니다.

2. Python 파일을 입력 main.py 하고 두 번 클릭합니다.

3. 다음 코드를 파일에 입력한 다음 구성 프로필의 이름에 따라 파일을 저장합니다.

   1단계의 구성 프로필 이름이 지정된 DEFAULT경우 다음 코드를 파일에 입력한 다음 파일을 저장합니다.

   from databricks.connect import DatabricksSession
   
   spark = DatabricksSession.builder.getOrCreate()
   
   df = spark.read.table("samples.nyctaxi.trips")
   df.show(5)
   

   1단계의 구성 프로필 이름이 지정 DEFAULT되지 않은 경우 파일에 다음 코드를 대신 입력합니다. 자리 표시자를 <profile-name> 1단계의 구성 프로필 이름으로 바꾼 다음 파일을 저장합니다.

   from databricks.connect import DatabricksSession
   
   spark = DatabricksSession.builder.profile("<profile-name>").getOrCreate()
   
   df = spark.read.table("samples.nyctaxi.trips")
   df.show(5)
   

5단계: 코드 실행

1. 원격 Azure Databricks 작업 영역에서 대상 클러스터를 시작합니다.
2. 클러스터가 시작된 후 주 메뉴에서 'main' 실행 실행을 > 클릭합니다.
3. 실행 도구 창(도구 창 > 실행 보기>)의 실행 탭 주 창에서 처음 5개 행이 samples.nyctaxi.trips 나타납니다.

6단계: 코드 디버그

1. 클러스터가 계속 실행 중인 상태에서 이전 코드에서 옆 df.show(5) 의 여백을 클릭하여 중단점을 설정합니다.
2. 주 메뉴에서 'main' 디버그 실행을 > 클릭합니다.
3. 디버그 도구 창(도구 창 > 디버그 보기>)의 디버거 탭의 변수 창에서 df 및 Spark 변수 노드를 확장하여 코드 df 및 spark 변수에 대한 정보를 찾습니다.
4. 디버그 도구 창의 사이드바에서 녹색 화살표(프로그램 다시 시작) 아이콘을 클릭합니다.
5. 디버거 탭의 콘솔 창에서 처음 5개 행이 samples.nyctaxi.trips 나타납니다.

다음 단계

Databricks Connect에 대한 자세한 내용은 다음과 같은 문서를 참조하세요.

• 다른 인증 유형을 사용하려면 연결 속성 구성을 참조 하세요.
• 다른 IDE, Notebook 서버 및 Spark 셸을 사용하려면 다음을 참조하세요.
  • JupyterLab
  • 클래식 Jupyter Notebook
  • Visual Studio Code
  • PyDev를 사용하여 Eclipse
  • Spark 셸
• 추가 간단한 코드 예제를 보려면 Python용 Databricks Connect에 대한 코드 예제를 참조 하세요.
• 더 복잡한 코드 예제를 보려면 GitHub에서 Databricks Connect 리포지토리에 대한 예제 애플리케이션을 참조하세요. 특히 다음을 참조하세요.
  • 간단한 ETL 애플리케이션
  • Plotly를 기반으로 하는 대화형 데이터 애플리케이션
  • Plotly 및 PySpark AI를 기반으로 하는 대화형 데이터 애플리케이션
• Databricks Connect와 함께 Databricks 유틸리티를 사용하려면 Python용 Databricks Connect를 사용하는 Databricks 유틸리티를 참조 하세요.
• Databricks Runtime 12.2 LTS 이하의 Databricks Connect for Databricks Connect 13.3 LTS 이상으로 마이그레이션하려면 Python용 Databricks Connect로 마이그레이션을 참조하세요.
• 문제 해결 및 제한 사항에 대한 정보도 참조하세요.