Python용 PyDev 및 Databricks Connect에서 Eclipse 사용
참고 항목
이 문서에서는 Databricks Runtime 13.3 LTS 이상에 대한 Databricks Connect에 대해 설명합니다.
이 문서에서는 PyDev와 함께 Scala 및 Eclipse용 Databricks Connect를 사용하는 방법을 설명합니다. Databricks Connect를 사용하면 인기 있는 IDE, Notebook 서버 및 기타 사용자 지정 애플리케이션을 Azure Databricks 클러스터에 연결할 수 있습니다. Databricks Connect란?을 참조하세요.
참고 항목
Databricks Connect 사용을 시작하기 전에 Databricks Connect 클라이언트를 설정해야 합니다.
PyDev에서 Databricks Connect 및 Eclipse를 사용하려면 다음 지침을 따릅니다.
- Eclipse를 시작합니다.
- 프로젝트 만들기: 파일 새 프로젝트 PyDev > PyDev 프로젝트를 클릭한 다음 다음을 클릭합니다.> > >
- 프로젝트 이름을 지정합니다.
- 프로젝트 콘텐츠의 경우 Python 가상 환경의 경로를 지정합니다.
- 프로시저를 실행하기 전에 인터프리터 구성을 클릭합니다.
- 수동 구성을 클릭합니다.
- Python/pypy exe에 대한 새 > 찾아보기를 클릭합니다.
- 가상 환경에서 참조되는 Python 인터프리터의 전체 경로를 찾아 선택한 다음 열기를 클릭합니다.
- 인터프리터 선택 대화 상자에서 확인을 클릭합니다.
- 필요한 선택 대화 상자에서 확인을 클릭합니다.
- 기본 설정 대화 상자에서 적용 및 닫기를 클릭합니다.
- PyDev 프로젝트 대화 상자에서 마침을 클릭합니다.
- 원근 열기를 클릭합니다.
- 예제 코드 또는 사용자 고유의 코드가 포함된 Python 코드(
.py
) 파일을 프로젝트에 추가합니다. 사용자 고유의 코드를 사용하는 경우 최소한 예제 코드에 표시된 대로 초기화DatabricksSession
해야 합니다. - Python 코드 파일이 열려 있는 상태에서 실행하는 동안 코드를 일시 중지할 중단점을 설정합니다.
- 코드를 실행하려면 실행 실행을 > 클릭합니다. 모든 Python 코드는 로컬로 실행되지만 DataFrame 작업과 관련된 모든 PySpark 코드는 원격 Azure Databricks 작업 영역의 클러스터에서 실행되고 실행 응답은 로컬 호출자에게 다시 전송됩니다.
- 코드를 디버그하려면 디버그 실행을 > 클릭합니다. 모든 Python 코드는 로컬로 디버그되지만 모든 PySpark 코드는 원격 Azure Databricks 작업 영역의 클러스터에서 계속 실행됩니다. 코어 Spark 엔진 코드는 클라이언트에서 직접 디버그할 수 없습니다.
보다 구체적인 실행 및 디버그 지침은 프로그램 실행을 참조 하세요.