다음을 통해 공유

Scala용 Databricks Connect의 제한 사항

  • 아티클

메모

이 문서에서는 Databricks Runtime 13.3 LTS 이상에 대한 Databricks Connect에 대해 설명합니다.

이 문서에서는 Scala용 Databricks Connect의 제한 사항을 나열합니다. Databricks Connect를 사용하면 인기 있는 IDE, Notebook 서버 및 사용자 지정 애플리케이션을 Azure Databricks 클러스터에 연결할 수 있습니다. Databricks Connect이란 무엇인가?. 이 문서의 Python 버전은 Python용 Databricks Connect의 제한사항 을 참조하세요.

중요하다

사용 중인 Scala, Java, Databricks Runtime 및 Databricks Connect 버전에 따라 일부 기능에 대한 버전 요구 사항이 있을 수 있습니다. 요구 사항참조하세요.

기능 가용성

Databricks Runtime 13.3 LTS 이하의 Databricks Connect에서는 사용할 수 없습니다.

  • 스트리밍 foreachBatch
  • 128MB보다 큰 DataFrame 만들기
  • 3600초가 넘는 긴 쿼리
  • 단일 사용자 클러스터 액세스 모드를 사용하는 클러스터의 스칼라 UDF

사용할 수 없음:

  • Databricks 유틸리티: credentials, library, notebook workflow, widgets
  • Spark 컨텍스트
  • RDD들
  • CREATE TABLE <table-name> AS SELECT(대신 spark.sql("SELECT ...").write.saveAsTable("table")사용)
  • SparkContext 통해 log4j 로그 수준 변경
  • 분산 ML 학습
  • 로컬 개발 환경을 원격 클러스터와 동기화