다음을 통해 공유

Unity 카탈로그에 대한 컴퓨팅 액세스 모드 제한 사항

  • 아티클

Databricks는 대부분의 워크로드에 Unity 카탈로그 및 공유 액세스 모드를 사용하는 것이 좋습니다. 이 문서에서는 Unity 카탈로그를 사용하는 각 액세스 모드에 대한 제한 사항 및 요구 사항을 간략하게 설명합니다. 액세스 모드에 대한 자세한 내용은 액세스 모드를 참조하세요.

Databricks는 대부분의 사용자에 대한 구성 옵션을 간소화하기 위해 컴퓨팅 정책을 사용하는 것이 좋습니다. 컴퓨팅 정책 생성 및 관리를 참조하세요.

참고 항목

격리가 없는 공유 및 자격 증명 전달은 Unity 카탈로그를 지원하지 않는 기존 액세스 모드입니다.

Important

Init 스크립트 및 라이브러리는 액세스 모드와 Databricks Runtime 버전 간에 서로 다른 지원을 제공합니다. init 스크립트가 설치될 수 있는 위치를 확인하세요. 클러스터 범위 라이브러리 및 .

Unity 카탈로그의 단일 사용자 액세스 모드 제한

Unity 카탈로그의 단일 사용자 액세스 모드에는 다음과 같은 제한 사항이 있습니다. 이는 모든 Unity 카탈로그 액세스 모드에 대한 일반적인 제한 사항 외에 추가됩니다. Unity 카탈로그대한 일반 제한 사항을 참조하세요.

Unity 카탈로그 단일 사용자 액세스 모드에 대한 세분화된 액세스 제어 제한 사항

Databricks Runtime 15.3 이하에서는 단일 사용자 컴퓨팅에 대한 세분화된 액세스 제어가 지원되지 않습니다. 특별한 사항

  • 행 필터나 열 마스크이 있는 테이블에 접근할 수 없습니다.
  • 동적 뷰에 액세스할 수 없습니다.
  • 보기에서 읽으려면, 해당 뷰에서 참조하는 모든 테이블과 뷰에 SELECT이 있어야 합니다.

동적 뷰, 기본 테이블 및 뷰에 SELECT 없는 뷰 및 행 필터 또는 열 마스크가 있는 테이블을 쿼리하려면 다음 중 하나를 사용합니다.

  • SQL 웨어하우스.

  • 공유 액세스 모드를 사용하여 컴퓨팅합니다.

  • Databricks Runtime 15.4 LTS 이상에서 단일 사용자 액세스 모드로 컴퓨팅합니다.

    Databricks Runtime 15.4 LTS 이상은 단일 사용자 컴퓨팅에서 세분화된 액세스 제어를 지원합니다. Databricks Runtime 15.4 LTS 이상에서 제공하는 데이터 필터링을 활용하려면 작업 영역이 서버리스 컴퓨팅에 사용하도록 설정되어 있는지 확인합니다.

    서버리스 컴퓨팅은 데이터 필터링을 처리하므로 기본 테이블 및 뷰에 대한 사용 권한 없이 뷰에 액세스할 수 있습니다. 서버리스 컴퓨팅은 데이터 필터링을 처리하므로 단일 사용자 컴퓨팅을 사용하여 뷰를 쿼리할 때 서버리스 컴퓨팅 요금이 발생할 수 있습니다. 자세한 내용은 단일 사용자 컴퓨팅에 대한 세분화된 액세스 제어를 참조 하세요.

Unity 카탈로그 단일 사용자 액세스 모드에 대한 스트리밍 테이블 및 구체화된 보기 제한 사항

Databricks Runtime 15.3 이하에서는 단일 사용자 컴퓨팅을 사용하여 스트리밍 테이블 및구체화된 뷰를 포함하여 Delta Live Tables 파이프라인을 사용하여 만든 테이블을 쿼리할 수 없습니다( 해당 테이블이다른 사용자가 소유하는 경우). 테이블을 만드는 사용자가 소유자입니다.

Delta Live Tables에서 만들고 다른 사용자가 소유한 스트리밍 테이블 및 구체화된 뷰를 쿼리하려면 다음 중 하나를 사용합니다.

  • SQL 웨어하우스.

  • 공유 액세스 모드를 사용하여 Databricks Runtime 13.3 LTS 이상에서 컴퓨팅합니다.

  • Databricks Runtime 15.4 LTS 이상에서 단일 사용자 액세스 모드로 컴퓨팅합니다.

    서버리스 컴퓨팅에도 작업 영역을 사용하도록 설정해야 합니다. 자세한 내용은 단일 사용자 컴퓨팅에 대한 세분화된 액세스 제어를 참조 하세요.

Unity 카탈로그의 단일 사용자 액세스 모드에서의 스트리밍 제한 사항

  • Databricks Runtime 11.3 LTS 이하에서는 비동기 검사점이 지원되지 않습니다.
  • StreamingQueryListener 자격 증명을 사용하거나 단일 사용자 컴퓨팅에서 Unity 카탈로그에서 관리하는 개체와 상호 작용하려면 Databricks Runtime 15.1 이상이 필요합니다.

Unity 카탈로그의 공유 액세스 모드 제한

Unity 카탈로그의 공유 액세스 모드에는 다음과 같은 제한 사항이 있습니다. 이는 모든 Unity 카탈로그 액세스 모드에 대한 일반적인 제한 사항 외에도 적용됩니다. Unity 카탈로그대한 일반 제한 사항을 참조하세요.

  • Databricks Runtime ML 및 Spark MLlib(Machine Learning Library)는 지원되지 않습니다.

  • Spark 제출 작업은 지원되지 않습니다. 대신 JAR 작업 사용합니다.

  • 클라우드 스토리지에서 데이터를 직접 읽는 DBUtils 및 기타 클라이언트는 외부 위치를 사용하여 스토리지 위치에 액세스할 때만 지원됩니다. 클라우드 스토리지를 Azure Databricks에 연결하기 위한 외부 위치 생성 방법을 참조하세요.

  • Databricks Runtime 13.3 이상에서는 개별 행이 128MB를 초과하지 않아야 합니다.

  • DBFS 루트 및 탑재는 FUSE를 지원하지 않습니다.

  • 사용자 지정 컨테이너는 지원되지 않습니다.

Unity 카탈로그 공유 액세스 모드에 대한 언어 지원

  • R은 지원되지 않습니다.
  • Scala는 Databricks Runtime 13.3 이상에서 지원됩니다.
    • Databricks Runtime 15.4 LTS 이상에서는 Databricks 런타임과 함께 번들로 제공되는 모든 Java 또는 JAR(Scala 라이브러리)를 Unity 카탈로그 액세스 모드의 컴퓨팅에서 사용할 수 있습니다.
    • Databricks Runtime 15.3 또는 그 이하인 경우, 공유 액세스 모드를 사용하는 컴퓨팅에서 Spark 구성 spark.databricks.scala.kernel.fullClasspath.enabled에서 true로 설정합니다.

Unity 카탈로그 공유 액세스 모드에 대한 Spark API 제한 사항 및 요구 사항

  • RDD API는 지원되지 않습니다.
  • Spark 컨텍스트(sc)spark.sparkContext 및 sqlContext는 Databricks Runtime에서 Scala에 대해 지원되지 않으며 Databricks Runtime 14.0 이상에서 Python에 대해 지원되지 않습니다.
    • Databricks는 spark 변수를 사용하여 SparkSession 인스턴스와 상호 작용하는 것이 좋습니다.
    • 다음 sc 함수도 지원되지 않습니다. emptyRDD, range, init_batched_serializer, parallelize, pickleFile, textFile, wholeTextFiles, binaryFiles, binaryRecords, sequenceFile, newAPIHadoopFile, newAPIHadoopRDD, hadoopFile, hadoopRDD, union, runJob, setSystemProperty, uiWebUrl, stop, setJobGroup, setLocalProperty, getConf.
  • 다음 Scala Dataset API 작업에는 Databricks Runtime 15.4 LTS 이상이 필요합니다. map, mapPartitions, foreachPartition, flatMap, reduce, filter.
  • Spark 구성 속성 spark.executor.extraJavaOptions 지원되지 않습니다.

Unity 카탈로그 공유 액세스 모드에 대한 UDF 제한 사항 및 요구 사항

UDF(사용자 정의 함수)에는 공유 액세스 모드에서 다음과 같은 제한 사항이 있습니다.

  • Hive UDF는 지원되지 않습니다.

  • applyInPandas 및 mapInPandas에는 Databricks Runtime 14.3 이상이 필요합니다.

  • PySpark UDF는 Git 폴더, 작업 영역 파일 또는 볼륨에 액세스하여 Databricks Runtime 14.2 이하의 모듈을 가져올 수 없습니다.

  • Scala 스칼라 UDF에는 Databricks Runtime 14.2 이상이 필요합니다. 다른 Scala UDF 및 UDAF는 지원되지 않습니다.

  • Databricks Runtime 14.2 이하에서는 설치된 버전이 항상 선호되기 때문에 Notebook 범위 또는 클러스터 범위 라이브러리를 통해 PySpark UDF에서 사용자 지정 버전의 grpc, pyarrow 또는 protobuf가 지원되지 않습니다. 설치된 라이브러리의 버전을 찾으려면 특정 Databricks Runtime 버전 릴리스 정보의 시스템 환경 섹션을 참조하세요.

  • Python 스칼라 UDF 및 Pandas UDF에는 Databricks Runtime 13.3 LTS 이상이 필요합니다.

  • Spark의 UDAF, UDF 및 Pandas를 비롯한 비 스칼라 Python 및 Pandas UDF에는 Databricks Runtime 14.3 LTS 이상이 필요합니다.

Unity 카탈로그에서 사용자 정의 함수(UDF)을 참조하세요.

Unity 카탈로그 공유 액세스 모드에 대한 스트리밍 제한 사항 및 요구 사항

참고 항목

나열된 Kafka 옵션 중 일부는 Azure Databricks에서 지원되는 구성에 사용되는 경우 지원이 제한됩니다. 나열된 모든 Kafka 제한 사항은 일괄 처리 및 스트림 처리 모두에 유효합니다. Apache Kafka 및 Azure Databricks를 사용한 스트림 처리를 참조하세요.

  • Scala의 경우 foreach Databricks Runtime 16.1 이상이 필요합니다. foreachBatch및 FlatMapGroupWithState 지원되지 않습니다.
  • Python의 경우 foreachBatch에는 Databricks Runtime 14.0 이상에서 다음과 같은 동작이 변경됩니다.
    • print() 명령은 드라이버 로그에 출력을 씁니다.
    • 함수 내의 dbutils.widgets 하위 코드에 액세스할 수 없습니다.
    • 함수에서 참조되는 모든 파일, 모듈 또는 개체는 직렬화 가능하며 Spark에서 사용할 수 있어야 합니다.
  • Scala의 경우 from_avro에는 Databricks Runtime 14.2 이상이 필요합니다.
  • applyInPandasWithState 에는 Databricks Runtime 14.3 LTS 이상이 필요합니다.
  • 소켓 원본 사용은 지원되지 않습니다.
  • sourceArchiveDir을 Unity 카탈로그에서 관리하는 데이터 원본과 함께 사용할 때, option("cleanSource", "archive")는 원본과 동일한 외부 위치에 있어야 합니다.
  • Kafka 원본 및 싱크의 경우 다음 옵션은 지원되지 않습니다.
    • kafka.sasl.client.callback.handler.class
    • kafka.sasl.login.callback.handler.class
    • kafka.sasl.login.class
    • kafka.partition.assignment.strategy
  • 다음 Kafka 옵션은 Databricks Runtime 13.3 LTS 이상에서 지원되지만 Databricks Runtime 12.2 LTS에서는 지원되지 않습니다. 다음 옵션에 대해 Unity 카탈로그에서 관리하는 외부 위치만 지정할 수 있습니다.
    • kafka.ssl.truststore.location
    • kafka.ssl.keystore.location
  • Scala의 경우 StreamingQueryListener은 Databricks Runtime 16.1 이상이 필요합니다.
  • Python의 경우 StreamingQueryListener 자격 증명을 사용하거나 공유 컴퓨팅에서 Unity 카탈로그에서 관리하는 개체와 상호 작용하려면 Databricks Runtime 14.3 LTS 이상이 필요합니다.

Unity 카탈로그 공유 액세스 모드에 대한 네트워크 및 파일 시스템 액세스 제한 사항 및 요구 사항

  • 파일 시스템의 중요한 부분에 액세스할 수 없게 된 낮은 권한의 사용자로 컴퓨팅 노드에서 명령을 실행해야 합니다.

  • Databricks Runtime 11.3 LTS 이하에서는 포트 80 및 443에 대한 네트워크 연결만 만들 수 있습니다.

  • 인스턴스 메타데이터 서비스 또는 Azure WireServer에 연결할 수 없습니다.

Unity 카탈로그에 대한 일반적인 제한 사항

다음 제한 사항은 모든 Unity 카탈로그 사용 액세스 모드에 적용됩니다.

Unity 카탈로그의 스트리밍 제한 사항

  • Apache Spark 연속 처리 모드는 지원되지 않습니다. Spark 구조적 스트리밍 프로그래밍 가이드의 연속 처리를 참조하세요.

Unity 카탈로그 단일 사용자 액세스 모드 스트리밍 제한 사항과, 그리고 Unity 카탈로그 공유 액세스 모드 스트리밍 제한 사항 및 요구 사항에 대한을 참조하세요.

Unity 카탈로그를 사용한 스트리밍에 대한 자세한 내용은 Unity 카탈로그와 구조적 스트리밍을 사용하는 방법 을 참조하세요.