다음을 통해 공유

Unity Catalog의 컴퓨팅 액세스 모드 제한 사항

  • 아티클

Databricks는 대부분의 워크로드에 Unity Catalog 및 공유 액세스 모드를 사용하는 것이 좋습니다. 이 문서에서는 Unity Catalog를 사용하는 각 액세스 모드에 대한 제한 사항 및 요구 사항을 간략하게 설명합니다. 액세스 모드에 대한 자세한 내용은 액세스 모드를 참조하세요.

Databricks는 대부분의 사용자에 대한 구성 옵션을 간소화하기 위해 컴퓨팅 정책을 사용하는 것이 좋습니다. 컴퓨팅 정책 생성 및 관리를 참조하세요.

참고 항목

비격리 공유는 Unity Catalog를 지원하지 않는 레거시 액세스 모드입니다.

Important

Init 스크립트 및 라이브러리는 액세스 모드와 Databricks Runtime 버전 간에 서로 다른 지원을 제공합니다. init 스크립트를 어디에 설치할 수 있나요? 및 클러스터 범위 라이브러리를 참조하세요.

Unity Catalog의 단일 사용자 액세스 모드 제한 사항

Unity Catalog의 단일 사용자 액세스 모드에는 다음과 같은 제한 사항이 있습니다. 이는 모든 Unity Catalog 액세스 모드에 대한 일반적인 제한 사항에 추가됩니다. Unity Catalog에 대한 일반적인 제한 사항을 참조하세요.

Unity Catalog 단일 사용자 액세스 모드에 대한 세분화된 액세스 제어 제한 사항

Databricks Runtime 15.3 이하에서는 단일 사용자 컴퓨팅에 대한 세분화된 액세스 제어가 지원되지 않습니다. 특별한 사항

  • 행 필터 또는 열 마스크가 있는 테이블에 액세스할 수 없습니다.
  • 다이나믹 보기에 액세스할 수 없습니다.
  • 보기에서 읽으려면 보기가 참조하는 모든 테이블과 보기에 대한 SELECT가 있어야 합니다.

다이나믹 보기, 기본 테이블 및 보기에 SELECT가 없는 보기기 및 행 필터 또는 열 마스크가 있는 테이블을 쿼리하려면 다음 중 하나를 사용합니다.

  • SQL 웨어하우스.

  • 공유 액세스 모드를 사용하여 컴퓨팅합니다.

  • Databricks Runtime 15.4 LTS 이상에서 단일 사용자 액세스 모드로 컴퓨팅합니다.

    Databricks Runtime 15.4 LTS 이상은 단일 사용자 컴퓨팅에서 세분화된 액세스 제어를 지원합니다. Databricks Runtime 15.4 LTS 이상에서 제공하는 데이터 필터링을 활용하려면 작업 영역이 서버리스 컴퓨팅에 사용하도록 설정되어 있는지 확인합니다.

    서버리스 컴퓨팅은 데이터 필터링을 처리하므로 기본 테이블 및 뷰에 대한 사용 권한 없이 뷰에 액세스할 수 있습니다. 서버리스 컴퓨팅은 데이터 필터링을 처리하므로 단일 사용자 컴퓨팅을 사용하여 뷰를 쿼리할 때 서버리스 컴퓨팅 요금이 발생할 수 있습니다. 자세한 내용은 단일 사용자 컴퓨팅에 대한 세분화된 액세스 제어를 참조 하세요.

Unity Catalog 단일 사용자 액세스 모드에 대한 스트리밍 테이블 및 구체화된 뷰 제한 사항

Databricks Runtime 15.3 이하에서는 해당 테이블이 다른 사용자가 소유한 경우 스트리밍 테이블 및 구체화된 뷰를 포함하여 Delta Live Tables 파이프라인을 사용하여 만든 테이블을 쿼리하는 데 단일 사용자 컴퓨팅을 사용할 수 없습니다. 테이블을 만드는 사용자가 소유자입니다.

Delta Live Tables에서 만들고 다른 사용자가 소유한 스트리밍 테이블 및 구체화된 뷰를 쿼리하려면 다음 중 하나를 사용합니다.

  • SQL 웨어하우스.

  • 공유 액세스 모드를 사용하여 Databricks Runtime 13.3 LTS 이상에서 컴퓨팅합니다.

  • Databricks Runtime 15.4 LTS 이상에서 단일 사용자 액세스 모드로 컴퓨팅합니다.

    서버리스 컴퓨팅에도 작업 영역을 사용하도록 설정해야 합니다. 자세한 내용은 단일 사용자 컴퓨팅에 대한 세분화된 액세스 제어를 참조 하세요.

Unity Catalog 단일 사용자 액세스 모드에 대한 스트리밍 제한 사항

  • Databricks Runtime 11.3 LTS 이하에서는 비동기 검사점이 지원되지 않습니다.
  • StreamingQueryListener에서는 자격 증명을 사용하거나 단일 사용자 컴퓨팅에서 Unity Catalog 관리 개체와 상호 작용하려면 Databricks Runtime 15.1 이상이 필요합니다.

Unity Catalog의 공유 액세스 모드 제한 사항

Unity Catalog의 공유 액세스 모드에는 다음과 같은 제한 사항이 있습니다. 이는 모든 Unity Catalog 액세스 모드에 대한 일반적인 제한 사항에 추가됩니다. Unity Catalog에 대한 일반적인 제한 사항을 참조하세요.

  • Databricks Runtime ML 및 Spark MLlib(Machine Learning Library)는 지원되지 않습니다.

  • Spark 제출 작업은 지원되지 않습니다.

  • Databricks Runtime 13.3 이상에서는 개별 행이 128MB를 초과하지 않아야 합니다.

  • PySpark UDF는 Git 폴더, 작업 영역 파일 또는 볼륨에 액세스하여 Databricks Runtime 14.2 이하의 모듈을 가져올 수 없습니다.

  • DBFS 루트 및 탑재는 FUSE를 지원하지 않습니다.

  • 자격 증명 통과와 함께 공유 액세스 모드를 사용하면 Unity Catalog 기능이 비활성화됩니다.

  • 사용자 지정 컨테이너는 지원되지 않습니다.

Unity Catalog 공유 액세스 모드에 대한 언어 지원

  • R은 지원되지 않습니다.
  • Scala는 Databricks Runtime 13.3 이상에서 지원됩니다.
    • Databricks Runtime 15.4 LTS 이상에서는 Databricks Runtime과 함께 번들로 제공되는 모든 Java 또는 Scala 라이브러리(JAR 파일)를 Unity Catalog 액세스 모드의 컴퓨팅에서 사용할 수 있습니다.
    • 공유 액세스 모드를 사용하는 컴퓨팅에서 Databricks Runtime 15.3 이하의 경우 Spark 구성 spark.databricks.scala.kernel.fullClasspath.enabled를 true로 설정합니다.

Unity Catalog 공유 액세스 모드에 대한 Spark API 제한 사항 및 요구 사항

  • RDD API는 지원되지 않습니다.
  • 클라우드 스토리지에서 데이터를 직접 읽는 DBUtils 및 기타 클라이언트는 외부 위치를 사용하여 스토리지 위치에 액세스할 때만 지원됩니다. 클라우드 스토리지를 Azure Databricks에 연결하기 위한 외부 위치 생성 방법을 참조하세요.
  • Spark 컨텍스트(sc)spark.sparkContext 및 sqlContext는 Databricks Runtime에서 Scala에 대해 지원되지 않으며 Databricks Runtime 14.0 이상에서 Python에 대해 지원되지 않습니다.
    • Databricks는 spark 변수를 사용하여 SparkSession 인스턴스와 상호 작용하는 것이 좋습니다.
    • 다음 sc 함수도 지원되지 않습니다. emptyRDD, range, init_batched_serializer, parallelize, pickleFile, textFile, wholeTextFiles, binaryFiles, binaryRecords, sequenceFile, newAPIHadoopFile, newAPIHadoopRDD, hadoopFile, hadoopRDD, union, runJob, setSystemProperty, uiWebUrl, stop, setJobGroup, setLocalProperty, getConf.
  • 다음 Scala Dataset API 작업에는 Databricks Runtime 15.4 LTS 이상이 필요합니다. map, mapPartitions, foreachPartition, flatMap, reduce, filter.

Unity Catalog 공유 액세스 모드에 대한 UDF 제한 사항 및 요구 사항

UDF(사용자 정의 함수)에는 공유 액세스 모드에서 다음과 같은 제한 사항이 있습니다.

  • Hive UDF는 지원되지 않습니다.

  • applyInPandas 및 mapInPandas에는 Databricks Runtime 14.3 이상이 필요합니다.

  • Scala 스칼라 UDF에는 Databricks Runtime 14.2 이상이 필요합니다. 다른 Scala UDF 및 UDAF는 지원되지 않습니다.

  • Databricks Runtime 14.2 이하에서는 설치된 버전이 항상 선호되기 때문에 Notebook 범위 또는 클러스터 범위 라이브러리를 통해 PySpark UDF에서 사용자 지정 버전의 grpc, pyarrow 또는 protobuf가 지원되지 않습니다. 설치된 라이브러리의 버전을 찾으려면 특정 Databricks Runtime 버전 릴리스 정보의 시스템 환경 섹션을 참조하세요.

  • Python 스칼라 UDF 및 Pandas UDF에는 Databricks Runtime 13.3 LTS 이상이 필요합니다.

  • Spark의 UDAF, UDF 및 Pandas를 비롯한 비 스칼라 Python 및 Pandas UDF에는 Databricks Runtime 14.3 LTS 이상이 필요합니다.

Unity Catalog의 UDF(사용자 정의 함수)를 참조하세요.

Unity Catalog 공유 액세스 모드에 대한 스트리밍 제한 사항 및 요구 사항

참고 항목

나열된 Kafka 옵션 중 일부는 Azure Databricks에서 지원되는 구성에 사용되는 경우 지원이 제한됩니다. 나열된 모든 Kafka 제한 사항은 일괄 처리 및 스트림 처리 모두에 유효합니다. Apache Kafka 및 Azure Databricks를 사용한 스트림 처리를 참조하세요.

  • Scala의 경우 foreach, foreachBatch, StreamingListeners, FlatMapGroupWithState는 지원되지 않습니다.
  • Python의 경우 foreachBatch에는 Databricks Runtime 14.0 이상에서 다음과 같은 동작이 변경됩니다.
    • print() 명령은 드라이버 로그에 출력을 씁니다.
    • 함수 내의 dbutils.widgets 하위 코드에 액세스할 수 없습니다.
    • 함수에서 참조되는 모든 파일, 모듈 또는 개체는 직렬화 가능하며 Spark에서 사용할 수 있어야 합니다.
  • Scala의 경우 from_avro에는 Databricks Runtime 14.2 이상이 필요합니다.
  • applyInPandasWithState 에는 Databricks Runtime 14.3 LTS 이상이 필요합니다.
  • 소켓 원본 사용은 지원되지 않습니다.
  • sourceArchiveDir은 Unity Catalog에서 관리하는 데이터 원본과 함께 option("cleanSource", "archive")를 사용할 때 원본 과 동일한 외부 위치에 있어야 합니다.
  • Kafka 원본 및 싱크의 경우 다음 옵션은 지원되지 않습니다.
    • kafka.sasl.client.callback.handler.class
    • kafka.sasl.login.callback.handler.class
    • kafka.sasl.login.class
    • kafka.partition.assignment.strategy
  • 다음 Kafka 옵션은 Databricks Runtime 13.3 LTS 이상에서 지원되지 않지만 Databricks Runtime 12.2 LTS에서도 지원되지 않습니다. 다음 옵션에 대해 Unity Catalog에서 관리하는 외부 위치만 지정할 수 있습니다.
    • kafka.ssl.truststore.location
    • kafka.ssl.keystore.location
  • StreamingQueryListener에서는 Databricks Runtime 14.3 LTS 이상이 자격 증명을 사용하거나 공유 컴퓨팅에서 Unity Catalog 관리 개체와 상호 작용해야 합니다.

Unity Catalog 공유 액세스 모드에 대한 네트워크와 파일 시스템 액세스 제한 사항 및 요구 사항

  • 파일 시스템의 중요한 부분에 액세스할 수 없게 된 낮은 권한의 사용자로 컴퓨팅 노드에서 명령을 실행해야 합니다.

  • Databricks Runtime 11.3 LTS 이하에서는 포트 80 및 443에 대한 네트워크 연결만 만들 수 있습니다.

  • 인스턴스 메타데이터 서비스 또는 Azure WireServer에 연결할 수 없습니다.

Unity Catalog에 대한 일반적인 제한 사항

다음 제한 사항은 모든 Unity Catalog 사용 액세스 모드에 적용됩니다.

Unity Catalog에 대한 스트리밍 제한 사항

  • Apache Spark 연속 처리 모드는 지원되지 않습니다. Spark 구조적 스트리밍 프로그래밍 가이드의 연속 처리를 참조하세요.

Unity Catalog 단일 사용자 액세스 모드에 대한 스트리밍 제한 사항 및 Unity Catalog 공유 액세스 모드에 대한 스트리밍 제한 사항 및 요구 사항을 참조하세요.

Unity Catalog를 사용하는 스트리밍에 대한 자세한 내용은 구조적 스트리밍에 Unity Catalog 사용을 참조하세요.