다음을 통해 공유

Unity 카탈로그 GA 릴리스 정보

  • 아티클

Important

이 설명서는 사용 중지되었으며 업데이트되지 않을 수 있습니다. 이 콘텐츠에 언급된 제품, 서비스 또는 기술은 더 이상 지원되지 않습니다. Unity 카탈로그란?을 참조하세요.

2022년 8월 25일

Unity 카탈로그는 이제 Azure Databricks에서 일반 공급됩니다.

이 문서에서는 GA 릴리스 날짜를 기준으로 Unity 카탈로그에 대해 설명합니다. 공개 미리 보기 이후 Unity 카탈로그에 추가된 기능 및 업데이트에 중점을 둡니다. Unity 카탈로그에 대한 최신 정보는 Unity 카탈로그란?을 참조하세요. GA 이후 Unity Catalog에 대한 업데이트를 설명하는 릴리스 정보는 Azure Databricks 플랫폼 릴리스 정보 및 Databricks Runtime 릴리스 정보 버전 및 호환성을 참조하세요.

메타스토어 제한 및 리소스 할당량

2022년 8월 25일 현재

  • Azure Databricks 계정에는 지역당 하나의 메타스토어만 있을 수 있습니다.
  • 메타스토어 하나의 최대 카탈로그 수는 1000개입니다.
  • 카탈로그 하나의 최대 스키마 수는 10,000개입니다.
  • 스키마 하나의 최대 테이블 수는 10,000개입니다.

현재 Unity 카탈로그 할당량은 리소스 할당량을 참조하세요.

GA에서 지원되는 스토리지 형식

2022년 8월 25일 현재:

  • 모든 관리형 Unity 카탈로그 테이블은 Delta Lake를 사용하여 데이터를 저장합니다.
  • 외부 Unity 카탈로그 테이블 및 외부 위치는 Delta Lake, JSON, CSV, Avro, Parquet, ORC 및 텍스트 데이터를 지원합니다.

현재 Unity Catalog에서 지원하는 테이블 형식은 파일 형식 지원을 참조하세요.

계정 콘솔에서 Unity 카탈로그 리소스 관리

Azure Databricks 계정 콘솔 UI를 사용하여 다음을 수행합니다.

  • 메타스토어 수명 주기 관리(Unity 카탈로그 관리형 메타스토어 만들기, 업데이트, 삭제 및 보기)
  • 작업 영역에 대한 메타스토어 할당 및 제거

지원되는 클러스터 유형 및 Databricks Runtime 버전

Unity 카탈로그에는 Databricks Runtime 11.1 이상을 실행하는 클러스터가 필요합니다. Unity 카탈로그는 기본적으로 모든 SQL 웨어하우스 컴퓨팅 버전에서 지원됩니다.

이전 버전의 Databricks Runtime은 미리 보기 버전의 Unity 카탈로그를 지원했습니다. 이전 버전의 Databricks Runtime에서 실행되는 클러스터는 일부 Unity 카탈로그 GA 특징 및 기능을 지원하지 않습니다.

Unity 카탈로그에는 새 클러스터를 만들 때 다음 액세스 모드 중 하나가 필요합니다.

  • 공유됨
    • 언어: SQL 또는 Python
    • 여러 사용자가 공유할 수 있는 보안 클러스터입니다. 클러스터 사용자는 서로의 데이터와 자격 증명을 볼 수 없도록 완전히 격리됩니다.
  • 단일 사용자
    • 언어: SQL, Scala, Python, R
    • 지정된 단일 사용자가 단독으로 사용할 수 있는 보안 클러스터입니다.

클러스터 액세스 모드에 대한 자세한 내용은 액세스 모드를 참조하세요.

이후 Databricks Runtime 버전에서 업데이트된 Unity 카탈로그 기능에 대한 자세한 내용은 해당 버전의 릴리스 정보를 참조하세요.

시스템 테이블

information_schema는 Unity 카탈로그 데이터 자산을 완전히 지원합니다. 각 메타스토어에는 범위가 system로 지정된 메타스토어를 포함하는 information_schema이라는 카탈로그가 들어 있습니다. 정보 스키마를 참조하세요. information_schema를 사용하여 다음과 같은 질문에 대답할 수 있습니다.

"카탈로그당 테이블 수 계산"

SELECT table_catalog, count(table_name)
FROM system.information_schema.tables
GROUP BY 1
ORDER by 2 DESC

"지난 24시간 동안 변경된 모든 테이블 표시"

SELECT table_name, table_owner, created_by, last_altered, last_altered_by, table_catalog
FROM system.information_schema.tables
WHERE  datediff(now(), last_altered) < 1

구조적 스트리밍 지원

이제 Unity 카탈로그에서 구조적 스트리밍 워크로드가 지원됩니다. 자세한 내용 및 제한 사항은 제한 사항을 참조하세요.

구조적 스트리밍과 함께 Unity 카탈로그 사용도 참조하세요.

SQL 함수

이제 Unity 카탈로그에서 사용자 정의 SQL 함수가 완전히 지원됩니다. SQL UDF를 만들고 사용하는 방법에 대한 자세한 내용은 CREATE FUNCTION(SQL 및 Python)참조하세요.

Unity 카탈로그의 외부 위치에 대한 SQL 구문

이제 Spark SQL에서 외부 위치에 다음을 비롯한 표준 데이터 정의 및 데이터 정의 언어 명령이 지원됩니다.

CREATE | DROP | ALTER | DESCRIBE | SHOW EXTERNAL LOCATION

또한 SQL에서 외부 위치에 GRANT, REVOKE 및 SHOW를 사용하여 권한을 관리하고 확인할 수 있습니다. 외부 위치를 참조하세요.

구문 예:

CREATE EXTERNAL LOCATION <your-location-name>
  URL `<your-location-path>'
  WITH (CREDENTIAL <your-credential-name>);

GRANT READ FILES, WRITE FILES, CREATE EXTERNAL TABLE ON EXTERNAL LOCATION `<your-location-name>`
  TO `finance`;

GA의 Unity 카탈로그 제한 사항

2022년 8월 25일부터 Unity 카탈로그에는 다음과 같은 제한 사항이 있습니다. 현재 제한 사항은 제한 사항을 참조하세요.

  • Machine Learning 런타임을 사용하는 Scala, R 및 워크로드는 단일 사용자 액세스 모드를 사용하는 클러스터에서만 지원됩니다. 이러한 언어의 워크로드에서는 행 수준이나 열 수준 보안에 동적 뷰를 사용할 수 없습니다.
  • Unity 카탈로그를 복제의 원본 또는 대상으로 사용할 때는 단순 복제가 지원되지 않습니다.
  • 버킷팅은 Unity 카탈로그 테이블에 지원되지 않습니다. Unity 카탈로그에서 버킷 테이블을 만드는 명령을 실행하면 예외가 throw됩니다.
  • 일부 클러스터는 Unity 카탈로그에 액세스하고 일부는 그렇지 않은 경우 여러 지역의 작업 영역에서 동일한 경로 또는 Delta Lake 테이블에 데이터를 쓰면 성능이 불안정해질 수 있습니다.
  • Unity 카탈로그에 DataFrame 쓰기 작업에 대한 덮어쓰기 모드는 다른 파일 형식이 아닌 Delta 테이블에만 지원됩니다. 사용자가 부모 스키마에 대해 CREATE 권한이 있고 기존 개체의 소유자여야 합니다.
  • 스트리밍의 현재 제한 사항은 다음과 같습니다.
    • 공유 액세스 모드를 사용하는 클러스터에서는 지원되지 않습니다. 스트리밍 워크로드의 경우 단일 사용자 액세스 모드를 사용해야 합니다.
    • 비동기 검사점은 아직 지원되지 않습니다.
    • Databricks Runtime 버전 11.2 이하의 경우 다목적 또는 작업 클러스터에서 30일 넘게 지속되는 스트리밍 쿼리는 예외를 throw합니다. 장기 실행 스트리밍 쿼리의 경우 자동 작업 재시도를 구성하거나 Databricks Runtime 11.3 이상을 사용하세요.
  • Delta Live Tables 파이프라인에서 Unity 카탈로그 테이블을 참조하는 것은 현재 지원되지 않습니다.
  • 작업 영역에서 이전에 만든 그룹은 Unity 카탈로그 GRANT 문에서 사용할 수 없습니다. 이는 작업 영역에 걸쳐 확장할 수 있는 그룹의 일관된 보기를 보장하기 위한 것입니다. GRANT 명령문에서 그룹을 사용하려면, 계정 콘솔에서 그룹을 만들고 보안 주체 또는 그룹 관리(예: SCIM, Okta 및 Microsoft Entra ID 커넥터 및 Terraform)에 대한 자동화를 작업 영역 엔드포인트 대신 계정 엔드포인트를 참조하도록 업데이트합니다.

GA의 Unity 카탈로그 가용성 지역

2022년 8월 25일부터 Unity 카탈로그는 다음 지역에서 사용할 수 있습니다. 현재 지원되는 지역 목록은 Azure Databricks 지역을 참조하세요.

  • canadacentral
  • centralus
  • francecentral
  • germanywestcentral
  • japaneast
  • norwayeast
  • southafricanorth
  • swedencentral
  • switzerlandnorth
  • switzerlandwest
  • uaenorth
  • westcentralus
  • westus3
  • australiaeast
  • brazilsouth
  • centralindia
  • eastus
  • eastus2
  • koreacentral
  • northcentralus
  • northeurope
  • southeastasia
  • ukwest
  • westeurope
  • westus