catalogs 만들기
이 문서에서는 Unity Catalog에서 catalogs을 만드는 방법을 보여줍니다. catalog 스키마(데이터베이스)포함되며 schematables, views, volumes, 모델 및 함수를 포함합니다.
catalogs에 대한 자세한 내용은 Azure Databricks에서의 catalogs이란 무엇인지 참조하세요..
참고 항목
외부 데이터 시스템의 데이터베이스를 미러링하는 Unity Catalog 개체인 외부 catalog를 만드는 방법을 배우려면 외부 catalog만들기를 참조하세요. 외국의
요구 사항
catalog 형식에 관계없이 catalog만들려면 다음을 수행합니다.
- Azure Databricks 메타스토어 관리자이거나
CREATE CATALOGmetastore에 대한 권한이 있어야 합니다. - notebook을 실행하여 catalog를 만드는데 사용하는 컴퓨팅 리소스는 Databricks Runtime 11.3 이상이어야 하며 Unity Catalog호환 액세스 모드를 사용해야 합니다. 액세스 모드를 참조하세요. SQL 웨어하우스는 항상 Unity Catalog지원합니다.
공유 catalog만들려면:
- 델타 공유 공유는 작업 영역에 이미 있어야 합니다. 팀에서 공유 데이터를 사용할 수 있도록 어떻게 할까요? 참조하세요.
- metastore 관리자이거나 metastore
USE PROVIDER에 대한 권한이 있거나 공유를 포함하는 공급자 개체를 소유해야 합니다.
표준 catalog만들려면:
-
catalog의 관리 스토리지 위치를 지정하는 경우, 대상 외부 위치에 대한
CREATE MANAGED STORAGE권한이 있어야 합니다. - 메타스토어 수준의 관리 스토리지가 없다면, 관리형 스토리지 위치를 지정해야 catalog합니다.
외 catalog만들려면:
- 외부 catalog를 생성하는 데 사용하는 연결의 소유자이거나 해당 연결에 대한
CREATE FOREIGN CATALOG권한이 있어야 합니다. - Databricks Runtime 13.1 이상에서 컴퓨팅을 사용해야 합니다. SQL 웨어하우스는 프로 또는 서버리스여야 합니다.
catalog 만들기
catalog만들려면 Catalog 탐색기, SQL 명령, REST API, Databricks CLI 또는 Terraform을 사용할 수 있습니다.
catalog만들면 default 및 information_schema두 개의 스키마(데이터베이스)가 자동으로 만들어집니다.
Catalog 탐색기
메타스토어에 연결된 작업 영역에 로그인합니다.
Catalog클릭합니다.만들기 Catalog 단추를 클릭합니다.
새 catalog 만들기 대화 상자에서 Catalog 이름 입력하고 만들려는 catalog형식select.
- Standardcatalog: Unity Catalog관리되는 데이터 및 AI 자산을 구성하는 보안 개체입니다. Lakehouse Federation과 Delta Sharing shares에서 생성된 catalogs를 제외한 모든 사용 사례.
- Foreigncatalog: Lakehouse Federation을 사용하여 외부 데이터 시스템의 데이터베이스를 미러링할 수 있는 보안 가능한 개체입니다. Lakehouse 페더레이션 설정 개요를 참조하세요.
- 공유catalog: 사용자가 델타 공유 으로 공유받는 데이터 및 기타 자산을 구성하는 보안을 설정할 수 있는 개체입니다. 공유에서 catalog 만들면 작업 영역의 사용자가 해당 자산을 읽을 수 있습니다. 공유란?을 참조하세요.
catalog 형식에 따라 다음 옵션을 지정합니다.
표준 catalogs경우: 선택 사항이지만 관리되는 스토리지 위치지정하는 것이 강력히 권장됩니다. 관리되는 스토리지 위치로 사용하는 대상 외부 위치에 대한 권한이 있어야 합니다
CREATE MANAGED STORAGE. Unity에서 관리되는 스토리지 위치를 지정하세요 Catalog.필요에 따라 정의된 외부 위치의 하위 경로를 지정할 수 있습니다. 정의된 외부 위치가 없는 경우 새 외부 위치 만들기를 클릭하여 만들 수 있습니다.
Important
작업 영역에 메타스토어 수준의 스토리지 위치가 없는 경우, 관리되는 스토리지 위치를 지정해야 하며, catalog만들 때도 필수입니다.
외세의 catalogs: 외부 데이터베이스 시스템에 액세스하기 위한 경로 및 credentials 지정하는 Unity Catalog 보안 개체인 Connectionselect 합니다. Lakehouse 페더레이션 설정 개요를 참조하세요.
연결을 선택한 경우 미러링하려는 데이터베이스 또는 기타 Databricks Catalog 이름을 입력합니다.
요구 사항은 데이터 원본에 따라 다릅니다.
- MySQL은 2층 네임스페이스를 사용하므로 데이터베이스 이름이 필요하지 않습니다.
- 다른 Databricks 작업공간에서 connections에서 catalog로 이동할 경우, 데이터베이스 이름 대신 Databricks Catalog 이름을 입력합니다.
정의된 연결이 없는 경우 새 연결 만들기를 클릭하여 연결을 만들 수 있습니다.
공유 catalogs경우: 공급자 및 공유을 select 해야 합니다. 공급자를 선택하면 공급자의 shares중 하나를 select 수 있습니다.
어떤 공급자와 공유를 선택할지 잘 모르겠다면, Catalog 탐색기 브라우저를 사용하여 providers를 찾아보고 shares을 검색하는 것이 더 쉬울 수 있습니다. 공급자가공유한
보기 및보기 참조하세요.
만들기를 클릭합니다.
Catalog 생성! 대화 상자에서 보기 catalog를 클릭하여 catalog을 자동으로 구성된 상태로 수락하거나, 권장 사항에 따라 catalog 구성을 클릭하여 catalog 권한, 작업 공간 바인딩 및 메타데이터를 구성하십시오.
보기 catalog를 클릭하면, 메타스토어에 연결된 모든 작업 공간에서 catalog에 액세스할 수 있게 되고, 모든 계정 사용자에게
BROWSE권한이 부여됩니다. 이 절차의 나머지 단계를 건너뛰고 catalog에 스키마를 추가할 수 있습니다. 스키마 만들기를 참조 하세요.언제든지 Catalog 탐색기의 catalog 세부 정보 페이지로 돌아가 소유자, 태그, 주석, 작업 영역 바인딩, 권한 및 스키마를 update 수 있습니다.
catalog > 작업 영역 구성 페이지에서 catalog 바인딩된 작업 영역을 지정합니다.
기본적으로 catalog은 현재 메타스토어에 연결된 모든 작업 공간과 공유됩니다.
특정 작업 영역으로 제한해야 하는 데이터를 포함하는 경우 모든 작업 영역에 액세스 옵션이 있는 지우고 작업 영역에 할당 단추를 사용하여 해당 작업 영역을 추가합니다. 현재 작업 영역을 포함해야 합니다.작업 영역을 할당한 후 필요에 따라 기본 읽기 & 쓰기 액세스 수준을 읽기 전용변경합니다. list 작업 영역을 select액세스 수준 관리 단추를 클릭합니다.
자세한 내용은 특정 작업 영역대한
액세스를 참조하세요. 다음 클릭하여 catalog사용 권한 할당합니다.
모든 계정 사용자에게는 기본적으로
BROWSE권한이 있으므로 데이터에 대한 읽기 권한 없이 catalog 메타데이터를 검색할 수 having 있습니다.사용자, 그룹 또는 서비스 주체에게 권한을 grantGrant 클릭하고 Unity Catalog 권한 및 보안 개체지침을 따릅니다.
선택적 태그 및 메모 메타데이터를 추가하려면 [다음]을 클릭합니다.
태그 데이터 자산의 검색 및 검색을 간소화하기 위해 catalogs 구성하고 분류하는 데 사용할 수 있는 키-값 쌍입니다. Values 선택 사항입니다. Unity
보안 개체에 태그 적용 참조하세요. 코멘트 은 사용자가 catalog데이터 자산을 발견하는 데 도움을 주는 설명을 제공하는 데 자주 사용되는 자유로운 입력 필드입니다. 데이터 및 AI 자산에 주석 추가를 참조하세요.
저장을 클릭합니다.
스키마 및 데이터 개체를 catalog에 추가합니다.
스키마 만들기를 참조 하세요.
catalog를 만든 후 언제든지 Catalog Explorer를 사용하여 소유자, 태그, 메모, 작업 영역 바인딩 및 사용 권한을 update 수 있습니다.
SQL
표준 catalog를 생성하려면 Notebook이나 SQL 쿼리 편집기에서 다음 SQL 명령을 실행하세요. 괄호 안의 항목은 선택 사항입니다. 자리 표시자 values바꿉다.
<catalog-name>: catalog을 위한 이름입니다.<location-path>: 선택 사항이지만 강력하게 권장됩니다. 기본 메타스토어에 대해 구성된 루트 스토리지와 다른 위치에 catalog에서 관리되는 tables을 저장하려면 스토리지 위치 경로를 제공하세요.Important
작업 영역에 메타스토어 수준 스토리지 위치가 없는 경우 catalog만들 때 관리되는 스토리지 위치를 지정해야 합니다.
이 경로는 외부 위치 구성에서 정의해야 하며 외부 위치 구성에 대한 권한이 있어야 합니다
CREATE MANAGED STORAGE. 외부 위치 구성에 정의된 경로 또는 하위 경로(즉,'abfss://my-container-name@storage-account-name.dfs.core.windows.net/finance'또는'abfss://my-container-name@storage-account-name.dfs.core.windows.net/finance/product')를 사용할 수 있습니다.<comment>: 선택적 설명 또는 기타 설명입니다.
CREATE CATALOG [ IF NOT EXISTS ] <catalog-name>
[ MANAGED LOCATION '<location-path>' ]
[ COMMENT <comment> ];
예를 들어, example으로 명명된 catalog을 만듭니다.
CREATE CATALOG IF NOT EXISTS example;
공유 catalog를 만들려면 Notebook 또는 SQL 쿼리 편집기에서 다음 명령을 실행하십시오. 괄호 안의 항목은 선택 사항입니다.
CREATE CATALOG [IF NOT EXISTS] <catalog-name>
USING SHARE <provider-name>.<share-name>;
[ COMMENT <comment> ];
외부의 catalog를 만드려면 Notebook 또는 SQL 쿼리 편집기에서 다음 명령을 실행합니다. 괄호 안의 항목은 선택 사항입니다. 자리 표시자 values을(를) 바꾸십시오.
-
<catalog-name>: Azure Databricks의 catalog 이름입니다. -
<connection-name>: 데이터 원본, 경로 및 액세스 credentials지정하는 연결 개체. -
<database-name>: Azure Databricks에서 catalog 미러링하려는 데이터베이스의 이름입니다. 2층 네임스페이스를 사용하는 MySQL에는 필요하지 않습니다. Databricks-to-Databricks Lakehouse 페더레이션의 경우 대신 사용합니다catalog '<external-catalog-name>'. -
<external-catalog-name>: Databricks-to-Databricks 전용: 귀하가 미러링 중인 외부 Databricks 작업 영역에 있는 catalog의 이름입니다. 다른 Databricks 작업 영역에서 페더레이션된 쿼리 실행을 참조 하세요.
CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS [(database '<database-name>') | (catalog '<external-catalog-name>')];
외신 catalog만들기를 참조하세요.
자세한 매개 변수 설명은 CREATE CATALOG참조하세요.
catalog을 만든 후, catalog에 권한을 할당합니다. Unity Catalog 권한 및 보안 개체참조하세요.
기타
Terraform: Databricks Terraform 공급자와 databricks_catalog을 사용하여 catalog를 만들 수 있습니다. databricks_catalogs를 사용하여 catalogs에 대한 정보를 검색할 수 있습니다.
REST API: POST /api/2.1/unity-catalog/catalogs사용합니다.
Databricks CLI: databricks catalogs create <catalog-name> [options] 옵션 listdatabricks catalogs create -h실행합니다. 옵션은 API 참조에도 설명되어 있습니다. 이전 단락의 API 링크를 따릅니다.
catalog를 만든 후, catalog에 권한을 할당합니다. Unity Catalog 권한 및 보안 개체를 참조하세요.