Utwórz catalogs

Artykuł
01/21/2025

W tym artykule pokazano, jak utworzyć catalogs w środowisku Unity Catalog. catalog zawiera schematy (bazy danych), a schema zawiera tables, views, volumes, modele i funkcje.

Aby dowiedzieć się więcej na temat catalogs, zobacz Co to są catalogs w usłudze Azure Databricks?.

Uwaga

Aby dowiedzieć się, jak utworzyć zdalne , obiekt Unity , który dubluje bazę danych w zewnętrznym systemie danych, zobacz "Create a foreign " (Tworzenie zdalnego ). Zobacz również Zarządzaj i współpracuj z obcymi catalogs.

Wymagania

Aby utworzyć catalog, niezależnie od typu catalog:

Musisz być administratorem magazynu metadanych usługi Azure Databricks lub mieć CREATE CATALOG uprawnienia do magazynu metadanych.
Zasób obliczeniowy używany do uruchamiania notesu w celu utworzenia catalog musi znajdować się w środowisku Databricks Runtime 11.3 lub nowszym i musi używać trybu dostępu zgodnego z platformą Unity Catalog. Zobacz Tryby dostępu. Magazyny SQL zawsze obsługują środowisko Unity Catalog.

Aby utworzyć udostępniony catalog:

Udział udostępniania różnicowego musi już istnieć w obszarze roboczym. Zobacz Jak mogę udostępnić udostępnione dane mojemu zespołowi?.
Musisz być administratorem magazynu metadanych, mieć USE PROVIDER uprawnienia do magazynu metadanych lub być właścicielem obiektu dostawcy, który zawiera udział.

Aby utworzyć standardowy catalog:

Jeśli określisz zarządzaną lokalizację magazynu dla catalog, musisz mieć uprawnienia CREATE MANAGED STORAGE w docelowej lokalizacji zewnętrznej.
Jeśli magazyn zarządzany na poziomie magazynu metadanych nie istnieje, należy określić zarządzaną lokalizację magazynu dla catalog.

Aby utworzyć obcy catalog:

Musisz być właścicielem połączenia, którego używasz do utworzenia obcego połączenia catalog, lub mieć uprawnienia CREATE FOREIGN CATALOG na tym połączeniu.
Należy użyć obliczeń w środowisku Databricks Runtime 13.1 lub nowszym. Magazyny SQL muszą mieć wartość Pro lub Bezserwerową.

Utwórz catalog

Aby utworzyć catalog, możesz użyć narzędzia Catalog Explorer, polecenia SQL, interfejsu API REST, interfejsu wiersza polecenia usługi Databricks lub narzędzia Terraform. Podczas tworzenia catalogtworzone są automatycznie dwa schematy (bazy danych): default i information_schema.

Eksplorator Catalog

Zaloguj się do obszaru roboczego połączonego z magazynem metadanych.
Kliknij ikonę Catalog.
Kliknij przycisk Utwórz Catalog.
W oknie dialogowym tworzenie nowego wprowadź nazwę i typ , który chcesz utworzyć:
- Standardcatalog: zabezpieczany obiekt, który organizuje dane i zasoby sztucznej inteligencji zarządzane przez środowisko Unity Catalog. W przypadku wszystkich przypadków użycia z wyjątkiem usługi Lakehouse Federation i catalogs utworzonych na podstawie usługi Delta Sharing shares.
- Foreigncatalog: zabezpieczany obiekt, który odwzorowuje bazę danych w zewnętrznym systemie danych przy użyciu usługi Lakehouse Federation. Zobacz Omówienie konfiguracji federacji usługi Lakehouse.
- Udostępnionecatalog: zabezpieczalny obiekt, który organizuje dane i inne zasoby udostępnione Tobie jako Delta Sharing współdzielenie. Utworzenie catalog na podstawie udziału sprawia, że te zasoby są dostępne do odczytu dla użytkowników w obszarze roboczym. Zobacz Co to jest udział?.
W zależności od typu catalog określ następujące opcje:
- W przypadku standardowych catalogs: jest to opcjonalne, ale zdecydowanie zalecane określenie zarządzanej lokalizacji pamięci . Musisz mieć CREATE MANAGED STORAGE uprawnienia w docelowej lokalizacji zewnętrznej, która jest używana jako zarządzana lokalizacja magazynu. Zobacz Określanie zarządzanej lokalizacji magazynu w środowisku Unity Catalog.
  
  Opcjonalnie można określić ścieżkę podrzędną zdefiniowanej lokalizacji zewnętrznej. Jeśli nie masz zdefiniowanej lokalizacji zewnętrznej, możesz go utworzyć, klikając pozycję Utwórz nową lokalizację zewnętrzną.
  
  Ważne
  
  Jeśli obszar roboczy nie ma lokalizacji magazynu na poziomie magazynu metadanych, należy określić zarządzaną lokalizację magazynu podczas tworzenia catalog.
- W przypadku obcych: należy połączenia , który jest zabezpieczanym obiektem w środowisku Unity , który określa ścieżkę i na potrzeby uzyskiwania dostępu do zewnętrznego systemu bazy danych. Zobacz Omówienie konfiguracji federacji usługi Lakehouse.
  
  Po wybraniu połączenia wprowadź nazwę Database lub inne Catalog usługi Databricks, które chcesz replikować.
  
  Wymagania różnią się w zależności od źródła danych:
  - Baza danych MySQL używa dwuwarstwowej przestrzeni nazw i dlatego nie wymaga nazwy bazy danych.
  - Aby connections do catalog w innym obszarze roboczym usługi Databricks, wprowadź nazwę Catalog usługi Databricks zamiast nazwy bazy danych.
  Jeśli nie masz zdefiniowanego połączenia, możesz go utworzyć, klikając pozycję Utwórz nowe połączenie.
- w przypadku udostępnionych: musisz dostawcy i share. Po wybraniu dostawcy możesz select jednego z dostawcy shares.
  
  Jeśli nie jesteś pewien, którego dostawcę i udział chcesz wybrać, możesz łatwiej przeglądać lub wyszukiwać providers i shares za pomocą przeglądarki Catalog Explorer. Zobacz View providers i View shares, które dostawca udostępnił Ci.
Kliknij pozycję Utwórz.
Na utworzonym Catalog! okno dialogowe, kliknij przycisk Widok catalog, aby zaakceptować catalog jako automatycznie skonfigurowane, lub kliknij Konfiguruj catalog (zalecane), aby skonfigurować uprawnienia catalog, powiązania obszaru roboczego i metadane.

Jeśli klikniesz Widok catalog, catalog będzie dostępny dla wszystkich obszarów roboczych dołączonych do metastore, a uprawnienie BROWSE zostanie przyznane wszystkim użytkownikom konta. Pozostałe kroki opisane w tej procedurze można pominąć i przejść do dodawania schematów do catalog. Zobacz Tworzenie schematów.

W dowolnym momencie możesz wrócić do strony szczegółów catalog w eksploratorze Catalog, aby update właściciela, tagów, komentarzy, powiązań obszaru roboczego, uprawnień i schematów.
Na stronie Konfigurowanie obszarów roboczych catalog> określ obszar roboczy, z którego jest powiązana catalog.

Domyślnie catalog jest współużytkowany ze wszystkimi obszarami roboczymi dołączonymi do bieżącego magazynu metadanych. Jeśli catalog będzie zawierać dane, które powinny być ograniczone do określonych obszarów roboczych, usuń zaznaczenie opcji Wszystkie obszary robocze mają dostęp, a następnie użyj przycisku Przypisz do obszarów roboczych, aby dodać te obszary robocze. Bieżący obszar roboczy musi być uwzględniony.

Po przypisaniu obszaru roboczego możesz opcjonalnie zmienić domyślny poziom dostępu odczytu & zapisu do tylko do odczytu: select obszarze roboczym z list i kliknij przycisk Zarządzaj poziomem dostępu.

Aby uzyskać więcej informacji, zobacz Limitcatalog dostęp do określonych obszarów roboczych.
Kliknij Dalej, aby przypisać Uprawnienia dla Twojego catalog.

Wszyscy użytkownicy konta mają domyślnie uprawnienia BROWSE, co daje im możliwość odnajdywania catalog metadanych bez having dostępu do odczytu danych.

Aby grant przyznać uprawnienia użytkownikowi, grupie lub głównej jednostce usługi, kliknij Grant i postępuj zgodnie z instrukcjami w uprawnienia Unity Catalog i zabezpieczane obiekty.
Kliknij przycisk Dalej , aby dodać opcjonalny tag i komentarz Metadane.

Tagi to pary klucz-wartość, których można użyć do organizowania i kategoryzowania catalogs w celu uproszczenia wyszukiwania i odnajdywania zasobów danych. Values jest opcjonalny. Zobacz Apply tags to Unity Catalog obiekty możliwe do zabezpieczenia.

Komentarz to otwarte pole, które jest często używane do podawania opisu ułatwiającego użytkownikom odnajdywanie zasobów danych w catalog. Zobacz Dodawanie komentarzy do danych i zasobów sztucznej inteligencji.
Kliknij przycisk Zapisz.
Dodaj schematy i obiekty danych do catalog.

Zobacz Tworzenie schematów.

Możesz użyć Eksploratora Catalog do update właściciela, tagów, komentarzy, powiązań obszaru roboczego i uprawnień w dowolnym momencie po utworzeniu catalog.

SQL

Aby utworzyć standardowy catalog, uruchom następujące polecenie SQL w notesie lub edytorze zapytań SQL. Elementy w nawiasach kwadratowych są opcjonalne. Zastąp symbol zastępczy values:

<catalog-name>: nazwa dla catalog.
<location-path>: opcjonalne, ale zdecydowanie zalecane. Podaj ścieżkę lokalizacji pamięci, jeśli chcesz, aby zarządzana tables w tym catalog była przechowywana w miejscu innym niż domyślna pamięć główna skonfigurowana dla metastore.

Ważne

Jeśli obszar roboczy nie ma lokalizacji magazynu na poziomie metastore, należy określić zarządzaną lokalizację magazynową podczas tworzenia catalog.

Ta ścieżka musi być zdefiniowana w konfiguracji lokalizacji zewnętrznej i musi mieć CREATE MANAGED STORAGE uprawnienia do konfiguracji lokalizacji zewnętrznej. Możesz użyć ścieżki zdefiniowanej w konfiguracji lokalizacji zewnętrznej lub ścieżki podrzędnej (innymi słowy 'abfss://my-container-name@storage-account-name.dfs.core.windows.net/finance' lub 'abfss://my-container-name@storage-account-name.dfs.core.windows.net/finance/product').
<comment>: opcjonalny opis lub inny komentarz.

CREATE CATALOG [ IF NOT EXISTS ] <catalog-name>
   [ MANAGED LOCATION '<location-path>' ]
   [ COMMENT <comment> ];

Aby na przykład utworzyć catalog o nazwie example:

CREATE CATALOG IF NOT EXISTS example;

Aby utworzyć udostępniony catalog, uruchom następujące polecenie w notesie lub edytorze zapytań SQL. Elementy w nawiasach kwadratowych są opcjonalne.

CREATE CATALOG [IF NOT EXISTS] <catalog-name>
USING SHARE <provider-name>.<share-name>;
[ COMMENT <comment> ];

Aby utworzyć obcy catalog, uruchom następujące polecenie w notatniku lub edytorze zapytań SQL. Elementy w nawiasach kwadratowych są opcjonalne. Zastąp symbol zastępczy values:

<catalog-name>: nazwa catalog w usłudze Azure Databricks.
<connection-name>: obiekt połączenia określający źródło danych, ścieżkę i dostęp credentials.
<database-name>: nazwa bazy danych, którą chcesz dublować jako catalog w usłudze Azure Databricks. Nie jest to wymagane w przypadku bazy danych MySQL, która używa dwuwarstwowej przestrzeni nazw. W przypadku federacji databricks-to-Databricks Lakehouse użyj zamiast tego polecenia catalog '<external-catalog-name>' .
<external-catalog-name>: Databricks-to-Databricks tylko: Nazwa catalog w zewnętrznym obszarze roboczym usługi Databricks, który jest dublowany. Zobacz Uruchamianie zapytań federacyjnych w innym obszarze roboczym usługi Databricks.

CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS [(database '<database-name>') | (catalog '<external-catalog-name>')];

Zobacz również Utwórz zagraniczny catalog.

Aby limituzyskaćcatalog dostęp do określonych obszarów roboczych na koncie, znane również jako powiązanie z obszarem roboczymcatalog, zobacz Limitcatalog dostęp do określonych obszarów roboczych.

Aby uzyskać szczegółowe opisy parametrów, zobacz CREATE CATALOG.

Po utworzeniu catalogprzypisz uprawnienia do catalog. Zobacz uprawnienia Unity Catalog i zabezpieczane obiekty.

Inne

Terraform: możesz utworzyć catalog przy użyciu Databricks Terraform provider i databricks_catalog. Informacje o catalogs można pobrać za pomocą databricks_catalogs.

Interfejs API REST: użyj POST /api/2.1/unity-catalog/catalogs.

Databricks CLI: databricks catalogs create <catalog-name> [options] Aby uzyskać list opcji, uruchom databricks catalogs create -h. Opcje są również opisane w dokumentacji interfejsu API. Postępuj zgodnie z linkiem interfejsu API w poprzednim akapicie.

Po utworzeniu catalogprzypisz uprawnienia do catalog. Zobacz Catalog uprawnienia aparatu Unity i zabezpieczane obiekty.

Więcej informacji

zarządzanie catalogs
Zarządzanie domyślnym catalog
Limit catalog dostęp do określonych obszarów roboczych

Udostępnij za pośrednictwem