Udostępnij za pośrednictwem

Tworzenie wykazów

  • Artykuł

W tym artykule pokazano, jak tworzyć wykazy w wykazie aparatu Unity. Wykaz zawiera schematy (bazy danych), a schemat zawiera tabele, widoki, woluminy, modele i funkcje.

Aby dowiedzieć się więcej na temat katalogów, zobacz Co to są wykazy w usłudze Azure Databricks?.

Uwaga

Aby dowiedzieć się, jak utworzyć wykaz obcy, obiekt wykazu aparatu Unity, który dubluje bazę danych w zewnętrznym systemie danych, zobacz Tworzenie wykazu obcego. Zobacz też Zarządzanie katalogami obcymi i praca z nimi.

Wymagania

Aby utworzyć wykaz, niezależnie od typu wykazu:

  • Musisz być administratorem magazynu metadanych usługi Azure Databricks lub mieć CREATE CATALOG uprawnienia do magazynu metadanych.
  • Zasób obliczeniowy używany do uruchamiania notesu w celu utworzenia wykazu musi znajdować się w środowisku Databricks Runtime 11.3 lub nowszym i musi używać trybu dostępu zgodnego z wykazem aparatu Unity. Zobacz Tryby dostępu. Magazyny SQL zawsze obsługują katalog aparatu Unity.

Aby utworzyć wykaz udostępniony:

  • Udział udostępniania różnicowego musi już istnieć w obszarze roboczym. Zobacz Jak mogę udostępnić udostępnione dane mojemu zespołowi?.
  • Musisz być administratorem magazynu metadanych, mieć USE PROVIDER uprawnienia do magazynu metadanych lub być właścicielem obiektu dostawcy, który zawiera udział.

Aby utworzyć standardowy wykaz:

  • Jeśli określisz zarządzaną lokalizację magazynu dla wykazu, musisz mieć CREATE MANAGED STORAGE uprawnienia w docelowej lokalizacji zewnętrznej.
  • Jeśli magazyn zarządzany na poziomie magazynu metadanych nie istnieje, musisz określić zarządzaną lokalizację magazynu dla wykazu.

Aby utworzyć wykaz obcy:

  • Musisz być właścicielem połączenia używanego do utworzenia wykazu obcego lub mieć CREATE FOREIGN CATALOG uprawnienia do połączenia.
  • Należy użyć obliczeń w środowisku Databricks Runtime 13.1 lub nowszym. Magazyny SQL muszą mieć wartość Pro lub Bezserwerową.

Tworzenie wykazu

Aby utworzyć wykaz, możesz użyć Eksploratora wykazu, polecenia SQL, interfejsu API REST, interfejsu wiersza polecenia usługi Databricks lub narzędzia Terraform. Podczas tworzenia wykazu tworzone są automatycznie dwa schematy (bazy danych): default i information_schema.

Eksplorator wykazu

  1. Zaloguj się do obszaru roboczego połączonego z magazynem metadanych.

  2. Kliknij pozycję Ikona wykazu Wykaz.

  3. Kliknij przycisk Utwórz wykaz.

  4. W oknie dialogowym Tworzenie nowego wykazu wprowadź nazwę wykazu i wybierz typ wykazu, który chcesz utworzyć:

    • Wykaz standardowy : zabezpieczany obiekt, który organizuje dane i zasoby sztucznej inteligencji zarządzane przez wykaz aparatu Unity. W przypadku wszystkich przypadków użycia z wyjątkiem federacji lakehouse i wykazów utworzonych na podstawie udziałów udostępniania różnicowego.
    • Wykaz obcy : zabezpieczany obiekt, który dubluje bazę danych w zewnętrznym systemie danych przy użyciu federacji lakehouse. Zobacz Omówienie konfiguracji federacji usługi Lakehouse.
    • Wykaz udostępniony: zabezpieczany obiekt, który organizuje dane i inne zasoby udostępnione Tobie jako udział udostępniania różnicowego. Utworzenie wykazu na podstawie udziału sprawia, że te zasoby są dostępne dla użytkowników w obszarze roboczym do odczytu. Zobacz Co to jest udział?.

  5. W zależności od typu wykazu określ następujące opcje:

    • W przypadku katalogów standardowych: jest to opcjonalne, ale zdecydowanie zalecane, aby określić zarządzaną lokalizację magazynu. Musisz mieć CREATE MANAGED STORAGE uprawnienia w docelowej lokalizacji zewnętrznej, która jest używana jako zarządzana lokalizacja magazynu. Zobacz Określanie lokalizacji magazynu zarządzanego w katalogu aparatu Unity.

      Opcjonalnie można określić ścieżkę podrzędną zdefiniowanej lokalizacji zewnętrznej. Jeśli nie masz zdefiniowanej lokalizacji zewnętrznej, możesz go utworzyć, klikając pozycję Utwórz nową lokalizację zewnętrzną.

      Ważne

      Jeśli obszar roboczy nie ma lokalizacji magazynu na poziomie magazynu metadanych, należy określić zarządzaną lokalizację magazynu podczas tworzenia wykazu.

    • W przypadku katalogów obcych: należy wybrać połączenie, które jest zabezpieczanym obiektem w wykazie aparatu Unity, który określa ścieżkę i poświadczenia dostępu do zewnętrznego systemu bazy danych. Zobacz Omówienie konfiguracji federacji usługi Lakehouse.

      Po wybraniu połączenia wprowadź nazwę bazy danych lub innego katalogu usługi Databricks, który chcesz dublować.

      Wymagania różnią się w zależności od źródła danych:

      • Baza danych MySQL używa dwuwarstwowej przestrzeni nazw i dlatego nie wymaga nazwy bazy danych.
      • W przypadku połączeń z wykazem w innym obszarze roboczym usługi Databricks wprowadź nazwę wykazu usługi Databricks zamiast nazwy bazy danych.

      Jeśli nie masz zdefiniowanego połączenia, możesz go utworzyć, klikając pozycję Utwórz nowe połączenie.

    • W przypadku katalogów udostępnionych: musisz wybrać dostawcę i udział. Po wybraniu dostawcy możesz wybrać jeden z udziałów dostawcy.

      Jeśli nie masz pewności, który dostawca i który chcesz udostępnić, możesz łatwiej przeglądać lub wyszukiwać dostawców i udziały przy użyciu przeglądarki Eksplorator wykazu. Zobacz Wyświetlanie dostawców i wyświetlanie udziałów udostępnionych przez dostawcę.

  6. Kliknij pozycję Utwórz.

  7. W oknie dialogowym Katalog utworzony! kliknij pozycję Wyświetl wykaz, aby zaakceptować wykaz jako skonfigurowany automatycznie, lub kliknij pozycję Konfiguruj katalog (zalecane) w celu skonfigurowania uprawnień katalogu, powiązań obszaru roboczego i metadanych.

    Jeśli klikniesz pozycję Wyświetl wykaz, wykaz będzie dostępny dla wszystkich obszarów roboczych dołączonych do magazynu metadanych, a BROWSE uprawnienie zostanie przyznane wszystkim użytkownikom konta. Pozostałe kroki opisane w tej procedurze można pominąć i przejść do dodawania schematów do wykazu. Zobacz Tworzenie schematów.

    W dowolnym momencie możesz wrócić do strony szczegółów wykazu w Eksploratorze wykazu, aby zaktualizować właściciela, tagi, komentarze, powiązania obszaru roboczego, uprawnienia i schematy.

  8. Na stronie Konfigurowanie obszarów roboczych wykazu > określ obszar roboczy, z którego jest powiązany wykaz.

    Domyślnie wykaz jest udostępniany wszystkim obszarom roboczym dołączonym do bieżącego magazynu metadanych. Jeśli wykaz będzie zawierać dane, które powinny być ograniczone do określonych obszarów roboczych, wyczyść opcję Wszystkie obszary robocze mają dostęp i użyj przycisku Przypisz do obszarów roboczych , aby dodać te obszary robocze. Bieżący obszar roboczy musi być uwzględniony.

    Po przypisaniu obszaru roboczego możesz opcjonalnie zmienić domyślny poziom dostępu do odczytu i zapisu na Tylko do odczytu: wybierz obszar roboczy z listy i kliknij przycisk Zarządzaj poziomem dostępu.

    Aby uzyskać więcej informacji, zobacz Ograniczanie dostępu wykazu do określonych obszarów roboczych.

  9. Kliknij przycisk Dalej , aby przypisać uprawnienia do katalogu.

    Wszyscy użytkownicy konta mają BROWSE domyślnie uprawnienia, co daje im możliwość odnajdywania metadanych katalogu bez dostępu do odczytu do danych.

    Aby udzielić uprawnień użytkownikowi, grupie lub jednostce usługi, kliknij pozycję Udziel i postępuj zgodnie z instrukcjami w temacie Uprawnienia wykazu aparatu Unity i zabezpieczane obiekty.

  10. Kliknij przycisk Dalej , aby dodać opcjonalny tag i komentarz Metadane.

    Tagi to pary klucz-wartość, których można użyć do organizowania i kategoryzowania katalogów w celu uproszczenia wyszukiwania i odnajdywania zasobów danych. Wartości są opcjonalne. Zobacz Stosowanie tagów do zabezpieczanych obiektów wykazu aparatu Unity.

    Komentarz to pole typu open-end, które jest często używane do podawania opisu ułatwiającego użytkownikom odnajdywanie zasobów danych w wykazie. Zobacz Dodawanie komentarzy do danych i zasobów sztucznej inteligencji.

  11. Kliknij przycisk Zapisz.

  12. Dodaj schematy i obiekty danych do wykazu.

    Zobacz Tworzenie schematów.

Eksplorator wykazu umożliwia aktualizowanie właściciela, tagów, komentarzy, powiązań obszaru roboczego i uprawnień w dowolnym momencie po utworzeniu wykazu.

SQL

Aby utworzyć katalog standardowy, uruchom następujące polecenie SQL w notesie lub edytorze zapytań SQL. Elementy w nawiasach kwadratowych są opcjonalne. Zastąp wartości symboli zastępczych:

  • <catalog-name>: nazwa wykazu.

  • <location-path>: opcjonalne, ale zdecydowanie zalecane. Podaj ścieżkę lokalizacji magazynu, jeśli chcesz, aby tabele zarządzane w tym wykazie zostały zapisane w lokalizacji innej niż domyślny magazyn główny skonfigurowany dla magazynu metadanych.

    Ważne

    Jeśli obszar roboczy nie ma lokalizacji magazynu na poziomie magazynu metadanych, należy określić zarządzaną lokalizację magazynu podczas tworzenia wykazu.

    Ta ścieżka musi być zdefiniowana w konfiguracji lokalizacji zewnętrznej i musi mieć CREATE MANAGED STORAGE uprawnienia do konfiguracji lokalizacji zewnętrznej. Możesz użyć ścieżki zdefiniowanej w konfiguracji lokalizacji zewnętrznej lub ścieżki podrzędnej (innymi słowy 'abfss://my-container-name@storage-account-name.dfs.core.windows.net/finance' lub 'abfss://my-container-name@storage-account-name.dfs.core.windows.net/finance/product').

  • <comment>: opcjonalny opis lub inny komentarz.

CREATE CATALOG [ IF NOT EXISTS ] <catalog-name>
   [ MANAGED LOCATION '<location-path>' ]
   [ COMMENT <comment> ];

Aby na przykład utworzyć wykaz o nazwie example:

CREATE CATALOG IF NOT EXISTS example;

Aby utworzyć wykaz udostępniony, uruchom następujące polecenie w notesie lub edytorze zapytań SQL. Elementy w nawiasach kwadratowych są opcjonalne.

CREATE CATALOG [IF NOT EXISTS] <catalog-name>
USING SHARE <provider-name>.<share-name>;
[ COMMENT <comment> ];

Aby utworzyć wykaz obcy, uruchom następujące polecenie w notesie lub edytorze zapytań SQL. Elementy w nawiasach kwadratowych są opcjonalne. Zastąp wartości symboli zastępczych:

  • <catalog-name>: nazwa wykazu w usłudze Azure Databricks.
  • <connection-name>: obiekt połączenia określający źródło danych, ścieżkę i poświadczenia dostępu.
  • <database-name>: nazwa bazy danych, którą chcesz dublować jako wykaz w usłudze Azure Databricks. Nie jest to wymagane w przypadku bazy danych MySQL, która używa dwuwarstwowej przestrzeni nazw. W przypadku federacji databricks-to-Databricks Lakehouse użyj zamiast tego polecenia catalog '<external-catalog-name>' .
  • <external-catalog-name>: Tylko usługa Databricks-to-Databricks : nazwa wykazu w zewnętrznym obszarze roboczym usługi Databricks, który jest dublowane. Zobacz Uruchamianie zapytań federacyjnych w innym obszarze roboczym usługi Databricks.
CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS [(database '<database-name>') | (catalog '<external-catalog-name>')];

Zobacz też Tworzenie wykazu obcego.

Aby ograniczyć dostęp wykazu do określonych obszarów roboczych na koncie, nazywanym również powiązaniem katalogu obszarów roboczych, zobacz Ograniczanie dostępu wykazu do określonych obszarów roboczych.

Aby uzyskać szczegółowe opisy parametrów, zobacz CREATE CATALOG (TWORZENIE KATALOGU).

Po utworzeniu wykazu przypisz uprawnienia do wykazu. Zobacz Uprawnienia wykazu aparatu Unity i zabezpieczane obiekty.

Inne

Terraform: katalog można utworzyć przy użyciu dostawcy narzędzia Terraform usługi Databricks i databricks_catalog. Informacje o katalogach można pobrać przy użyciu databricks_catalogs.

Interfejs API REST: użyj polecenia POST /api/2.1/unity-catalog/catalogs.

Interfejs wiersza polecenia usługi Databricks: databricks catalogs create <catalog-name> [options] aby uzyskać listę opcji, uruchom polecenie databricks catalogs create -h. Opcje są również opisane w dokumentacji interfejsu API. Postępuj zgodnie z linkiem interfejsu API w poprzednim akapicie.

Po utworzeniu wykazu przypisz uprawnienia do wykazu. Zobacz Uprawnienia wykazu aparatu Unity i zabezpieczane obiekty.

Więcej informacji