Udostępnij za pośrednictwem

Informacje o wersji ogólnie dostępnej w wykazie aparatu Unity

  • Artykuł

Ważne

Ta dokumentacja została wycofana i może nie zostać zaktualizowana. Produkty, usługi lub technologie wymienione w tej zawartości nie są już obsługiwane. Sprawdź temat Co to jest wykaz Unity?.

25 sierpnia 2022 r.

Wykaz aparatu Unity jest teraz ogólnie dostępny w usłudze Azure Databricks.

W tym artykule opisano wykaz aparatu Unity zgodnie z datą wydania ogólnie dostępnego. Koncentruje się głównie na funkcjach i aktualizacjach dodanych do wykazu aparatu Unity od czasu publicznej wersji zapoznawczej. Aby uzyskać bieżące informacje o wykazie aparatu Unity, zobacz Co to jest wykaz aparatu Unity?. Aby uzyskać informacje o wersji opisujące aktualizacje wykazu aparatu Unity od wersji ogólnodostępnej, zobacz Informacje o wersji platformy Usługi Azure Databricks i informacje o wersji środowiska Databricks Runtime i zgodność.

Limity magazynu metadanych i przydziały zasobów

Od 25 sierpnia 2022 r.

  • Twoje konto usługi Azure Databricks może mieć tylko jeden magazyn metadanych na region
  • Magazyn metadanych może zawierać maksymalnie 1000 katalogów.
  • Wykaz może mieć maksymalnie 10 000 schematów.
  • Schemat może mieć maksymalnie 10 000 tabel.

Aby uzyskać informacje o bieżących przydziałach wykazu aparatu Unity, zobacz Limity przydziału zasobów.

Obsługiwane formaty magazynu w ogólnie dostępnej wersji

Od 25 sierpnia 2022 r.:

  • Wszystkie tabele wykazu zarządzanego aparatu Unity przechowują dane za pomocą usługi Delta Lake
  • Tabele wykazu zewnętrznego aparatu Unity i lokalizacje zewnętrzne obsługują dane delta Lake, JSON, CSV, Avro, Parquet, ORC i tekstowe.

Aby zapoznać się z bieżącymi formatami tabel obsługiwanych przez wykaz aparatu Unity, zobacz Obsługa formatów plików.

Zarządzanie zasobami wykazu aparatu Unity z poziomu konsoli konta

Użyj interfejsu użytkownika konsoli konta usługi Azure Databricks, aby:

  • Zarządzanie cyklem życia magazynu metadanych (tworzenie, aktualizowanie, usuwanie i wyświetlanie magazynów metadanych zarządzanych przez wykaz aparatu Unity)
  • Przypisywanie i usuwanie magazynów metadanych dla obszarów roboczych

Obsługiwane typy klastrów i wersje środowiska Databricks Runtime

Wykaz aparatu Unity wymaga klastrów z uruchomionym środowiskiem Databricks Runtime 11.1 lub nowszym. Katalog aparatu Unity jest domyślnie obsługiwany we wszystkich wersjach obliczeniowych usługi SQL Warehouse .

Wcześniejsze wersje środowiska Databricks Runtime obsługują wersje zapoznawcze wykazu aparatu Unity. Klastry działające we wcześniejszych wersjach środowiska Databricks Runtime nie zapewniają obsługi wszystkich funkcji i funkcji wykazu aparatu Unity.

Katalog aparatu Unity wymaga jednego z następujących trybów dostępu podczas tworzenia nowego klastra:

  • Udostępnionych
    • Języki: SQL lub Python
    • Bezpieczny klaster, który może być współużytkowany przez wielu użytkowników. Użytkownicy klastra są w pełni odizolowani, aby nie widzieli danych i poświadczeń siebie nawzajem.
  • Pojedynczy użytkownik
    • Języki: SQL, Scala, Python, R
    • Bezpieczny klaster, który może być używany wyłącznie przez określonego pojedynczego użytkownika.

Aby uzyskać więcej informacji na temat trybów dostępu do klastra, zobacz Tryby dostępu.

Aby uzyskać informacje na temat zaktualizowanych funkcji wykazu aparatu Unity w nowszych wersjach środowiska Databricks Runtime, zobacz informacje o wersji dla tych wersji.

Tabele systemowe

information_schema jest w pełni obsługiwany w przypadku zasobów danych usługi Unity Catalog. Każdy magazyn metadanych zawiera wykaz określany jako system zawierający magazyn metadanych o information_schemazakresie . Zobacz Schemat informacji. Możesz użyć information_schema polecenia , aby odpowiedzieć na pytania podobne do następujących:

"Zlicz liczbę tabel na katalog"

SELECT table_catalog, count(table_name)
FROM system.information_schema.tables
GROUP BY 1
ORDER by 2 DESC

"Pokaż mi wszystkie tabele, które zostały zmienione w ciągu ostatnich 24 godzin"

SELECT table_name, table_owner, created_by, last_altered, last_altered_by, table_catalog
FROM system.information_schema.tables
WHERE  datediff(now(), last_altered) < 1

Obsługa przesyłania strumieniowego ze strukturą

Obciążenia przesyłania strumieniowego ze strukturą są teraz obsługiwane w katalogu aparatu Unity. Aby uzyskać szczegółowe informacje i ograniczenia, zobacz Ograniczenia.

Zobacz również Artykuł Using Unity Catalog with Structured Streaming (Używanie wykazu aparatu Unity z przesyłaniem strumieniowym ze strukturą).

Funkcje SQL

Funkcje SQL zdefiniowane przez użytkownika są teraz w pełni obsługiwane w katalogu aparatu Unity. Aby uzyskać informacje na temat tworzenia i używania funkcji zdefiniowanych przez użytkownika SQL, zobacz CREATE FUNCTION (SQL i Python).

Składnia SQL dla lokalizacji zewnętrznych w wykazie aparatu Unity

Standardowe polecenia definicji danych i języka definicji danych są teraz obsługiwane w usłudze Spark SQL dla lokalizacji zewnętrznych, w tym następujących:

CREATE | DROP | ALTER | DESCRIBE | SHOW EXTERNAL LOCATION

Możesz również zarządzać uprawnieniami i wyświetlać je za pomocą GRANTpoleceń , REVOKEi SHOW dla lokalizacji zewnętrznych za pomocą języka SQL. Zobacz Lokalizacje zewnętrzne.

Przykładowa składnia:

CREATE EXTERNAL LOCATION <your-location-name>
  URL `<your-location-path>'
  WITH (CREDENTIAL <your-credential-name>);

GRANT READ FILES, WRITE FILES, CREATE EXTERNAL TABLE ON EXTERNAL LOCATION `<your-location-name>`
  TO `finance`;

Ograniczenia wykazu aparatu Unity w ogólnie dostępnej dostępności

Od 25 sierpnia 2022 r. katalog aparatu Unity miał następujące ograniczenia. Aby zapoznać się z bieżącymi ograniczeniami, zobacz Ograniczenia.

  • Środowiska Scala, R i obciążenia korzystające ze środowiska Machine Learning Runtime są obsługiwane tylko w klastrach korzystających z trybu dostępu pojedynczego użytkownika. Obciążenia w tych językach nie obsługują używania widoków dynamicznych na poziomie wiersza lub na poziomie kolumny.
  • Płytkie klony nie są obsługiwane w przypadku używania wykazu aparatu Unity jako źródła lub obiektu docelowego klonu.
  • Zasobniki nie są obsługiwane w przypadku tabel wykazu aparatu Unity. Jeśli uruchomisz polecenia, które spróbują utworzyć tabelę zasobnikową w wykazie aparatu Unity, zgłosi wyjątek.
  • Zapisywanie w tej samej ścieżce lub tabeli usługi Delta Lake z obszarów roboczych w wielu regionach może prowadzić do zawodnej wydajności, jeśli niektóre klastry uzyskują dostęp do wykazu aparatu Unity, a inne nie.
  • Tryb zastępowania operacji zapisu ramki danych w wykazie aparatu Unity jest obsługiwany tylko w przypadku tabel delty, a nie dla innych formatów plików. Użytkownik musi mieć CREATE uprawnienia do schematu nadrzędnego i musi być właścicielem istniejącego obiektu.
  • Obecnie przesyłanie strumieniowe ma następujące ograniczenia:
    • Nie jest obsługiwana w klastrach przy użyciu trybu dostępu współdzielonego. W przypadku obciążeń przesyłania strumieniowego należy użyć trybu dostępu pojedynczego użytkownika.
    • Asynchroniczne punktowanie kontrolne nie jest jeszcze obsługiwane.
    • W środowisku Databricks Runtime w wersji 11.2 lub nowszej zapytania przesyłane strumieniowo, które trwają dłużej niż 30 dni w klastrach zadań lub w klastrach zadań, zgłaszają wyjątek. W przypadku długotrwałych zapytań przesyłania strumieniowego skonfiguruj automatyczne ponawianie zadań lub użyj środowiska Databricks Runtime 11.3 lub nowszego.
  • Odwoływanie się do tabel wykazu aparatu Unity z potoków tabel delta Live Tables nie jest obecnie obsługiwane.
  • Grupy utworzone wcześniej w obszarze roboczym nie mogą być używane w instrukcjach Unity Catalog GRANT. Ma to na celu zapewnienie spójnego widoku grup, które mogą obejmować obszary robocze. Aby użyć grup w instrukcjach GRANT, utwórz grupy w konsoli konta i zaktualizuj wszelką automatyzację zarządzania użytkownikami lub grupami (takimi jak łączniki SCIM, Okta i Microsoft Entra ID oraz Terraform), aby odwoływać się do punktów końcowych konta zamiast do punktów końcowych obszaru roboczego.

Regiony dostępności wykazu aparatu Unity w ogólnie dostępnej dostępności

Od 25 sierpnia 2022 r. katalog aparatu Unity był dostępny w następujących regionach. Aby uzyskać listę aktualnie obsługiwanych regionów, zobacz Azure Databricks regions (Regiony usługi Azure Databricks).

  • canadacentral
  • centralus
  • francecentral
  • germanywestcentral
  • japaneast
  • norwayeast
  • southafricanorth
  • swedencentral
  • switzerlandnorth
  • switzerlandwest
  • uaenorth
  • westcentralus
  • westus3
  • australiaeast
  • brazilsouth
  • centralindia
  • eastus
  • eastus2
  • koreacentral
  • northcentralus
  • northeurope
  • southeastasia
  • ukwest
  • westeurope
  • westus