Jak działają ścieżki dla danych zarządzanych przez wykaz aparatu Unity?

W tym artykule opisano ograniczenia dotyczące nakładania się ścieżek w wykazie aparatu Unity, wzorce dostępu oparte na ścieżkach dla plików danych w obiektach wykazu aparatu Unity i opisano sposób zarządzania ścieżkami dla tabel i woluminów w wykazie aparatu Unity.

Uwaga

Woluminy są obsługiwane tylko w środowisku Databricks Runtime 13.3 LTS i nowszym. W środowisku Databricks Runtime 12.2 LTS i poniżej operacje względem /Volumes ścieżek mogą zakończyć się powodzeniem, ale mogą zapisywać dane tylko na dyskach magazynu efemerycznego dołączonych do klastrów obliczeniowych, a nie utrwalaniu danych w woluminach wykazu aparatu Unity zgodnie z oczekiwaniami.

Ścieżki obiektów wykazu aparatu Unity nie mogą się nakładać

Wykaz aparatu Unity wymusza nadzór nad danymi, uniemożliwiając nakładanie się zarządzanych katalogów danych. Wykaz aparatu Unity wymusza następujące reguły:

• Lokalizacje zewnętrzne nie mogą nakładać się na inne lokalizacje zewnętrzne.
• Tabele i woluminy przechowują pliki danych w lokalizacjach zewnętrznych lub lokalizacji głównej magazynu metadanych.
• Woluminy nie mogą nakładać się na inne woluminy.
• Tabele nie mogą nakładać się na inne tabele.
• Tabele i woluminy nie mogą się nakładać na siebie.
• Zarządzane lokalizacje magazynu nie mogą się nakładać na siebie nawzajem. Zobacz Określanie lokalizacji magazynu zarządzanego w katalogu aparatu Unity.
• Woluminy zewnętrzne nie mogą nakładać się na zarządzane lokalizacje magazynu.
• Tabele zewnętrzne nie mogą nakładać się na zarządzane lokalizacje magazynu.

Te reguły oznaczają, że w wykazie aparatu Unity istnieją następujące ograniczenia:

• Nie można zdefiniować lokalizacji zewnętrznej w innej lokalizacji zewnętrznej.
• Nie można zdefiniować woluminu w innym woluminie.
• Nie można zdefiniować tabeli w innej tabeli.
• Nie można zdefiniować tabeli w żadnych plikach danych lub katalogach w woluminie.
• Nie można zdefiniować woluminu w katalogu w tabeli.

Uwaga

Zawsze możesz użyć dostępu opartego na ścieżkach, aby zapisywać lub odczytywać pliki danych z woluminów, w tym usługi Delta Lake. Nie można zarejestrować tych plików danych jako tabel w magazynie metadanych wykazu aparatu Unity.

Ścieżki dla zarządzanych tabel i woluminów zarządzanych są w pełni zarządzane przez wykaz aparatu Unity

Podczas tworzenia tabeli zarządzanej lub woluminu zarządzanego wykaz aparatu Unity tworzy nowy katalog w skonfigurowanej przez wykaz aparatu Unity lokalizacji magazynu skojarzonej ze schematem zawierającym. Nazwa tego katalogu jest generowana losowo, aby uniknąć potencjalnej kolizji z innymi katalogami, które już istnieją.

To zachowanie różni się od sposobu tworzenia tabel zarządzanych przez magazyn metadanych Hive. Usługa Databricks zaleca zawsze interakcję z tabelami zarządzanymi w wykazie aparatu Unity przy użyciu nazw tabel i woluminów zarządzanych usługi Unity Catalog przy użyciu ścieżek woluminów.

Ścieżki dla tabel zewnętrznych i woluminów zewnętrznych podlegają wykazowi aparatu Unity

Podczas tworzenia tabeli zewnętrznej lub woluminu zewnętrznego należy określić ścieżkę w lokalizacji zewnętrznej zarządzanej przez wykaz aparatu Unity.

Ważne

Usługa Databricks zaleca, aby nigdy nie tworzyć woluminu zewnętrznego ani tabeli zewnętrznej w katalogu głównym lokalizacji zewnętrznej. Zamiast tego utwórz woluminy zewnętrzne i tabele zewnętrzne w podkata katalogach w lokalizacji zewnętrznej. Zalecenia te powinny pomóc uniknąć przypadkowych nakładających się ścieżek. Zobacz Ścieżki obiektów wykazu aparatu Unity nie mogą się nakładać.

W celu ułatwienia użycia usługa Databricks zaleca interakcję z tabelami zewnętrznymi wykazu aparatu Unity przy użyciu nazw tabel i woluminów zewnętrznych wykazu aparatu Unity przy użyciu ścieżek woluminów.

Alternatywnie użytkownicy z wystarczającymi uprawnieniami odpowiedniego obiektu wykazu aparatu Unity mogą uzyskiwać dostęp do danych z tabeli zewnętrznej lub woluminu zewnętrznego przy użyciu w pełni kwalifikowanej ścieżki magazynu obiektów w chmurze.

Ważne

Wykaz aparatu Unity zarządza wszystkimi uprawnieniami dostępu przy użyciu identyfikatorów URI w chmurze do danych skojarzonych z tabelami zewnętrznymi lub woluminami zewnętrznymi. Te uprawnienia zastępują wszystkie uprawnienia skojarzone z lokalizacjami zewnętrznymi. Zobacz Uprawnienia wykazu aparatu Unity i zabezpieczane obiekty

Jak można uzyskać dostęp do danych w wykazie aparatu Unity?

Obiekty wykazu aparatu Unity zapewniają dostęp do danych za pośrednictwem identyfikatorów obiektów, ścieżek woluminów lub identyfikatorów URI w chmurze. Te wartości umożliwiają uzyskiwanie dostępu do danych skojarzonych z woluminami i tabelami.

Dostęp do tabel wykazu aparatu Unity jest uzyskiwany przy użyciu identyfikatora trójwarstwowego z następującym wzorcem:

<catalog_name>.<schema_name>.<table_name>

Co to są ścieżki plików woluminów w wykazie aparatu Unity?

Woluminy zapewniają ścieżkę pliku w celu uzyskania dostępu do plików danych przy użyciu następującego wzorca:

/Volumes/<catalog_name>/<schema_name>/<volume_name>/<path_to_file>

Identyfikatory URI chmury wymagają od użytkowników podania sterownika, identyfikatora kontenera magazynu i pełnej ścieżki do plików docelowych, jak w poniższym przykładzie:

abfss://<container_name>@<storage_account>.dfs.core.windows.net/<path>

W poniższej tabeli przedstawiono metody dostępu dozwolone dla obiektów wykazu aparatu Unity:

Objekt	Identyfikator obiektu	Ścieżka pliku	Identyfikator URI chmury
Lokalizacja zewnętrzna	nie	nie	tak
Zarządzana tabela	tak	nie	nie
Tabela zewnętrzna	tak	nie	tak
Wolumin zarządzany	nie	tak	nie
Wolumin zewnętrzny	nie	tak	tak

Uwaga

Woluminy wykazu aparatu Unity używają identyfikatorów obiektów trójwarstwowych z następującym wzorcem dla poleceń zarządzania (takich jak CREATE VOLUME i DROP VOLUME):

<catalog_name>.<schema_name>.<volume_name>

Aby faktycznie pracować z plikami w woluminach, należy użyć dostępu opartego na ścieżkach.