Tworzenie lokalizacji zewnętrznej dla danych w katalogu głównym systemu plików DBFS

W tym artykule pokazano, jak skonfigurować lokalizację zewnętrzną w katalogu aparatu Unity, aby zarządzać dostępem do głównej lokalizacji systemu plików DBFS lokalizacji magazynu. Chociaż usługa Databricks odradza przechowywanie danych w głównej pamięci masowej DBFS, obszar roboczy może to robić ze względu na starsze praktyki.

lokalizacje zewnętrzne to obiekty katalogu Unity Catalog, które kojarzą poświadczenia magazynu z chmurowymi magazynami obiektów. Lokalizacje zewnętrzne służą do definiowania zarządzanych lokalizacji magazynu dla zarządzanych tabel i woluminów oraz zarządzania dostępem do lokalizacji magazynu zawierających tabele zewnętrzne i woluminy zewnętrzne.

Musisz utworzyć lokalizację zewnętrzną, jeśli lokalny, starszy magazyn metadanych Azure Databricks Hive przechowuje dane w katalogu głównym systemu plików DBFS, a Ty chcesz zintegrować ten starszy magazyn metadanych Hive z Unity Catalog, aby umożliwić zespołowi pracę z tabelami tego magazynu. Zobacz Federacja magazynu metadanych Hive: włącz Katalog Unity, aby zarządzać tabelami zarejestrowanymi w magazynie metadanych Hive. Włącz federację magazynu metadanych Hive dla starszego obszaru roboczego.

Przed rozpoczęciem

Aby utworzyć zewnętrzną lokalizację dla DBFS root, musisz mieć zdefiniowane poświadczenia magazynowe w Unity Catalog, które umożliwiają dostęp do lokalizacji przechowywania w chmurze DBFS root. Jeśli jeszcze go nie masz, system może go utworzyć podczas procesu tworzenia lokalizacji zewnętrznej.

wymagania dotyczące uprawnień:

• Musisz mieć uprawnienia CREATE STORAGE CREDENTIAL i CREATE EXTERNAL LOCATION w metasklepie. Administratorzy magazynu metadanych domyślnie mają te uprawnienia.

  Notatka

  Jeśli istnieje już poświadczenie magazynu dla lokalizacji magazynu głównego systemu plików DBFS, to użytkownik tworzący lokalizację zewnętrzną nie musi mieć CREATE STORAGE CREDENTIAL, ale musi mieć CREATE EXTERNAL LOCATION zarówno na poświadczeniu magazynu, jak i w magazynie metadanych.

• Aby system utworzył dla ciebie poświadczenia magazynu podczas tworzenia zewnętrznej lokalizacji, musisz administrować obszarem roboczym.

  Nie musisz być administratorem obszaru roboczego, jeśli poświadczenie magazynujące, które daje dostęp do głównej lokalizacji magazynu DBFS, już istnieje i masz CREATE EXTERNAL LOCATION zarówno na poświadczeniu magazynującym, jak i w metadanych.

Tworzenie lokalizacji zewnętrznej

Eksplorator wykazu umożliwia utworzenie lokalizacji zewnętrznej dla katalogu głównego systemu plików DBFS.

1. Na pasku bocznym kliknij ikonę .

2. Kliknij Zewnętrzne dane > i Utwórz Lokalizację Zewnętrzną.

3. Wprowadź nazwę lokalizacji zewnętrznej .

4. W obszarze urlkliknij pozycję Kopiuj z instalacji systemu plików DBFS i wybierz pozycję Kopiuj zgłównego systemu plików DBFS.

   Pola adresu URL i podkatalogu są wypełniane ścieżką magazynu w chmurze prowadzącą do katalogu głównego systemu plików DBFS.

   Ważny

   Podczas tworzenia lokalizacji zewnętrznej dla głównego systemu plików DBFS należy użyć ścieżki podrzędnej do lokalizacji głównej systemu plików DBFS, a nie ścieżki do całego zasobnika. Ścieżka podrzędna jest wstępnie wypełniana user/hive/warehouse, która jest domyślną lokalizacją przechowywania tabel magazynu metadanych Hive. Jeśli chcesz uzyskać bardziej szczegółową kontrolę dostępu do danych w katalogu głównym systemu plików DBFS, możesz utworzyć oddzielne lokalizacje zewnętrzne dla ścieżek podrzędnych w katalogu głównym systemu plików DBFS.

   Ostrzeżenie

   Katalog główny systemu plików DBFS może być przechowywany w usłudze Azure Blob Storage zamiast usługi Azure Data Lake Storage Gen2. Te lokalizacje są dostępne przy użyciu sterownika wasb, który nie zezwala na kontrolki na poziomie katalogu ani plików. W związku z tym Unity Catalog może egzekwować kontrolę dostępu tylko na poziomie kontenera, co oznacza, że użytkownicy z dostępem do lokalizacji zewnętrznej mogą potencjalnie uzyskać dostęp do innych danych w tym samym kontenerze, jeśli używają klastrów działających w trybie dostępu jednego użytkownika. Aby temu zapobiec, wymusić użycie klastrów trybu dostępu współdzielonego, magazynów SQL lub bezserwerowych obliczeń.

5. Wybierz poświadczenie magazynu, które przyznaje dostęp do głównej lokalizacji magazynu w chmurze DBFS lub, jeśli żadne nie zostało zdefiniowane, kliknij + Utwórz nowe poświadczenie magazynu.

   Aby utworzyć poświadczenie magazynu, wybierz typ poświadczenia dla katalogu głównego DBFS. Poświadczenia magazynu są tworzone automatycznie podczas zapisywania lokalizacji zewnętrznej.

6. (Opcjonalnie) Dodaj komentarz.

7. (Opcjonalnie) Kliknij pozycję Opcje zaawansowane i włącz tryb awaryjny .

   Tryb rezerwowy jest przeznaczony dla starszych scenariuszy migracji obciążeń. Zobacz Włączanie trybu rezerwowego w lokalizacjach zewnętrznych.

8. Kliknij Utwórz.

9. Przejdź do karty Uprawnienia, aby przyznać uprawnienia do używania lokalizacji zewnętrznej.

   1. Kliknij , aby udzielić.
   2. W polu Principals wybierz użytkowników, grupy lub jednostki usługi, a następnie wybierz uprawnienie, które chcesz przyznać.
   3. Kliknij pozycję Udziel.

10. (Opcjonalnie) Ustaw obszary robocze, które mogą uzyskiwać dostęp do tej lokalizacji zewnętrznej.

    Domyślnie użytkownicy w każdym obszarze roboczym korzystającym z metastore Unity Catalog mogą uzyskać dostęp do danych w tej lokalizacji. Możesz ograniczyć dostęp do określonych obszarów roboczych. Usługa Databricks zaleca ograniczenie dostępu do obszaru roboczego, w ramach którego znajduje się główny system plików DBFS.

    Zobacz Wiązanie lokalizacji zewnętrznej z co najmniej jednym obszarem roboczym.