Tworzenie lokalizacji zewnętrznej dla danych w katalogu głównym systemu plików DBFS

W tym artykule pokazano, jak skonfigurować lokalizację zewnętrzną w katalogu aparatu Unity, aby zarządzać dostępem do głównej lokalizacji systemu plików DBFS lokalizacji magazynu. Chociaż usługa Databricks odradza przechowywanie danych w głównej pamięci masowej DBFS, obszar roboczy może to robić ze względu na starsze praktyki.

lokalizacje zewnętrzne to zabezpieczalne obiekty Katalogu Jedności, które wiążą poświadczenia magazynu z kontenerami magazynu obiektów w chmurze. Lokalizacje zewnętrzne służą do definiowania zarządzanych lokalizacji magazynu dla zarządzanych tabel i woluminów oraz zarządzania dostępem do lokalizacji magazynu zawierających tabele zewnętrzne i woluminy zewnętrzne.

Musisz utworzyć zewnętrzną lokalizację, jeśli Twój lokalny, starszy magazyn metadanych Hive w usłudze Azure Databricks przechowuje dane w katalogu głównym DBFS i chcesz sfederować ten magazyn, aby Twój zespół mógł pracować z tabelami magazynu metadanych Hive przy użyciu katalogu Unity. Zobacz Federacja magazynu metadanych Hive: włącz katalog Unity Catalog, aby zarządzać tabelami zarejestrowanymi w magazynie metadanych Hive, oraz włącz federację magazynu metadanych Hive dla starszego obszaru roboczego.

Przed rozpoczęciem

Aby utworzyć lokalizację zewnętrzną dla root DBFS, musisz mieć zdefiniowane w katalogu Unity poświadczenie magazynu, które zapewnia dostęp do lokalizacji przechowywania w chmurze root DBFS. Jeśli jeszcze go nie masz, system może go utworzyć podczas procesu tworzenia lokalizacji zewnętrznej.

wymagania dotyczące uprawnień:

• Musisz mieć uprawnienia CREATE STORAGE CREDENTIAL i CREATE EXTERNAL LOCATION w metasklepie. Administratorzy magazynu metadanych domyślnie mają te uprawnienia.

  Notatka

  Jeśli istnieje już poświadczenie magazynu dla lokalizacji magazynu głównego systemu plików DBFS, to użytkownik tworzący lokalizację zewnętrzną nie musi mieć CREATE STORAGE CREDENTIAL, ale musi mieć CREATE EXTERNAL LOCATION zarówno na poświadczeniu magazynu, jak i w magazynie metadanych.

• Aby system utworzył dla ciebie poświadczenia magazynu podczas tworzenia zewnętrznej lokalizacji, musisz administrować obszarem roboczym.

  Nie musisz być administratorem obszaru roboczego, jeśli poświadczenie magazynujące, które daje dostęp do głównej lokalizacji magazynu DBFS, już istnieje i masz CREATE EXTERNAL LOCATION zarówno na poświadczeniu magazynującym, jak i w metadanych.

Tworzenie lokalizacji zewnętrznej

Eksplorator wykazu umożliwia utworzenie lokalizacji zewnętrznej dla katalogu głównego systemu plików DBFS.

1. Na pasku bocznym kliknij ikonę katalogu .

2. Kliknij Zewnętrzne dane > i Utwórz Lokalizację Zewnętrzną.

3. Wprowadź nazwę lokalizacji zewnętrznej .

4. Pod URLkliknij pozycję Kopiuj z punktu montowania DBFS i wybierz pozycję Kopiuj z głównego systemu plików DBFS.

   Pola adresu URL i podkatalogu są wypełniane ścieżką magazynu w chmurze prowadzącą do katalogu głównego systemu plików DBFS.

   Ważny

   Podczas tworzenia lokalizacji zewnętrznej dla głównego systemu plików DBFS należy użyć ścieżki podrzędnej do lokalizacji głównej systemu plików DBFS, a nie ścieżki do całego zasobnika. Ścieżka podrzędna jest wstępnie wypełniana user/hive/warehouse, która jest domyślną lokalizacją przechowywania tabel magazynu metadanych Hive. Jeśli chcesz uzyskać bardziej szczegółową kontrolę dostępu do danych w katalogu głównym systemu plików DBFS, możesz utworzyć oddzielne lokalizacje zewnętrzne dla ścieżek podrzędnych w katalogu głównym systemu plików DBFS.

   Ostrzeżenie

   Katalog główny systemu plików DBFS może być przechowywany w usłudze Azure Blob Storage zamiast usługi Azure Data Lake Storage Gen2. Te lokalizacje są dostępne przy użyciu sterownika wasb, który nie zezwala na kontrolki na poziomie katalogu ani plików. W związku z tym Unity Catalog może wymuszać kontrolę dostępu na poziomie kontenera, co oznacza, że użytkownicy z dostępem do zewnętrznej lokalizacji mogą uzyskać potencjalnie dostęp do innych danych w tym samym kontenerze, jeśli używają klastrów w trybie jednego użytkownika. Aby temu zapobiec, wymusić użycie klastrów trybu dostępu współdzielonego, magazynów SQL lub bezserwerowych obliczeń.

5. Wybierz poświadczenie magazynu, które przyznaje dostęp do głównej lokalizacji magazynu DBFS w chmurze lub, jeśli żadne nie zostało zdefiniowane, kliknij + Utwórz nowe poświadczenie magazynu.

   Aby utworzyć poświadczenie magazynu, wybierz typ poświadczenia z głównego katalogu rootsystemu plików DBFS. Poświadczenia magazynu są tworzone automatycznie podczas zapisywania lokalizacji zewnętrznej.

6. (Opcjonalnie) Dodaj komentarz.

7. (Opcjonalnie) Kliknij pozycję Opcje zaawansowane i włącz tryb awaryjny .

   Tryb rezerwowy jest przeznaczony dla starszych scenariuszy migracji obciążeń. Zobacz Włączanie trybu rezerwowego w lokalizacjach zewnętrznych.

8. Kliknij Utwórz.

9. Przejdź do karty Uprawnienia, aby udzielić uprawnień do korzystania z lokalizacji zewnętrznej.

   1. Kliknij Przyznaj.
   2. Wybierz użytkowników, grupy lub jednostki usługi w polu Principals i wybierz uprawnienie, które chcesz przyznać.
   3. Kliknij Udziel.

10. (Opcjonalnie) Ustaw obszary robocze, które mogą uzyskiwać dostęp do tej lokalizacji zewnętrznej.

    Domyślnie użytkownicy w dowolnym obszarze roboczym korzystającym z tego katalogu metastore Unity mogą mieć dostęp do danych w tej lokalizacji. Możesz ograniczyć dostęp do określonych obszarów roboczych. Usługa Databricks zaleca ograniczenie dostępu do obszaru roboczego, w ramach którego znajduje się główny system plików DBFS.

    Zobacz Wiązanie lokalizacji zewnętrznej z co najmniej jednym obszarem roboczym.