Tworzenie poświadczeń magazynu na potrzeby nawiązywania połączenia z usługą Azure Data Lake Storage Gen2

W tym artykule opisano sposób tworzenia poświadczeń dostępu do magazynu w środowisku Unity Catalog w celu nawiązania połączenia z usługą Azure Data Lake Storage Gen2.

Aby zarządzać dostępem do bazowego magazynu w chmurze, który przechowuje tables i volumes, środowisko Unity Catalog używa następujących typów obiektów:

• magazynowanie credentials zawiera długoterminowe poświadczenia chmury, które zapewniają dostęp do magazynu w chmurze.
• Lokalizacje zewnętrzne zawierają odwołanie do poświadczeń magazynu i ścieżki magazynu w chmurze.

Aby uzyskać więcej informacji, zobacz Zarządzanie dostępem do przechowywania w chmurze za pomocą Unity Catalog.

Uwaga

Jeśli chcesz użyć Unity Catalog do zarządzania dostępem do usługi zewnętrznej zamiast pamięci masowej w chmurze, zobacz Zarządzanie dostępem do zewnętrznych usług w chmurze za pomocą usługi credentials.

Platforma Unity Catalog obsługuje trzy opcje magazynu w chmurze dla usługi Azure Databricks: kontenery usługi Azure Data Lake Storage Gen2, zasobniki Cloudflare R2 i katalog główny DBFS. Cloudflare R2 jest przeznaczony głównie dla przypadków użycia funkcji Delta Sharing, w których chcesz uniknąć opłat za ruch wychodzący danych. Usługa Azure Data Lake Storage Gen2 jest odpowiednia dla większości innych przypadków użycia. Ten artykuł koncentruje się na tworzeniu przestrzeni credentials dla kontenerów usługi Azure Data Lake Storage Gen2. Aby uzyskać informacje o usłudze Cloudflare R2, zobacz Tworzenie poświadczeń magazynu na potrzeby nawiązywania połączenia z usługą Cloudflare R2.

Główny system plików DBFS służy do zarządzania dostępem do głównego systemu plików DBFS. Chociaż Databricks odradza przechowywanie danych w głównym magazynie DBFS, obszar roboczy może to robić ze względu na starsze praktyki. W przypadku głównego systemu plików DBFS zobacz Utwórz zewnętrzną lokalizację dla danych w głównym systemie plików DBFS.

Aby utworzyć poświadczenia magazynu na potrzeby dostępu do kontenera usługi Azure Data Lake Storage Gen2, należy utworzyć łącznik dostępu usługi Azure Databricks, który odwołuje się do tożsamości zarządzanej platformy Azure, przypisując mu uprawnienia do kontenera magazynu. Następnie należy odwołać się do tego łącznika dostępu w definicji poświadczeń magazynu.

Wymagania

W usłudze Azure Databricks:

• Obszar roboczy usługi Azure Databricks jest włączony dla środowiska Unity Catalog.
• CREATE STORAGE CREDENTIAL uprawnienia do Metapamięci Unity Catalog dołączonej do obszaru roboczego. Administratorzy kont i administratorzy magazynu metadanych mają domyślnie te uprawnienia.

W dzierżawie platformy Azure:

• Kontener magazynu usługi Azure Data Lake Storage Gen2. Aby uniknąć opłat za ruch wychodzący, powinno to znajdować się w tym samym regionie co obszar roboczy, z którego chcesz uzyskać dostęp do danych.

  Konto magazynu usługi Azure Data Lake Storage Gen2 musi mieć hierarchiczną przestrzeń nazw.

• Współautor lub właściciel grupy zasobów platformy Azure.

• Właściciel lub użytkownik z rolą RBAC platformy Azure administratora dostępu użytkowników na koncie magazynu.

Tworzenie poświadczeń magazynu przy użyciu tożsamości zarządzanej

Tożsamość zarządzana platformy Azure lub jednostka usługi można użyć jako tożsamości, która autoryzuje dostęp do kontenera magazynu. Tożsamości zarządzane są zdecydowanie zalecane. Mają one korzyść z umożliwienia aparatowi Unity Catalog uzyskiwania dostępu do kont magazynu chronionych przez reguły sieciowe, co nie jest możliwe w przypadku używania głównych jednostek usługi, oraz eliminują one remove potrzeby zarządzania i rotacji wpisów tajnych. Jeśli chcesz użyć jednostki usługi, zobacz Create Unity Catalog managed storage using a service principal (starsza wersja).

1. W portalu Azure utwórz łącznik dostępu Azure Databricks i przypisz mu odpowiednie uprawnienia do kontenera magazynu, do którego chcesz uzyskać dostęp, korzystając z instrukcji zawartych w Konfigurowanie tożsamości zarządzanej dla środowiska Unity Catalog.

   Łącznik dostępu usługi Azure Databricks to zasób platformy Azure, który umożliwia łączenie tożsamości zarządzanych z kontem usługi Azure Databricks. Aby dodać poświadczenie magazynu, musisz mieć rolę Współautor lub wyższy zasób łącznika dostępu na platformie Azure.

   Zanotuj identyfikator zasobu łącznika dostępu.

2. Zaloguj się do obszaru roboczego usługi Azure Databricks z obsługą środowiska Unity Catalogjako użytkownik mający uprawnienia CREATE STORAGE CREDENTIAL.

   Zarówno role administratora magazynu metadanych, jak i administratora konta obejmują te uprawnienia.

3. Kliknij ikonę Catalog.

4. Na stronie Szybki dostęp kliknij przycisk Zewnętrzne dane >, przejdź do karty Credentials i selectUtwórz poświadczenie.

5. Select Poświadczenie magazynu.

6. Select Typ poświadczeń dla tożsamości zarządzanej Azure.

7. Wprowadź nazwę poświadczenia i wprowadź identyfikator zasobu łącznika dostępu w formacie:

   /subscriptions/<subscription-id>/resourceGroups/<resource-group>/providers/Microsoft.Databricks/accessConnectors/<connector-name>
   

8. (Opcjonalnie) Jeśli łącznik dostępu został utworzony przy użyciu tożsamości zarządzanej przypisanej przez użytkownika, wprowadź identyfikator zasobu tożsamości zarządzanej w polu Identyfikator tożsamości zarządzanej przypisanej przez użytkownika w formacie:

   /subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<managed-identity-name>
   

9. (Opcjonalnie) Jeśli chcesz, aby użytkownicy mieli tylko dostęp do odczytu do lokalizacji zewnętrznych korzystających z tego poświadczenia magazynu, selecttylko do odczytu. Aby uzyskać więcej informacji, zobacz Oznaczanie poświadczeń magazynu jako tylko do odczytu.

10. Kliknij pozycję Utwórz.

11. (Opcjonalnie) Powiąż poświadczenie magazynu z określonymi obszarami roboczymi.

    Domyślnie każdy uprzywilejowany użytkownik może używać poświadczeń magazynu w dowolnym obszarze roboczym dołączonym do magazynu metadanych. Jeśli chcesz zezwolić na dostęp tylko z określonych obszarów roboczych, przejdź do karty Obszary robocze i przypisz obszary robocze. Zobacz (Opcjonalnie) Przypisywanie poświadczeń magazynu do określonych obszarów roboczych.

12. Utwórz lokalizację zewnętrzną, która odwołuje się do tego poświadczenia magazynu.

(Opcjonalnie) Przypisywanie poświadczeń magazynu do określonych obszarów roboczych

Ważne

Ta funkcja jest dostępna w publicznej wersji zapoznawczej.

Domyślnie poświadczenie magazynu jest dostępne ze wszystkich obszarów roboczych w magazynie metadanych. Oznacza to, że jeśli użytkownik otrzymał uprawnienie (na przykład CREATE EXTERNAL LOCATION) na tym poświadczeniu magazynu, może wykonać to uprawnienie z dowolnego obszaru roboczego dołączonego do magazynu metadanych. Jeśli używasz obszarów roboczych do izolowania dostępu do danych użytkownika, możesz zezwolić na dostęp do poświadczeń magazynu tylko z określonych obszarów roboczych. Ta funkcja jest nazywana powiązaniem obszaru roboczego lub izolacją poświadczeń magazynu.

Typowym przypadkiem użycia powiązania poświadczeń magazynu z określonymi obszarami roboczymi jest scenariusz, w którym administrator chmury konfiguruje poświadczenia magazynu przy użyciu poświadczeń konta w chmurze produkcyjnej i chcesz upewnić się, że użytkownicy usługi Azure Databricks używają tego poświadczenia do tworzenia lokalizacji zewnętrznych tylko w obszarze roboczym produkcyjnym.

Aby uzyskać więcej informacji na temat powiązania obszaru roboczego, zobacz (opcjonalnie) Przypisywanie lokalizacji zewnętrznej do określonych obszarów roboczych i Limitcatalog dostęp do określonych obszarów roboczych.

Uwaga

Powiązania obszaru roboczego są przywoływane, gdy wykonywane są uprawnienia przeciwko magazynowi credentials. Jeśli na przykład użytkownik tworzy lokalizację zewnętrzną przy użyciu poświadczeń magazynu, powiązanie obszaru roboczego na poświadczeniu magazynu jest sprawdzane tylko po utworzeniu lokalizacji zewnętrznej. Po utworzeniu lokalizacji zewnętrznej będzie ona działać niezależnie od powiązań obszaru roboczego skonfigurowanych na poświadczeniu magazynu.

Wiązanie poświadczeń magazynu z co najmniej jednym obszarem roboczym

Aby przypisać poświadczenia magazynu do określonych obszarów roboczych, możesz użyć narzędzia Catalog Explorer lub Databricks CLI.

Uprawnienia wymagane: administrator magazynu metadanych, właściciel poświadczeń magazynu lub MANAGE poświadczeń magazynu.

Uwaga

Administratorzy magazynu metadanych mogą zobaczyć wszystkie credentials magazynu w magazynie metadanych przy użyciu eksploratora Catalog— a właściciele poświadczeń magazynu mogą zobaczyć wszystkie credentials magazynu, które są właścicielami w magazynie metadanych — niezależnie od tego, czy poświadczenia magazynu są przypisane do bieżącego obszaru roboczego. credentials magazynu, które nie są przypisane do obszaru roboczego, są wyszarane.

Eksplorator Catalog

1. Zaloguj się do obszaru roboczego połączonego z magazynem metadanych.

2. Na pasku bocznym kliknij ikonę Catalog.

3. Na stronie Szybki dostęp kliknij przycisk Dane zewnętrzne > i przejdź do karty Credentials.

4. Select poświadczenie magazynu i przejdź do karty Obszary robocze.

5. Na karcie Obszary robocze wyczyść pole wyboru Wszystkie obszary robocze mają dostęp.

   Jeśli poświadczenie magazynu jest już powiązane z co najmniej jednym obszarem roboczym, to pole wyboru zostało już wyczyszczone.

6. Kliknij pozycję Przypisz do obszarów roboczych i wprowadź lub znajdź obszary robocze, które chcesz przypisać.

Aby uzyskać revoke dostęp, przejdź do karty Obszary robocze, następnie przejdź do obszaru roboczego select i kliknij pozycję Revoke. Aby zezwolić na dostęp ze wszystkich obszarów roboczych, select pole wyboru Wszystkie obszary robocze mają dostęp.

CLI

Istnieją dwie grupy poleceń interfejsu wiersza polecenia usługi Databricks i dwa kroki wymagane do przypisania poświadczeń magazynu do obszaru roboczego.

W poniższych przykładach zastąp <profile-name> ciąg nazwą profilu konfiguracji uwierzytelniania usługi Azure Databricks. Powinien zawierać wartość osobistego tokenu dostępu, oprócz nazwy wystąpienia obszaru roboczego i identyfikatora obszaru roboczego where, w którym wygenerowano osobisty token dostępu. Zobacz Uwierzytelnianie osobistego tokenu dostępu w usłudze Azure Databricks.

1. Użyj polecenia update z grupy poleceń storage-credentials, aby setisolation mode poświadczeń magazynu do ISOLATED:

   databricks storage-credentials update <my-storage-credential> \
   --isolation-mode ISOLATED \
   --profile <profile-name>
   

   Wartość domyślna isolation-mode to OPEN wszystkie obszary robocze dołączone do magazynu metadanych.

2. workspace-bindings Użyj polecenia grupy update-bindings poleceń, aby przypisać obszary robocze do poświadczeń magazynu:

   databricks workspace-bindings update-bindings storage-credential <my-storage-credential> \
   --json '{
     "add": [{"workspace_id": <workspace-id>}...],
     "remove": [{"workspace_id": <workspace-id>}...]
   }' --profile <profile-name>
   

   Użyj właściwości "add" i "remove", aby dodać powiązania obszaru roboczego lub remove.

   Uwaga

   Powiązanie tylko do odczytu (BINDING_TYPE_READ_ONLY) nie jest dostępne dla przechowywania credentials. W związku z tym nie ma powodu, aby setbinding_type wiązania credentials przechowywania.

Aby list wszystkich przypisań obszaru roboczego dla poświadczeń magazynu, użyj polecenia get-bindings grupy poleceń workspace-bindings:

databricks workspace-bindings get-bindings storage-credential <my-storage-credential> \
--profile <profile-name>

Odłączenie poświadczeń magazynu z obszaru roboczego

Instrukcje dotyczące odwoływania dostępu do poświadczenia magazynu przez obszar roboczy przy użyciu eksploratora Catalog lub grupy poleceń CLI workspace-bindings są zawarte w Powiązanie poświadczenia magazynu z jednym lub więcej obszarami roboczymi.

Następne kroki

Możesz wyświetlać, update, usuwać oraz grant uprawnienia innych użytkowników do korzystania z magazynu credentials. Zobacz Zarządzanie magazynem credentials.

Lokalizacje zewnętrzne można definiować przy użyciu magazynu credentials. Zobacz Tworzenie lokalizacji zewnętrznej w celu połączenia magazynu w chmurze z usługą Azure Databricks.