Tworzenie poświadczeń magazynu na potrzeby nawiązywania połączenia z usługą Cloudflare R2

W tym artykule opisano, jak utworzyć poświadczenia magazynowe w Unity Catalog, aby połączyć się z usługą Cloudflare R2. Magazyn obiektów Cloudflare R2 nie ponosi opłat za ruch wychodzący. Replikowanie lub migrowanie danych udostępnianych w usłudze R2 umożliwia udostępnianie danych w chmurach i regionach bez ponoszenia opłat za ruch wychodzący.

Uwaga

Platforma Unity Catalog obsługuje dwie opcje magazynu w chmurze dla usługi Azure Databricks: kontenery usługi Azure Data Lake Storage Gen2 i zasobniki cloudflare R2. Chmuraflare R2 jest przeznaczona głównie dla przypadków użycia udostępniania różnicowego, w których chcesz uniknąć opłat za ruch wychodzący danych dostawcy usług w chmurze. Usługa Azure Data Lake Storage Gen2 jest odpowiednia dla większości innych przypadków użycia. Zobacz Monitorować i zarządzać kosztami ruchu wychodzącego Delta Sharing (dla providers) oraz Utworzyć poświadczenie magazynu do połączenia z Azure Data Lake Storage Gen2.

Aby użyć zasobnika R2 jako lokalizacji magazynu dla danych zarządzanych przez system Unity Catalog, należy utworzyć poświadczenie magazynu, które autoryzuje dostęp do zasobnika R2, oraz utworzyć lokalizację zewnętrzną, która odnosi się do poświadczenia magazynu i ścieżki zasobnika.

• Storage credentials hermetyzuje długoterminowe poświadczenia do chmury, które zapewniają dostęp do magazynu w chmurze.
• Lokalizacje zewnętrzne zawierają odwołanie do poświadczeń magazynu i ścieżki magazynu w chmurze.

Ten artykuł koncentruje się na tworzeniu poświadczeń magazynu.

Aby uzyskać więcej informacji, zobacz Zarządzaj dostępem do chmury przy użyciu Unity Catalog.

Wymagania

• Instancja robocza usługi Databricks została uruchomiona dla środowiska Unity Catalog.

• Databricks Runtime 14.3 lub nowszy albo SQL Warehouse 2024.15 lub nowszy.

  Jeśli wystąpi komunikat No FileSystem for scheme "r2”o błędzie , obliczenia prawdopodobnie są w nieobsługiwanej wersji.

• Konto cloudflare. Zobacz: https://dash.cloudflare.com/sign-up.

• Rola administratora cloudflare R2. Zapoznaj się z dokumentacją ról cloudflare.

• W obszarze roboczym dołączonym do magazynu metadanych Unity Catalog posiada się przywileje CREATE STORAGE CREDENTIAL. Administratorzy kont i administratorzy magazynu metadanych mają domyślnie te uprawnienia.

Konfigurowanie zasobnika R2

1. Utwórz zasobnik Cloudflare R2.

   Możesz użyć pulpitu nawigacyjnego Cloudflare lub narzędzia Cloudflare Wrangler.

   Zapoznaj się z dokumentacją Cloudflare R2 "Get started" lub dokumentacją Wrangler.

2. Utwórz token interfejsu API R2 i zastosuj go do zasobnika.

   Zapoznaj się z dokumentacją uwierzytelniania interfejsu API Cloudflare R2.

   Set następujące właściwości tokenu:

   • Uprawnienia: Odczyt i zapis obiektu.

     To uprawnienie przyznaje dostęp do odczytu i zapisu, który jest wymagany w przypadku używania magazynu R2 jako celu replikacji, zgodnie z opisem w temacie Korzystanie z replik Cloudflare R2 lub migrowanie magazynu do języka R2.

     Jeśli chcesz wymusić dostęp tylko do odczytu z usługi Azure Databricks do zasobnika R2, możesz zamiast tego utworzyć token, który udziela dostępu tylko do odczytu. Może to być jednak niepotrzebne, ponieważ można oznaczyć poświadczenia magazynu jako tylko do odczytu, a każdy dostęp do zapisu przyznany przez to uprawnienie zostanie zignorowany.

   • (opcjonalnie) TTL: Czas trwania, przez który chcesz udostępniać dane zasobnika recipients.

   • (opcjonalnie) Filtrowanie adresów IP klienta: Select, jeśli chcesz limit dostęp sieciowy do określonych adresów IP adresata. Jeśli ta opcja jest włączona, musisz określić adresy IP recipientsi dodać do listy dozwolonych adresów IP adresy NAT płaszczyzny sterowania usługi Databricks dla regionu przestrzeni roboczej.

   Zobacz Adresy płaszczyzny sterowania usługi Azure Databricks.

3. Skopiuj token interfejsu API R2 values:

   • Identyfikator klucza dostępu
   • Klucz dostępu tajnego

   Ważne

   Token values jest wyświetlany tylko raz.

4. Na stronie głównej R2 przejdź do pozycji Szczegóły konta i skopiuj identyfikator konta R2.

Tworzenie poświadczeń magazynu

1. W usłudze Azure Databricks zaloguj się do obszaru roboczego.

2. Kliknij ikonę Catalog.

3. Na stronie Szybki dostęp kliknij przycisk Zewnętrzne dane >, przejdź do karty Credentials i selectUtwórz poświadczenie.

4. Select poświadczenie magazynu.

5. Select typu poświadczeń tokenu interfejsu API Cloudflare.

6. Wprowadź nazwę dla poświadczenia oraz następujący values, który skopiowałeś podczas konfigurowania zasobnika R2.

   • Identyfikator konta
   • Identyfikator klucza dostępu
   • Klucz dostępu wpisu tajnego

7. (Opcjonalnie) Jeśli chcesz, aby użytkownicy mieli dostęp tylko do odczytu do zewnętrznych lokalizacji korzystających z tego poświadczenia przechowywania, w Opcje zaawansowaneselectTylko do odczytu.

   Nie select tej opcji, jeśli chcesz użyć poświadczeń magazynu w celu uzyskania dostępu do magazynu R2, którego używasz jako celu replikacji, zgodnie z opisem w Użyj replik Cloudflare R2 lub zmigruj magazyn do magazynu R2.

   Aby uzyskać więcej informacji, zobacz Oznaczanie poświadczeń magazynu jako tylko do odczytu.

8. Kliknij pozycję Utwórz.

9. W oknie dialogowym Utworzone poświadczenie magazynu skopiuj identyfikator zewnętrzny.

10. (Opcjonalnie) Powiąż poświadczenie magazynu z określonymi obszarami roboczymi.

    Domyślnie poświadczenia magazynu mogą być używane przez dowolnego uprzywilejowanego użytkownika w dowolnym obszarze roboczym dołączonym do magazynu metadanych. Jeśli chcesz zezwolić na dostęp tylko z określonych obszarów roboczych, przejdź do karty Obszary robocze i przypisz obszary robocze. Zobacz (Opcjonalnie) Przypisywanie poświadczeń magazynu do określonych obszarów roboczych.

Następny krok: tworzenie lokalizacji zewnętrznej

Zobacz Tworzenie lokalizacji zewnętrznej w celu połączenia magazynu w chmurze z usługą Azure Databricks.