Utwórz poświadczenie magazynu do połączenia z Cloudflare R2

W tym artykule opisano sposób tworzenia poświadczenia magazynowania w Unity Catalog, aby połączyć się z usługą Cloudflare R2. Przechowywanie obiektów w Cloudflare R2 nie wiąże się z opłatami za transfer wychodzący. Replikowanie lub migrowanie danych, które udostępniasz do usługi R2, umożliwia udostępnianie danych w chmurach i regionach bez ponoszenia opłat za ruch wychodzący.

Uwaga

Katalog Unity obsługuje dwie opcje magazynowania w chmurze dla Azure Databricks: kontenery Azure Data Lake Storage i zasobniki Cloudflare R2. Cloudflare R2 jest przeznaczona głównie dla przypadków użycia Delta Sharing, w których chcesz uniknąć opłat za ruch wychodzący danych dostawcy usług w chmurze. Usługa Azure Data Lake Storage jest odpowiednia dla większości innych przypadków użycia. Zobacz Monitorowanie i zarządzanie kosztami ruchu wychodzącego udostępniania danych Delta (dla dostawców) i Utwórz poświadczenie magazynu na potrzeby łączenia się z usługą Azure Data Lake Storage.

Aby użyć zasobnika R2 jako lokalizacji magazynu dla danych zarządzanych przez Unity Catalog, należy utworzyć poświadczenie magazynu autoryzujące dostęp do zasobnika R2 i utworzyć lokalizację zewnętrzną odwołującą się do poświadczenia magazynu i ścieżki zasobnika.

• Poświadczenia magazynu obejmują długoterminowe poświadczenie chmury, które zapewnia dostęp do magazynu w chmurze.
• Lokalizacje zewnętrzne zawierają odniesienie do poświadczenia dostępu do magazynu i ścieżki magazynu w chmurze.

Ten artykuł skupia się na tworzeniu poświadczenia dostępu do magazynu danych.

Aby uzyskać więcej informacji, zobacz Zarządzanie dostępem do magazynu w chmurze przy użyciu Unity Catalog.

Wymagania

• Obszar roboczy usługi Databricks jest włączony do Unity Catalog.

• Databricks Runtime 14.3 lub nowszy albo Magazyn SQL 2024.15 lub nowszy.

  Jeśli wystąpi komunikat o błędzie No FileSystem for scheme "r2”, twój komputer prawdopodobnie działa na nieobsługiwanej wersji.

• Konto cloudflare. Zobacz: https://dash.cloudflare.com/sign-up.

• Rola administratora Cloudflare R2. Zapoznaj się z dokumentacją ról Cloudflare.

• CREATE STORAGE CREDENTIAL uprawnienie do repozytorium metadanych Unity Catalog przypisanego do obszaru roboczego. Administratorzy kont i administratorzy magazynu metadanych mają domyślnie te uprawnienia.

Konfigurowanie zasobnika R2

1. Utwórz zasobnik Cloudflare R2.

   Możesz użyć pulpitu nawigacyjnego Cloudflare lub narzędzia Cloudflare Wrangler.

   Zapoznaj się z dokumentacją rozwiązania Cloudflare R2 "Wprowadzenie" lub dokumentacją platformy Wrangler.

2. Utwórz token interfejsu API R2 i zastosuj go do zasobnika.

   Zapoznaj się z dokumentacją uwierzytelniania interfejsu API Cloudflare R2.

   Ustaw następujące właściwości tokenu:

   • Uprawnienia: Odczyt i zapis obiektu.

     To uprawnienie przyznaje dostęp do odczytu i zapisu, który jest wymagany w przypadku używania magazynu R2 jako celu replikacji, zgodnie z opisem w temacie Korzystanie z replik Cloudflare R2 lub migrowanie magazynu do języka R2.

     Jeśli chcesz wymusić dostęp tylko do odczytu z usługi Azure Databricks do zasobnika R2, możesz zamiast tego utworzyć token, który udziela dostępu tylko do odczytu. Może to być jednak niepotrzebne, ponieważ można oznaczyć dane magazynowe jako tylko do odczytu, a każdy dostęp do zapisu przyznany na podstawie tego uprawnienia zostanie zignorowany.

   • (Opcjonalnie) TTL: Długość czasu, przez który chcesz udostępniać dane w wiadrze odbiorcom danych.

   • (Opcjonalnie) Filtrowanie adresów IP klienta: wybierz, czy chcesz ograniczyć dostęp sieciowy do określonych adresów IP adresata. Jeśli ta opcja jest włączona, musisz określić adresy IP adresatów i musisz dodać do listy dozwolonych adres IP NAT płaszczyzny sterowania Databricks dla regionu obszaru roboczego.

   Zobacz adresy „płaszczyzny sterowania” usługi Azure Databricks.

3. Skopiuj wartości tokenu interfejsu API R2:

   • Identyfikator klucza dostępu
   • Klucz dostępu tajnego

   Ważne

   Wartości tokenu są wyświetlane tylko raz.

4. Na stronie głównej R2 przejdź do pozycji Szczegóły konta i skopiuj identyfikator konta R2.

Tworzenie poświadczeń magazynu

1. W usłudze Azure Databricks zaloguj się do obszaru roboczego.

2. Kliknij ikonę katalogu .

3. Na stronie Szybki dostęp kliknij przycisk Dane zewnętrzne>, przejdź do karty Poświadczenia i wybierz Utwórz poświadczenie.

4. Wybierz Poświadczenie magazynowe.

5. Wybierz typ poświadczeniatokenu API Cloudflare.

6. Wprowadź nazwę poświadczenia i następujące wartości skopiowane podczas konfigurowania zasobnika R2:

   • Identyfikator konta
   • Identyfikator klucza dostępu
   • Klucz dostępu sekretnego

7. (Opcjonalnie) Jeśli chcesz, aby użytkownicy mieli dostęp tylko do odczytu do lokalizacji zewnętrznych korzystających z tego poświadczenia magazynu, w obszarze Opcje zaawansowane wybierz pozycję Tylko do odczytu.

   Nie wybieraj tej opcji, jeśli chcesz użyć poświadczeń magazynu w celu uzyskania dostępu do magazynu R2, którego używasz jako celu replikacji, zgodnie z opisem w temacie Używanie replik Cloudflare R2 lub migrowanie magazynu do wersji R2.

   Aby uzyskać więcej informacji, zobacz Oznaczanie poświadczeń magazynu jako tylko do odczytu.

8. Kliknij pozycję Utwórz.

9. W oknie dialogowym Utworzone poświadczenie magazynu skopiuj zewnętrzny identyfikator.

10. (Opcjonalnie) Powiąż poświadczenie magazynu z określonymi obszarami roboczymi.

    Domyślnie poświadczenia magazynu mogą być używane przez dowolnego uprzywilejowanego użytkownika w dowolnym obszarze roboczym dołączonym do magazynu metadanych. Jeśli chcesz zezwolić na dostęp tylko z określonych obszarów roboczych, przejdź do karty Obszary robocze i przypisz obszary robocze. Zobacz (Opcjonalnie) Przypisywanie poświadczeń magazynu do określonych obszarów roboczych.

Następny krok: tworzenie lokalizacji zewnętrznej

Zobacz Tworzenie lokalizacji zewnętrznej w celu połączenia magazynu w chmurze z usługą Azure Databricks.