Delen via

Een opslagreferentie maken om verbinding te maken met Cloudflare R2

  • Artikel

In dit artikel wordt beschreven hoe u een opslagreferentie maakt in Unity Catalog om verbinding te maken met Cloudflare R2. Voor Cloudflare R2-objectopslag worden geen uitgaande kosten in rekening gebracht. Als u gegevens repliceert of migreert die u met R2 deelt, kunt u gegevens delen in clouds en regio's zonder kosten voor uitgaand verkeer.

Notitie

Unity Catalog ondersteunt twee cloudopslagopties voor Azure Databricks: Azure Data Lake Storage Gen2-containers en Cloudflare R2-buckets. Cloudflare R2 is voornamelijk bedoeld voor gebruiksscenario's voor Delta Sharing waarin u kosten voor uitgaande gegevens van de cloudprovider wilt voorkomen. Azure Data Lake Storage Gen2 is geschikt voor de meeste andere gebruiksvoorbeelden. Zie Kosten voor uitgaand verkeer van Delta Sharing bewaken en beheren (voor providers) en Een opslagreferentie maken om verbinding te maken met Azure Data Lake Storage Gen2.

Als u een R2-bucket wilt gebruiken als opslaglocatie voor gegevens die worden beheerd door Unity Catalog, moet u een opslagreferentie maken die toegang tot de R2-bucket autoriseert en een externe locatie maakt die verwijst naar de opslagreferentie en het bucketpad:

  • Storage credentials omvatten een langetermijngegevens voor de cloud die toegang biedt tot cloudopslag.
  • Externe locaties bevatten een verwijzing naar een opslagreferentie en een cloudopslagpad.

Dit artikel is gericht op het maken van een opslagreferentie.

Zie toegang tot cloudopslag beheren met behulp van Unity Catalogvoor meer informatie.

Vereisten

  • Databricks-werkruimte ingeschakeld voor Unity Catalog.

  • Databricks Runtime 14.3 of hoger, of SQL Warehouse 2024.15 of hoger.

    Als u het foutbericht No FileSystem for scheme "r2”krijgt, bevindt uw berekening zich waarschijnlijk op een niet-ondersteunde versie.

  • Cloudflare-account. Zie https://dash.cloudflare.com/sign-up.

  • Cloudflare R2-beheerdersrol. Raadpleeg de documentatie over Cloudflare-rollen.

  • CREATE STORAGE CREDENTIAL privilege op de Unity Catalog metastore gekoppeld aan de werkomgeving. Accountbeheerders en metastore-beheerders hebben deze bevoegdheid standaard.

Een R2-bucket configureren

  1. Maak een Cloudflare R2-bucket.

    U kunt het Cloudflare-dashboard of het hulpprogramma Cloudflare Wrangler gebruiken.

    Zie de documentatie Cloudflare R2 'Get started' of de Wrangler-documentatie.

  2. Maak een R2 API-token en pas dit toe op de bucket.

    Raadpleeg de documentatie voor Cloudflare R2-API-verificatie.

    Set de volgende tokeneigenschappen:

    • Machtigingen: Object lezen en schrijven.

      Deze machtiging verleent lees- en schrijftoegang, die vereist is wanneer u R2-opslag als replicatiedoel gebruikt, zoals beschreven in Cloudflare R2-replica's gebruiken of opslag migreren naar R2.

      Als u alleen-lezentoegang van Azure Databricks wilt afdwingen naar de R2-bucket, kunt u in plaats daarvan een token maken dat alleen-lezentoegang verleent. Dit kan echter onnodig zijn, omdat u de opslagreferentie kunt markeren als alleen-lezen en alle schrijftoegang die door deze machtiging wordt verleend, wordt genegeerd.

    • (optioneel) TTL-: de tijdsduur die u wilt dat de bucketgegevens gedeeld worden met de gegevens recipients.

    • (optioneel) IP-adressenfiltering van clients: Select indien u netwerktoegang wilt filteren tot specifieke IP-adressen van ontvangers limit. Als deze optie is ingeschakeld, moet u het IP-adres van uw recipientsopgeven en moet u het NAT-IP-adres van het Databricks-besturingsvlak voor de werkruimteregio toestaan.

    Zie azure Databricks-besturingsvlakadressen.

  3. Kopieer het R2 API-token values:

    • Toegangssleutel-id
    • Geheime toegangssleutel

    Belangrijk

    Token values wordt slechts één keer weergegeven.

  4. Ga op de startpagina van R2 naar Accountgegevens en kopieer de R2-account-id.

De opslagreferentie maken

  1. Meld u in Azure Databricks aan bij uw werkruimte.

  2. Klik op Catalog pictogramCatalog.

  3. Klik op de pagina Snelle toegang op de knop Externe gegevens >, ga naar het tabblad Credentials en selectReferentie maken.

  4. Select Opslagreferentie.

  5. Select een referentietype van Cloudflare API-token.

  6. Voer een naam in voor de referentie en de volgende values die u hebt gekopieerd toen u de R2-bucket hebt geconfigureerd:

    • Account-id
    • Toegangssleutel-id
    • Geheime toegangssleutel

  7. (Optioneel) Als u wilt dat gebruikers alleen-lezentoegang hebben tot de externe locaties die gebruikmaken van deze opslagreferentie, kunt u in geavanceerde optiesselectalleen-lezen.

    select deze optie niet als u de opslagreferentie wilt gebruiken voor toegang tot R2-opslag die u als replicatiedoel gebruikt, zoals beschreven in Cloudflare R2-replica's gebruiken of opslag migreren naar R2.

    Zie Een opslagreferentie markeren als alleen-lezen voor meer informatie.

  8. Klik op Create.

  9. Kopieer de externe id in het dialoogvenster Opslagreferentie dat is gemaakt.

  10. (Optioneel) Koppel de opslagreferentie aan specifieke werkruimten.

    Standaard kan een opslagreferentie worden gebruikt door elke bevoegde gebruiker in elke werkruimte die is gekoppeld aan de metastore. Als u alleen toegang vanuit specifieke werkruimten wilt toestaan, gaat u naar het tabblad Werkruimten en wijst u werkruimten toe. Zie (Optioneel) Een opslagreferentie toewijzen aan specifieke werkruimten.

Volgende stap: de externe locatie maken

Zie Een externe locatie maken om cloudopslag te verbinden met Azure Databricks.