Creare credenziali di archiviazione per la connessione a Cloudflare R2

Questo articolo descrive come creare credenziali di archiviazione nel catalogo unity per connettersi a Cloudflare R2. L'archiviazione di oggetti R2 cloudflare non comporta costi in uscita. La replica o la migrazione dei dati condivisi in R2 consente di condividere dati tra cloud e aree senza incorrere in costi in uscita.

Nota

Unity Catalog supporta due opzioni di archiviazione cloud per Azure Databricks: contenitori di Azure Data Lake Storage Gen2 e bucket Cloudflare R2. Cloudflare R2 è destinato principalmente ai casi d'uso di condivisione delta in cui si vogliono evitare costi di uscita dei dati del provider di servizi cloud. Azure Data Lake Storage Gen2 è appropriato per la maggior parte degli altri casi d'uso. Vedere Monitorare e gestire i costi di uscita della condivisione delta (per i provider) e Creare credenziali di archiviazione per la connessione ad Azure Data Lake Storage Gen2.

Per usare un bucket R2 come posizione di archiviazione per i dati gestiti da Unity Catalog, è necessario creare una credenziale di archiviazione che autorizza l'accesso al bucket R2 e creare una posizione esterna che faccia riferimento alle credenziali di archiviazione e al percorso del bucket:

• Le credenziali di archiviazione incapsulano una credenziale cloud a lungo termine che fornisce l'accesso all'archiviazione cloud.
• Le posizioni esterne contengono un riferimento a una credenziale di archiviazione e a un percorso di archiviazione cloud.

Questo articolo è incentrato sulla creazione di credenziali di archiviazione.

Per altre informazioni, vedere Gestire l'accesso all'archiviazione cloud usando il catalogo unity.

Requisiti

• Area di lavoro di Databricks abilitata per il catalogo Unity.

• Databricks Runtime 14.3 o versione successiva o SQL Warehouse 2024.15 o versione successiva.

  Se viene visualizzato il messaggio No FileSystem for scheme "r2”di errore , il calcolo è probabilmente in una versione non supportata.

• Account Cloudflare. Vedere https://dash.cloudflare.com/sign-up.

• Ruolo di amministratore di Cloudflare R2. Vedere la documentazione dei ruoli cloudflare.

• Privilegio CREATE STORAGE CREDENTIAL nel metastore del catalogo Unity collegato all'area di lavoro. Gli amministratori dell'account e gli amministratori del metastore hanno questo privilegio per impostazione predefinita.

Configurare un bucket R2

1. Creare un bucket Cloudflare R2.

   È possibile usare il dashboard Cloudflare o lo strumento Cloudflare Wrangler.

   Vedere la documentazione di Cloudflare R2 "Introduzione" o la documentazione di Wrangler.

2. Creare un token API R2 e applicarlo al bucket.

   Vedere la documentazione sull'autenticazione dell'API Cloudflare R2.

   Impostare le proprietà del token seguenti:

   • Autorizzazioni: lettura e scrittura dell'oggetto.

     Questa autorizzazione concede l'accesso in lettura e scrittura, necessario quando si usa l'archiviazione R2 come destinazione di replica, come descritto in Usare repliche Cloudflare R2 o eseguire la migrazione dell'archiviazione a R2.

     Se si vuole applicare l'accesso in sola lettura da Azure Databricks al bucket R2, è invece possibile creare un token che concede l'accesso in sola lettura. Tuttavia, ciò potrebbe non essere necessario, perché è possibile contrassegnare le credenziali di archiviazione come di sola lettura e qualsiasi accesso in scrittura concesso da questa autorizzazione verrà ignorato.

   • (Facoltativo) TTL: periodo di tempo in cui si desidera condividere i dati del bucket con i destinatari dei dati.

   • (Facoltativo) Filtro indirizzi IP client: selezionare se si vuole limitare l'accesso di rete agli indirizzi IP del destinatario specificati. Se questa opzione è abilitata, è necessario specificare gli indirizzi IP dei destinatari ed è necessario consentire l'elenco dell'indirizzo IP NAT del piano di controllo Databricks per l'area di lavoro.

   Vedere Indirizzi del piano di controllo di Azure Databricks.

3. Copiare i valori del token API R2:

   • ID Chiave di Accesso
   • Chiave di accesso Privata

   Importante

   I valori del token vengono visualizzati una sola volta.

4. Nella home page di R2 passare a Dettagli account e copiare l'ID account R2.

Creare le credenziali di archiviazione

1. In Azure Databricks accedere all'area di lavoro.

2. Fare clic su Catalogo.

3. Nella pagina Accesso rapido fare clic sul pulsante Dati >esterni, passare alla scheda Credenziali e selezionare Crea credenziali.

4. Selezionare Credenziali di archiviazione.

5. Selezionare un tipo di credenziale del token API Cloudflare.

6. Immettere un nome per le credenziali e i valori seguenti copiati durante la configurazione del bucket R2:

   • ID account
   • ID chiave di accesso
   • Chiave di accesso privata

7. (Facoltativo) Se si vuole che gli utenti abbiano accesso in sola lettura ai percorsi esterni che usano questa credenziale di archiviazione, in Opzioni avanzate selezionare Sola lettura.

   Non selezionare questa opzione se si vuole usare le credenziali di archiviazione per accedere all'archiviazione R2 usata come destinazione di replica, come descritto in Usare repliche Cloudflare R2 o eseguire la migrazione dell'archiviazione a R2.

   Per altre informazioni, vedere Contrassegnare le credenziali di archiviazione come di sola lettura.

8. Cliccare su Crea.

9. Nella finestra di dialogo Credenziali di archiviazione create copiare l'ID esterno.

10. (Facoltativo) Associare le credenziali di archiviazione a aree di lavoro specifiche.

    Per impostazione predefinita, una credenziale di archiviazione può essere usata da qualsiasi utente con privilegi in qualsiasi area di lavoro collegata al metastore. Se si vuole consentire l'accesso solo da aree di lavoro specifiche, passare alla scheda Aree di lavoro e assegnare le aree di lavoro. Vedere (Facoltativo) Assegnare credenziali di archiviazione a aree di lavoro specifiche.

Passaggio successivo: creare la posizione esterna

Si veda Creare una posizione esterna per connettere la memorizzazione cloud ad Azure Databricks.