Condividi tramite

Che cos'è Delta Sharing?

  • Articolo

Questo articolo presenta Delta Sharing in Azure Databricks, la piattaforma di condivisione dei dati sicura che consente di condividere dati e risorse di IA in Azure Databricks con utenti esterni all'organizzazione, indipendentemente dal fatto che tali utenti usino o meno Databricks. Delta Sharing è anche la base per Databricks Marketplace, un forum aperto per lo scambio di prodotti dati, e per Clean Rooms, un ambiente sicuro che protegge la privacy, dove più parti possono collaborare su dati aziendali sensibili.

Delta Sharing è disponibile anche come progetto open-source che puoi utilizzare per condividere tabelle Delta da altre piattaforme.

Nota

Per informazioni su come accedere ai dati condivisi con l'utente usando la condivisione Delta, vedere Accedere ai dati condivisi con l'utente usando la condivisione Delta (per i destinatari).

Come funziona Delta Sharing?

Delta Sharing è un protocollo aperto sviluppato da Azure Databricks per la condivisione sicura dei dati con altre organizzazioni, indipendentemente dalle piattaforme di elaborazione usate.

Esistono tre modi per condividere i dati usando Delta Sharing:

  1. Il protocollo di condivisione da Databricks a Databricks, che consente di condividere i dati e gli asset di intelligenza artificiale dall'area di lavoro abilitata per Unity Catalog con utenti che hanno anche accesso a un'area di lavoro Databricks abilitata per Unity Catalog.

    Questo approccio usa il server Delta Sharing integrato in Azure Databricks. Supporta alcune funzionalità di condivisione Delta non supportate negli altri protocolli, tra cui la condivisione dei notebook, la condivisione dei volumi del Unity Catalog, la condivisione dei modelli di intelligenza artificiale del Unity Catalog, la governance dei dati del Unity Catalog, la revisione e il rilevamento dell'utilizzo per provider e destinatari. L'integrazione con Unity Catalog semplifica la configurazione e la governance sia per i provider che per i destinatari e migliora le prestazioni.

    Consulta Condivisione dei dati utilizzando il protocollo Delta Sharing Databricks-to-Databricks (per i fornitori).

  2. Il protocollo di condivisione aperto di Databricks, che consente di condividere dati tabulari gestiti in un'area di lavoro databricks abilitata per Unity Catalog con gli utenti in qualsiasi piattaforma di elaborazione.

    Questo approccio usa il server di condivisione delta integrato in Azure Databricks ed è utile quando si gestiscono i dati usando Unity Catalog e si vuole condividerlo con gli utenti che non usano Databricks o non hanno accesso a un'area di lavoro di Databricks abilitata per Unity Catalog. L'integrazione con Unity Catalog sul lato provider semplifica la configurazione e la governance per i provider.

    Vedi Condividere i dati usando Delta Sharing open protocol di condivisione (per i provider).

  3. Implementazione gestita dal cliente del server di Delta Sharing open source, che consente di condividere da qualsiasi piattaforma a qualsiasi piattaforma, indipendentemente da Databricks.

    La documentazione di Azure Databricks non illustra le istruzioni per configurare il proprio server di Delta Sharing. Vedere github.com/delta-io/delta-sharing.

architettura di accesso ai dati Delta Sharing.

Azioni, provider e destinatari

I concetti principali della Condivisione Delta in Azure Databricks sono condivisioni, provider , e destinatari .

Che cos'è una condivisione?

In Delta Sharing, una condivisione è una raccolta di sola lettura di tabelle e partizioni di tabella che un provider desidera condividere con uno o più destinatari. Se il destinatario usa un'area di lavoro databricks abilitata per Unity Catalog, è anche possibile includere file di notebook, visualizzazioni (incluse visualizzazioni dinamiche che limitano l'accesso a livello di riga e colonna), volumi del catalogo Unity e modelli di Catalogo Unity in una condivisione.

È possibile aggiungere o rimuovere tabelle, viste, volumi, modelli e file di notebook da una condivisione in qualsiasi momento ed è possibile assegnare o revocare l'accesso del destinatario dei dati a una condivisione in qualsiasi momento.

In un'area di lavoro di Azure Databricks abilitata per Unity Catalog, una condivisione è un oggetto di sicurezza registrato in Unity Catalog. Se si rimuove una condivisione dal metastore del catalogo Unity, tutti i destinatari di tale condivisione perdono la possibilità di accedervi.

Consulta Creare e gestire condivisioni per la Condivisione Delta.

Che cos'è un provider?

Un provider è un'entità che condivide i dati con un destinatario. Se si è un provider e si vuole sfruttare il server di condivisione Delta di Databricks predefinito e gestire condivisioni e destinatari usando Unity Catalog, è necessaria almeno un'area di lavoro di Azure Databricks abilitata per Unity Catalog. Non è necessario eseguire la migrazione di tutte le aree di lavoro esistenti a Unity Catalog. È sufficiente creare una nuova area di lavoro compatibile con Unity Catalog per le esigenze di condivisione Delta.

Se un destinatario si trova in un'area di lavoro Databricks abilitata per Unity Catalog, il provider è anche un oggetto sicuro di Unity Catalog che rappresenta l'organizzazione del provider e associa l'organizzazione con il set di condivisioni.

Che cos'è un destinatario?

Un destinatario è un'entità che riceve azioni da un provider. In Unity Catalog, una condivisione è un oggetto proteggibile che rappresenta un'organizzazione e lo associa a una credenziale o a un identificatore di condivisione sicura che consente all'organizzazione di accedere a una o più condivisioni.

In qualità di provider di dati (condivisore), è possibile definire più destinatari per qualsiasi metastore di Unity Catalog, ma se si desidera condividere dati da più metastore con un determinato utente o gruppo di utenti, è necessario definire il destinatario separatamente per ogni metastore. Un destinatario può avere accesso a più condivisioni.

Se un provider elimina un destinatario dal loro metastore di Unity Catalog, il destinatario perde l'accesso a tutte le condivisioni a cui poteva accedere in precedenza.

Consultare Creare e gestire i destinatari dei dati per Delta Sharing.

Condivisione aperta e condivisione da Databricks a Databricks

Questa sezione descrive i due protocolli per la condivisione da un'area di lavoro di Databricks abilitata per Unity Catalog.

Nota

Questa sezione presuppone che il provider si trova in un'area di lavoro di Azure Databricks abilitata per Unity Catalog. Per informazioni sulla configurazione di un server di condivisione Delta open source da condividere da una piattaforma non Databricks o da un'area di lavoro non Unity Catalog, vedere github.com/delta-io/delta-sharing.

Il modo in cui un provider usa Delta Sharing in Azure Databricks dipende dall'utente con cui condividono i dati:

  • La condivisione aperta consente di condividere i dati con qualsiasi utente, indipendentemente dal fatto che abbiano o meno accesso ad Azure Databricks.
  • La condivisione tra Databricks consente di condividere dati con utenti di Azure Databricks la cui area di lavoro è collegata a un metastore di Unity Catalog differente dal proprio. La condivisione da Databricks a Databricks supporta anche la condivisione di notebook, volume e modelli, non disponibile nella condivisione aperta.

Che cos'è Delta Sharing aperta?

Se si vogliono condividere dati con utenti esterni all'area di lavoro di Azure Databricks, indipendentemente dal fatto che usino Databricks, è possibile usare Delta Sharing aperta per condividere i dati in modo sicuro. I provider di dati generano un token e lo condividono in modo sicuro con il destinatario. Usano il token per autenticarsi e ottenere l'accesso in lettura alle tabelle incluse nelle condivisioni a cui è stato concesso loro l'accesso.

I destinatari possono accedere ai dati condivisi usando molti strumenti di calcolo e piattaforme, tra cui:

  • Azure Databricks
  • Apache Spark
  • Pandas
  • Power BI

Per un elenco completo dei connettori di Delta Sharing e informazioni su come usarli, vedere la documentazione Delta Sharing.

Vedere anche Condividere i dati usando il protocollo di condivisione Delta Sharing (per i provider).

Che cos'è Delta Sharing da Databricks a Databricks?

Se si vogliono condividere dati con utenti che hanno un'area di lavoro di Databricks abilitata per Unity Catalog, è possibile utilizzare la funzionalità Databricks-to-Databricks Delta Sharing. La condivisione da Databricks a Databricks consente di condividere dati con gli utenti in altri account Databricks, indipendentemente che si trovino in AWS, Azure o GCP. È anche un ottimo modo per condividere in modo sicuro i dati tra diversi metastore di Unity Catalog nel proprio account Databricks. Si noti che non è necessario usare la condivisione delta per condividere i dati tra aree di lavoro collegate allo stesso metastore del catalogo Unity, perché in questo scenario è possibile usare Il catalogo Unity stesso per gestire l'accesso ai dati tra aree di lavoro.

Uno dei vantaggi della condivisione da Databricks a Databricks è che il destinatario della condivisione non necessita di un token per accedere alla condivisione e il provider non deve gestire i token dei destinatari. La sicurezza della connessione di condivisione, inclusi verifica dell'identità, autenticazione e controllo, viene gestita interamente tramite Delta Sharing e la piattaforma Databricks. Un altro vantaggio è la possibilità di condividere file di notebook di Databricks, visualizzazioni, volumi del Catalogo Unity e modelli del Catalogo Unity.

Consulta anche Condividere dati usando il protocollo Delta Sharing Databricks-a-Databricks (per i fornitori).

In che modo gli amministratori del provider configurano la condivisione Delta?

Questa sezione offre una panoramica del modo in cui i provider possono abilitare la Condivisione Delta e avviare la condivisione da un'area di lavoro di Azure Databricks con Unity Catalog abilitato. Per Delta Sharing open source, vedere github.com/delta-io/delta-sharing.

La condivisione da Databricks a Databricks tra i metastore di Unity Catalog nello stesso account è sempre abilitata. Se si è un provider che vuole abilitare Delta Sharing per condividere dati con le aree di lavoro di Databricks in altri account o client non Databricks, un amministratore dell'account Azure Databricks o un amministratore del metastore esegue i passaggi di configurazione seguenti (a livello generale):

  1. Abilitare Delta Sharing per il metastore di Unity Catalog che gestisce i dati che si desidera condividere.

    Nota

    Non è necessario abilitare la condivisione Delta nel metastore se si intende usare la condivisione Delta per condividere i dati solo con gli utenti di altri metastore di Unity Catalog nell'account. La condivisione da metastore a metastore all'interno di un singolo account Azure Databricks è abilitata per impostazione predefinita.

    Consultare la sezione Abilitare Delta Sharing in un metastore.

  2. Creare una condivisione che includa gli asset di dati registrati nel metastore di Unity Catalog.

    Se si condivide con un destinatario esterno a Databricks (noto come condivisione aperta) è possibile includere tabelle nei formati Delta o Parquet. Se si prevede di usare condivisione da Databricks a Databricks, è anche possibile aggiungere visualizzazioni, volumi di Unity Catalog, modelli di Unity Catalog e file di notebook a una condivisione.

    Consulta Creare e gestire condivisioni per la Condivisione Delta.

  3. Creare un destinatario.

    Consultare Creare e gestire i destinatari dei dati per Delta Sharing.

    Se il destinatario non è un utente di Databricks o non ha accesso a un'area di lavoro di Databricks abilitata per Unity Catalog, è necessario usare condivisione aperta. Per tale destinatario viene generato un set di credenziali basate su token.

    Se il destinatario ha accesso a un'area di lavoro di Databricks abilitata per Unity Catalog, è possibile usare condivisione da Databricks a Databrickse non sono necessarie credenziali basate su token. È necessario richiedere un identificatore di condivisione dal destinatario e usarlo per stabilire la connessione sicura.

    Suggerimento

    Usare se stessi come destinatario di prova per provare il processo di configurazione.

  4. Concedere al destinatario l'accesso a una o più condivisioni.

    Vedere Gestire l'accesso alle condivisioni di dati Delta Sharing (per i provider).

    Nota

    Questo passaggio può essere eseguito anche da un utente non amministratore con privilegi USE SHARE, USE RECIPIENT e SET SHARE PERMISSION. Vedere i privilegi e gli oggetti proteggibili di Unity Catalog.

  5. Inviare al destinatario le informazioni necessarie per connettersi alla condivisione (soltanto condivisione aperta).

    Vedere Inviare al destinatario le informazioni di connessione.

    Per la condivisione aperta, usare un canale sicuro per inviare al destinatario un collegamento di attivazione che consente di scaricare le credenziali basate su token.

    Per la condivisione da Databricks a Databricks, i dati inclusi nella condivisione diventano disponibili nell'area di lavoro Databricks del destinatario non appena si concede loro l'accesso alla condivisione.

Ora, il destinatario può accedere ai dati condivisi.

In che modo i destinatari accedono ai dati condivisi?

I destinatari accedono agli asset di dati condivisi in formato di sola lettura. I file di notebook condivisi sono di sola lettura, ma possono essere clonati e quindi modificati ed eseguiti nell'area di lavoro del destinatario esattamente come qualsiasi altro notebook.

L'accesso sicuro dipende dal modello di condivisione:

Ogni volta che il provider di dati aggiorna tabelle dati o volumi nel proprio account Databricks, gli aggiornamenti vengono visualizzati quasi in tempo reale nel sistema del destinatario.

Come si tiene traccia di chi condivide e accede ai dati condivisi?

I fornitori di dati negli spazi di lavoro di Azure Databricks con Unity Catalog abilitato possono utilizzare la registrazione di controllo e le tabelle di sistema di Azure Databricks per monitorare la creazione e la modifica delle condivisioni e dei destinatari e possono monitorare l'attività dei destinatari sulle condivisioni. Vedere Controllare e monitorare la condivisione dei dati.

I destinatari dei dati che usano dati condivisi in un'area di lavoro di Databricks possono usare la registrazione di controllo e le tabelle di sistema di Databricks per comprendere chi accede ai dati. Vedere Controllare e monitorare la condivisione dei dati.

Condivisione di volumi

È possibile condividere i volumi usando il flusso di condivisione da Databricks a Databricks. Vedere Aggiungere volumi a una condivisione (per i provider) e Leggere i dati condivisi tramite la condivisione Databricks-to-Databricks Delta (per i destinatari).

Condivisione di modelli

È possibile condividere modelli usando il flusso di condivisione da Databricks a Databricks. Vedere Aggiungere modelli a una condivisione (per i provider) e Leggere i dati condivisi utilizzando Databricks-to-Databricks Delta Sharing (per i destinatari) (per i destinatari).

Condivisione di notebook

È possibile usare Delta Sharing per condividere file di notebook usando il flusso di condivisione da Databricks a Databricks. Vedere Aggiungere file di notebook a una condivisione (per i fornitori) e Leggere i notebook condivisi (per i destinatari).

Limitazione dell'accesso a livello di riga e colonna

È possibile condividere visualizzazioni dinamiche che limitano l'accesso a determinati dati di tabella in base alle proprietà del destinatario. La condivisione dinamica della visualizzazione richiede il flusso di condivisione da Databricks a Databricks. Consulta Aggiungi visualizzazioni dinamiche a una condivisione per filtrare righe e colonne.

Delta Sharing e streaming

Delta Sharing supporta Structured Streaming di Spark. Un provider può condividere una tabella con la cronologia in modo che un destinatario possa usarlo come origine Structured Streaming, elaborando i dati condivisi in modo incrementale con bassa latenza. I destinatari possono anche eseguire query di viaggio in tempo Delta Lake nelle tabelle condivise con la cronologia.

Per informazioni su come condividere tabelle con cronologia, vedere Aggiungere tabelle a una condivisione. Per informazioni su come usare le tabelle condivise come origini di streaming, vedere Eseguire una query su una tabella usando Apache Spark Structured Streaming (per i destinatari della condivisione da Databricks a Databricks) o Accedere a una tabella condivisa usando Spark Structured Streaming (per i destinatari della condivisione dei dati aperta).

Vedere anche Streaming su Azure Databricks.

Matrice di supporto delle funzionalità Delta Lake

La condivisione Delta supporta la maggior parte delle funzionalità di Delta Lake quando si condivide una tabella. Questa matrice di supporto elenca:

  • Funzionalità delta che richiedono versioni specifiche di Databricks Runtime, il connettore Spark per Delta Sharing in open source o il connettore Python per Delta Sharing in open source.
  • Funzionalità parzialmente supportate.
Funzionalità Provider Destinatario di Databricks Destinatario in open source
Vettori di eliminazione La condivisione di tabelle con questa funzionalità è disponibile in anteprima pubblica. - Databricks Runtime 14.1+ per le query batch
- Databricks Runtime 14.2+ per CDF e query di streaming		 - Connettore Spark di Delta Sharing 3.1+
- Connettore Python di Delta Sharing 1.1.0+
- Power BI v2.132.908.0+
Mappatura delle colonne La condivisione di tabelle con questa funzionalità è disponibile in anteprima pubblica. - Databricks Runtime 14.1+ per le query batch
- Databricks Runtime 14.2+ per CDF e query di streaming		 - Connettore Spark di Delta Sharing 3.1+
- Connettore Python di Delta Sharing 1.1.0+
- Power BI v2.132.908.0+
Formato Uniform La condivisione di tabelle con questa funzionalità è disponibile in anteprima pubblica. - Databricks Runtime 14.1+ per le query batch
- Databricks Runtime 14.2+ per CDF e query di streaming		 - Connettore Spark di Delta Sharing 3.1+
- Connettore Python di Delta Sharing 1.1.0+
- Power BI v2.132.908.0+
Checkpoint V2 Supportato con limitazioni Supportato con limitazioni Supportato con limitazioni
TimestampNTZ Supportata Databricks Runtime 14.1+ Connettore Spark di Delta Sharing 3.3+
Clustering liquido Supportato con limitazioni Supportato con limitazioni Supportato con limitazioni

Domande frequenti su Delta Sharing

Di seguito sono riportate le domande frequenti su Delta Sharing.

Ho bisogno di Unity Catalog per usare Delta Sharing?

No, non è necessario che Unity Catalog condivida (come provider) o consumi dati condivisi (come destinatario). Tuttavia, Unity Catalog offre vantaggi come il supporto per la condivisione di asset non tabulari e di asset di intelligenza artificiale, una governance pronta all'uso, la semplicità e le prestazioni delle query.

I provider possono condividere i dati in due modi:

  • Inserire gli asset da condividere sotto la gestione del Unity Catalog e condividerli usando il server integrato Azure Databricks Delta Sharing.

    Non è necessario eseguire la migrazione di tutti gli asset al catalogo Unity. È necessaria una sola area di lavoro di Azure Databricks abilitata per Unity Catalog per gestire gli asset da condividere. In alcuni account, le nuove aree di lavoro vengono abilitate automaticamente per Il catalogo Unity. Vedere abilitazione automatica di Unity Catalog.

  • Implementare il server aperto di Delta Sharing per condividere i dati, senza necessariamente usare l'account Azure Databricks.

I destinatari possono utilizzare i dati in due modi:

  • Senza un'area di lavoro di Databricks. Usare connettori open source Delta Sharing disponibili per molte piattaforme dati, tra cui Power BI, Pandas e Apache Spark open source. Vedere Leggere i dati condivisi con Delta Sharing open sharing (per i destinatari) e il progetto open source Delta Sharing .

  • In un'area di lavoro di Databricks. Le aree di lavoro dei destinatari non devono essere abilitate per Unity Catalog, ma vi sono vantaggi in termini di governance, semplicità e prestazioni se lo sono.

    Le organizzazioni destinatari che vogliono questi vantaggi non devono eseguire la migrazione di tutti gli asset al catalogo Unity. È necessaria una sola area di lavoro di Azure Databricks abilitata per unity Catalog per gestire gli asset condivisi con l'utente. In alcuni account, le nuove aree di lavoro vengono abilitate automaticamente per Il catalogo Unity. Vedere abilitazione automatica di Unity Catalog.

Consultare Leggere i dati condivisi tramite condivisione Delta (per i destinatari) e Leggere i dati condivisi con condivisione Delta Databricks-to-Databricks (per i destinatari).

È necessario essere un cliente di Databricks per usare Delta Sharing?

No, Delta Sharing è un protocollo aperto. È possibile condividere dati non Databricks con destinatari in qualsiasi piattaforma dati. I provider possono configurare un server di condivisione Delta aperto da condividere da qualsiasi piattaforma di elaborazione. I destinatari possono usare dati condivisi usando connettori open source di condivisione Delta per molti prodotti dati, tra cui Power BI, pandas e Spark open source.

Tuttavia, l'uso della condivisione delta in Azure Databricks, in particolare la condivisione da un'area di lavoro abilitata per Unity Catalog, presenta molti vantaggi.

Per dettagli, vedere la prima domanda in queste domande frequenti.

Delta Sharing comporta costi in uscita?

Delta Sharing all'interno di un'area non comporta alcun costo in uscita. A differenza di altre piattaforme di condivisione dati, Delta Sharing non richiede la replica dei dati. Questo modello presenta molti vantaggi, ma significa che il fornitore del cloud può addebitare costi di uscita ai dati quando si condividono i dati tra cloud o aree. Azure Databricks supporta la condivisione da Cloudflare R2, che non comporta costi in uscita e fornisce altri strumenti e raccomandazioni per monitorare ed evitare costi in uscita. Consulta Monitorare e gestire i costi di uscita della condivisione delta (per i provider).

I provider possono revocare l'accesso ai destinatari?

Sì, l'accesso ai destinatari può essere revocato su richiesta e a livelli di granularità specificati. È possibile negare l'accesso dei destinatari a condivisioni specifiche e indirizzi IP specifici, filtrare i dati tabulari per un destinatario, revocare i token dei destinatari ed eliminare completamente i destinatari. Consultare Revocare l'accesso del destinatario a una condivisione e Creare e gestire i destinatari dei dati per Delta Sharing.

È sicuro usare URL prefirmati?

Delta Sharing usa URL prefirmati per fornire l'accesso temporaneo a un file nell'archivio oggetti. Vengono assegnati solo ai destinatari che hanno già accesso ai dati condivisi. Sono sicuri perché sono di breve durata e non espandono il livello di accesso oltre quello che è già stato loro concesso.

I token che vengono usati nel protocollo di condivisione aperta di Delta Sharing sono sicuri?

Poiché Delta Sharing abilita la condivisione multipiattaforma, a differenza di altre piattaforme di condivisione dei dati disponibili, il protocollo di condivisione richiede un token aperto. I provider possono garantire la sicurezza dei token configurando la durata del token, impostando i controlli di rete e revocando l'accesso su richiesta. Inoltre, il token non espande il livello di accesso oltre quello che i destinatari hanno già ricevuto. Vedere Considerazioni relative alla sicurezza per i token.

Se si preferisce non usare token per gestire l'accesso alle condivisioni con i destinatari, dovresti usare condivisione da Databricks a Databricks o contattare il team dell'account Databricks per ottenere alternative.

Delta Sharing supporta la condivisione delle visualizzazioni?

Sì, Delta Sharing supporta la condivisione delle visualizzazioni. Consulta Aggiungi visualizzazioni a una condivisione.

Per informazioni sui miglioramenti pianificati per la visualizzazione della condivisione, contattare il team dell'account Databricks.

Limitazioni

Vedere anche Matrice di supporto delle funzionalità Delta Lake.

Quote di risorse

Azure Databricks applica le quote di risorse in tutti gli oggetti a protezione diretta di Delta Sharing. Queste quote sono elencate in Limiti delle risorse. Se si prevede di superare questi limiti di risorse, contattare il team dell'account Azure Databricks.

È possibile monitorare l'utilizzo delle quote usando le API delle quote delle risorse di Unity Catalog. Consulta Monitora l'utilizzo delle quote di risorse del catalogo Unity.

Passaggi successivi