Delen via

Wat is Delta Sharing?

  • Artikel

In dit artikel maakt u kennis met Delta Sharing in Azure Databricks, het beveiligde platform voor gegevensdeling waarmee u gegevens en AI-assets kunt delen in Azure Databricks met gebruikers buiten uw organisatie, ongeacht of deze gebruikers Databricks gebruiken of niet. Delta Sharing is ook de basis voor Databricks Marketplace, een open forum voor het uitwisselen van gegevensproducten en Clean Rooms, een veilige en privacybeveiligde omgeving where meerdere partijen kunnen samenwerken aan gevoelige bedrijfsgegevens.

Delta Delen is ook beschikbaar als een opensource-project dat u kunt gebruiken om Delta-tables te delen vanaf andere platforms.

Notitie

Zie Gegevens openen die met u zijn gedeeld met Delta Sharing (voor recipients)om te leren hoe u toegang krijgt tot gegevens die met u zijn gedeeld.

Hoe werkt Delta Sharing?

Delta Sharing is een open protocol dat door Databricks is ontwikkeld voor het veilig delen van gegevens met andere organisaties, ongeacht de computerplatforms die ze gebruiken.

Er zijn drie manieren om gegevens te delen met Delta Sharing:

  1. Het Databricks-to-Databricks-protocol voor delen, waarmee u gegevens en AI-assets kunt delen vanuit uw Unity Catalog-werkruimte met ingeschakelde gebruikers die ook toegang hebben tot een Databricks-werkruimte met Unity Catalog.

    Deze benadering maakt gebruik van de Delta Sharing-server die is ingebouwd in Azure Databricks. Het ondersteunt enkele Delta Sharing-functies die niet worden ondersteund in de andere protocollen, waaronder delen van notitieblokken, Unity Catalog volume delen, Unity Catalog AI-model delen, Unity Catalog gegevensbeheer, controle en gebruik bijhouden voor zowel providers als recipients. De integratie met Unity Catalog vereenvoudigt de installatie en governance voor zowel providers als recipients en verbetert de prestaties.

    Zie gegevens delen met behulp van het Delta Sharing Databricks-to-Databricks-protocol (voor providers).

  2. Het Open Sharing-protocol van Databricks, waarmee u tabellaire gegevens kunt delen die u beheert in een Unity CatalogDatabricks-werkruimte met gebruikers op elk computerplatform.

    Deze benadering maakt gebruik van de Delta Sharing-server die is ingebouwd in Azure Databricks en is handig wanneer u gegevens beheert met behulp van Unity Catalog en deze wilt delen met gebruikers die geen Databricks gebruiken of geen toegang hebben tot een Databricks-werkruimte met Unity Catalog. De integratie met Unity Catalog aan de providerzijde vereenvoudigt de installatie en governance voor providers.

    Zie Gegevens delen met behulp van het open sharing-protocol van Delta Sharing (voor providers).

  3. Een door de klant beheerde implementatie van de opensource Delta Sharing-server, waarmee u kunt delen van elk platform naar elk platform, ongeacht of Databricks of niet.

    De Documentatie van Azure Databricks bevat geen instructies voor het instellen van uw eigen Delta Sharing-server. Zie github.com/delta-io/delta-sharing.

Delta Sharing-architectuur voor gegevenstoegang.

Shares, providersen recipients

De belangrijkste concepten voor deltadeling in Azure Databricks zijn shares, providersen recipients.

Wat is een share?

In Delta Sharing is een share- een verzameling alleen-lezen partities van tables en table die een provider wil delen met een of meer recipients. Als uw ontvanger gebruikmaakt van een Databricks-werkruimte met Unity Catalog, kunt u ook notebookbestanden, views (inclusief dynamische views die de toegang beperken op rij- en column niveau), Unity-Catalogvolumesen Unity-Catalog-modellen in een share opnemen.

U kunt op elk gewenst moment remove,tables, views, volumes, modellen en notitieblokbestanden toevoegen vanuit een share, en u kunt op elk gewenst moment gegevensontvangerstoegang toewijzen of revoke.

In een Azure Databricks-werkruimte die door Unity Catalogwordt ondersteund, is een share een te beveiligen object dat is geregistreerd in Unity Catalog. Als u een share uit uw Unity Catalog metastore remove, verliezen alle recipients van die share de mogelijkheid om deze te openen.

Zie Maken en beheren van shares voor Delta Sharing.

Wat is een provider?

Een provider is een entiteit die gegevens shares met een ontvanger. Als u een provider bent en u wilt profiteren van de ingebouwde Databricks Delta Sharing-server en shares en recipients beheert met behulp van Unity Catalog, hebt u ten minste één Azure Databricks-werkruimte nodig die is ingeschakeld voor Unity Catalog. U hoeft niet al uw bestaande werkruimten te migreren naar Unity Catalog. U kunt gewoon een nieuwe Unity-Catalog-werkruimte maken voor uw Delta Sharing-behoeften.

Als een ontvanger zich in een Databricks-werkruimte met Unity Catalogbevindt, is de provider ook een Unity-Catalog beveiligbaar object dat de providerorganisatie vertegenwoordigt en die organisatie koppelt aan een set van shares.

Wat is een ontvanger?

Een ontvanger is een entiteit die shares van een provider ontvangt. In Unity Catalogis een share een beveiligbaar object dat een organisatie vertegenwoordigt en deze koppelt aan een bewijs van bevoegdheid of beveiligde deelmogelijkheid identifier waarmee die organisatie toegang kan krijgen tot een of meer shares.

Als gegevensprovider (sharer) kunt u meerdere recipients definiëren voor een bepaalde Unity-Catalog-metastore, maar als u gegevens van meerdere metastores wilt delen met een bepaalde gebruiker of groep gebruikers, moet u de ontvanger afzonderlijk definiëren voor elke metastore. Een ontvanger heeft toegang tot meerdere shares.

Als een provider een ontvanger verwijdert uit de Unity-Catalog metastore, verliest die ontvanger de toegang tot alle shares waartoe de ontvanger voorheen toegang had.

Zie Gegevens recipients maken en beheren voor Delta Delen.

Delen openen versus delen met Databricks naar Databricks

In deze sectie worden de twee protocollen beschreven voor delen vanuit een Databricks-werkruimte die is ingeschakeld voor Unity Catalog.

Notitie

In deze sectie wordt ervan uitgegaan dat de provider zich bevindt op een Azure Databricks-werkruimte met Unity Catalogingeschakeld. Zie github.com/delta-io/delta-sharingvoor meer informatie over het instellen van een opensource Delta Sharing-server om te delen vanuit een niet-Databricks-platform of een niet-Unity-Catalog-werkruimte.

De manier waarop een provider Gebruikmaakt van Delta Sharing in Azure Databricks, is afhankelijk van met wie ze gegevens delen:

  • Met Delen openen kunt u gegevens delen met elke gebruiker, ongeacht of ze toegang hebben tot Azure Databricks.
  • Databricks-to-Databricks-delen kunt u gegevens delen met Azure Databricks-gebruikers waarvan de werkruimte is gekoppeld aan een Unity-Catalog-metastore die verschilt van die van u. Databricks-to-Databricks biedt ook ondersteuning voor het delen van notebooks, volumes en modellen, die niet beschikbaar zijn voor openen delen.

Wat is Open Delta Sharing?

Als u gegevens wilt delen met gebruikers buiten uw Azure Databricks-werkruimte, ongeacht of ze Databricks gebruiken, kunt u Delta Sharing openen om uw gegevens veilig te delen. Als gegevensprovider generate u een token en deelt u het veilig met de ontvanger. Ze gebruiken het token voor authenticatie en get leestoegang tot de tables die u hebt opgenomen in de shares waartoe u ze toegang hebt gegeven.

Recipients toegang heeft tot de gedeelde gegevens met behulp van veel computertools en platforms, waaronder:

  • Azure Databricks
  • Apache Spark
  • Pandas
  • Power BI

Zie de Delta Sharing documentatie voor een volledige lijst van list Delta Sharing-connectors en informatie over hoe u ze kunt gebruiken.

Zie ook Gegevens delen met behulp van het open sharing-protocol van Delta Sharing (voor providers).

Wat is Databricks-to-Databricks Delta Sharing?

Als u gegevens wilt delen met gebruikers met een Databricks-werkruimte die is ingeschakeld voor Unity Catalog, kunt u Databricks-to-Databricks Delta Sharing gebruiken. Met het delen van Databricks naar Databricks kunt u gegevens delen met gebruikers in andere Databricks-accounts, ongeacht of ze zich in AWS, Azure of GCP bevinden. Het is ook een uitstekende manier om gegevens veilig te delen in verschillende Unity-Catalogmetastores in uw eigen Databricks-account. Houd er rekening mee dat u Delta Sharing niet hoeft te gebruiken om gegevens te delen tussen werkruimten die zijn gekoppeld aan dezelfde Unity Catalog metastore, omdat u in dat scenario Unity Catalog zelf kunt gebruiken om de toegang tot gegevens in werkruimten te beheren.

Een voordeel van het delen van Databricks naar Databricks is dat de ontvanger van de share geen token nodig heeft om toegang te krijgen tot de share en dat de provider geen tokens voor geadresseerden hoeft te beheren. De beveiliging van de verbinding voor delen, inclusief alle identiteitsverificatie, verificatie en controle, wordt volledig beheerd via Delta Sharing en het Databricks-platform. Een ander voordeel is de mogelijkheid om Databricks-notebookbestanden, views, Unity Catalogvolumesen Unity Catalog-modellen te delen.

Raadpleeg ook Gegevens delen met behulp van het Delta Sharing Databricks-to-Databricks-protocol (voor providers).

Hoe set providerbeheerders Delta Sharing op?

In deze sectie vindt u een overzicht van hoe providers Delta Delen kunt inschakelen en delen vanuit een Unity CatalogAzure Databricks-werkruimte kunt initiëren. Zie github.com/delta-io/delta-sharing voor opensource Delta Sharing.

Databricks-to-Databricks delen tussen Unity Catalogmetastores in hetzelfde account staat altijd ingeschakeld. Als u een provider bent die Delta Sharing in staat wil stellen om gegevens te delen met Databricks-werkruimten in andere accounts of niet-Databricks-clients, voert een Azure Databricks-accountbeheerder of metastore-beheerder de volgende installatiestappen uit (op hoog niveau):

  1. Schakel Delta Sharing in voor de Unity Catalog metastore waarmee de gegevens worden beheerd die u wilt delen.

    Notitie

    U hoeft Delta Sharing niet in te schakelen in uw metastore als u Delta Sharing wilt gebruiken om alleen gegevens te delen met gebruikers op andere Unity-Catalogmetastores in uw account. Het delen van metastore-naar-metastore binnen één Azure Databricks-account is standaard ingeschakeld.

    Bekijk Delta Sharing inschakelen in een metastore.

  2. Maak een share die gegevens bevat die zijn geregistreerd in de Unity Catalog metastore.

    Als u deelt met een ontvanger die geen gebruikmaakt van Databricks (ook wel 'open sharing' genoemd) kunt u tables gebruiken in het Delta- of Parquet-formaat. Als u van plan bent om Databricks-naar-Databricks-delen te gebruiken, kunt u ook views, Unity-Catalogvolumes, Unity-Catalog-modellen en notebookbestanden toevoegen aan een share.

    Zie Maken en beheren shares voor Delta Sharing.

  3. Maak een geadresseerde.

    Zie Gegevens creëren en beheren recipients voor Delta Delen.

    Als uw ontvanger geen Databricks-gebruiker is of geen toegang heeft tot een Databricks-werkruimte die is ingeschakeld voor Unity Catalog, moet u open delengebruiken. Er wordt een set met op tokens gebaseerde credentials gegenereerd voor die ontvanger.

    Als uw ontvanger toegang heeft tot een Databricks-werkruimte die is ingeschakeld voor Unity Catalog, kunt u Databricks-to-Databricks-delengebruiken en zijn er geen op tokens gebaseerde credentials vereist. U vraagt van de ontvanger om een identifier te delen en gebruikt deze om de beveiligde verbinding tot stand te brengen.

    Tip

    Gebruik uzelf als testontvanger om het installatieproces uit te proberen.

  4. Grant geeft de ontvanger toegang tot een of meer shares.

    Zie Toegang tot Delta Sharing-gegevens beheren shares (voor providers).

    Notitie

    Deze stap kan ook worden uitgevoerd door een niet-beheerder met de USE SHAREen USE RECIPIENTSET SHARE PERMISSION bevoegdheden. Zie Unity Catalog bevoegdheden en beveiligbare objecten.

  5. Verzend de geadresseerde de informatie die ze nodig hebben om verbinding te maken met de share (alleen voor delen openen).

    Zie De ontvanger de verbindingsgegevens verzenden.

    Voor openbaar delen gebruikt u een beveiligd kanaal om de ontvanger een activeringslink te sturen waarmee zij hun tokengebaseerde credentialskunnen downloaden.

    Voor Databricks-naar-Databricks delen worden de in de share opgenomen gegevens beschikbaar in de Databricks-werkruimte van de ontvanger zodra u hen toegang tot de share grant.

De ontvanger heeft nu toegang tot de gedeelde gegevens.

Hoe krijgt recipients toegang tot de gedeelde gegevens?

Recipients toegang tot gedeelde gegevensassets in alleen-lezenindeling. Gedeelde notitieblokbestanden zijn alleen-lezen, maar ze kunnen worden gekloond en vervolgens worden gewijzigd en uitgevoerd in de werkruimte van de geadresseerde, net zoals elk ander notitieblok.

Beveiligde toegang is afhankelijk van het model voor delen:

Wanneer de gegevensprovider gegevens tables of volumes bijwerkt in hun eigen Databricks-account, verschijnen de updates vrijwel in real-time in het systeem van de ontvanger.

Hoe houdt u bij wie gedeelde en gedeelde gegevens deelt en opent?

Gegevens providers in Unity Catalog-enabled Azure Databricks-werkruimten kunnen Azure Databricks-auditlogboekregistratie en -systeem tables gebruiken om het maken en wijzigen van shares en recipientste controleren en de activiteit van ontvangers op shareste bewaken. Zie Gegevens delen controleren en bewaken.

Gegevens recipients die gebruikmaken van gedeelde gegevens in een Databricks-werkruimte, kunnen gebruikmaken van databricks-auditlogboekregistratie en -tables om te begrijpen wie toegang heeft tot welke gegevens. Zie Gegevens delen controleren en bewaken.

volumes delen

U kunt volumes delen met de Databricks-naar-Databricks-deelstroom. Zie volumes toevoegen aan een share (voor providers) en gegevens lezen die gedeeld worden met Databricks-to-Databricks Delta Sharing (voor recipients) (voor recipients).

Modellen delen

U kunt modellen delen met behulp van de Databricks-to-Databricks-stroom voor delen. Zie Modellen toevoegen aan een share- (voor providers) en Gegevens lezen die worden gedeeld met Databricks-to-Databricks Delta Sharing (voor recipients) (voor recipients).

Notitieblokken delen

U kunt Delta Sharing gebruiken om notitieblokbestanden te delen met behulp van de Databricks-naar-Databricks-stroom voor delen. Zie Notitieboekbestanden toevoegen aan share (voor providers) en Gedeelde notitieblokken lezen (voor recipients).

Toegang beperken op rij- en column niveau

U kunt dynamische views delen die op basis van eigenschappen van ontvangers de toegang tot bepaalde table gegevens beperken. Voor dynamisch delen van weergaven is de stroom voor delen van Databricks-naar-Databricks vereist. Zie Dynamische views toevoegen aan een share om rijen en columnste filteren.

Delta Delen en streamen

Delta Sharing ondersteunt Spark Structured Streaming. Een provider kan een table delen met de geschiedenis, zodat een ontvanger deze kan gebruiken als een structured streaming-bron, waarbij gedeelde gegevens incrementeel met lage latentie worden verwerkt. Recipients kunt ook Delta Lake time travel query's uitvoeren op tables gedeeld met de geschiedenis.

Zie tables toevoegen aan eenom te leren hoe je tables met geschiedenis kunt delen. Zie Een table opvragen met behulp van Apache Spark Structured Streaming (voor recipients van het delen van Databricks-naar-Databricks) of een gedeelde table openen met Spark Structured Streaming (voor recipients van open delen van gegevens). tables

Zie ook Streamen op Azure Databricks.

Ondersteuningsmatrix voor Delta Lake-functies

Delta Sharing ondersteunt de meeste Delta Lake-functies wanneer u een tabledeelt. Deze ondersteuningsmatrixlijsten:

  • Delta-functies waarvoor specifieke versies van Databricks Runtime, de opensource Delta Sharing Spark-connector of de opensource Delta Sharing Python-connector zijn vereist.
  • Gedeeltelijk ondersteunde functies.
Functie Provider Databricks-geadresseerde Open source-geadresseerde
Verwijderingsvectoren Het delen van tables met deze functie bevindt zich in openbare previewversie. - Databricks Runtime 14.1+ voor batchquery's
- Databricks Runtime 14.2+ voor CDF- en streamingquery's		 - Delta Sharing Spark-connector 3.1+
- Delta Sharing Python-connector 1.1.0+
- Power BI v2.132.908.0+
toewijzing van Column Het delen van tables met deze functie bevindt zich in openbare preview. - Databricks Runtime 14.1+ voor batchquery's
- Databricks Runtime 14.2+ voor CDF- en streamingquery's		 - Delta Sharing Spark-connector 3.1+
- Delta Sharing Python-connector 1.1.0+
- Power BI v2.132.908.0+
Uniforme indeling Het delen van tables met deze functie bevindt zich in openbare preview. - Databricks Runtime 14.1+ voor batchquery's
- Databricks Runtime 14.2+ voor CDF- en streamingquery's		 - Delta Sharing Spark-connector 3.1+
- Delta Sharing Python-connector 1.1.0+
- Power BI v2.132.908.0+
V2-controlepunt Ondersteund met beperkingen Ondersteund met beperkingen Ondersteund met beperkingen
TijdstempelNTZ Ondersteund Databricks Runtime 14.1+ Delta Sharing Spark-connector 3.3+
Liquid clustering Ondersteund met beperkingen Ondersteund met beperkingen Ondersteund met beperkingen

Veelgestelde vragen over Delta Sharing

Hieronder vindt u veelgestelde vragen over Delta Sharing.

Heb ik Unity-Catalog nodig om Delta Sharing te kunnen gebruiken?

Nee, u hebt Unity Catalog niet nodig om (als provider) te delen of gedeelde gegevens te gebruiken (als ontvanger). Unity Catalog biedt echter voordelen zoals niet-tabellaire ondersteuning en het delen van AI-assets, out-of-the-box governance, eenvoud en het verbeteren van queryprestaties.

Providers gegevens op twee manieren kunnen delen:

  • Plaats de assets die moeten worden gedeeld onder Unity Catalog-beheer en deel ze met behulp van de ingebouwde Azure Databricks Delta Sharing-server.

    U hoeft niet alle assets te migreren naar Unity Catalog. U hebt slechts één Azure Databricks-werkruimte nodig die is ingeschakeld voor Unity Catalog om assets te beheren die u wilt delen. In sommige accounts worden nieuwe werkruimten automatisch ingeschakeld voor Unity Catalog. Zie Automatische activering van Unity Catalog.

  • Implementeer de open Delta Sharing-server om gegevens te delen, zonder dat u uw Azure Databricks-account hoeft te gebruiken.

Recipients gegevens op twee manieren kunnen gebruiken:

  • Zonder een Databricks-werkruimte. Open source Delta Sharing-connectors gebruiken die beschikbaar zijn voor veel gegevensplatforms, waaronder Power BI, pandas en open source Apache Spark. Zie Gegevens lezen die zijn gedeeld met het open delen van Delta Sharing (voor recipients) en het Open Source-project delta delen.

  • In een Azure Databricks-werkruimte. Ontvangerwerkruimten hoeven niet te worden ingeschakeld voor Unity Catalog, maar ze bieden voordelen op het gebied van governance, eenvoud en prestaties als ze dat wel zijn.

    Ontvangers die deze voordelen willen, hoeven niet alle assets te migreren naar Unity Catalog. U hebt slechts één Azure Databricks-werkruimte nodig die is ingeschakeld voor Unity Catalog om assets te beheren die met u worden gedeeld. In sommige accounts worden nieuwe werkruimten automatisch ingeschakeld voor Unity Catalog. Zie Automatische activering van Unity Catalog.

Zie Gegevens lezen die worden gedeeld met Delta Sharing open sharing (voor recipients) en Gegevens lezen die worden gedeeld met Databricks-to-Databricks Delta Sharing (voor recipients).

Moet ik een Databricks-klant zijn om Delta Sharing te kunnen gebruiken?

Nee, Delta Sharing is een open protocol. U kunt niet-Databricks-gegevens delen met recipients op elk gegevensplatform. Providers kan een open Delta Sharing-server configureren om te delen vanaf elk computerplatform. Recipients kunt gedeelde gegevens gebruiken met behulp van open source Delta Sharing-connectors voor veel gegevensproducten, waaronder Power BI, pandas en open source Spark.

Het gebruik van Delta Sharing in Azure Databricks, met name delen vanuit een Unity Catalog-enabled werkruimte, heeft echter veel voordelen.

Zie de eerste vraag in deze veelgestelde vragen voor meer informatie.

Worden er voor Delta Sharing kosten in rekening voor uitgaand verkeer?

Voor Delta Sharing binnen een regio worden geen kosten voor uitgaand verkeer in rekening gebracht. In tegenstelling tot andere platforms voor het delen van gegevens, vereist Delta Sharing geen gegevensreplicatie. Dit model heeft veel voordelen, maar het betekent dat uw cloudleverancier kosten voor uitgaande gegevens kan in rekening brengen wanneer u gegevens deelt in clouds of regio's. Azure Databricks biedt ondersteuning voor delen vanuit Cloudflare R2, waarvoor geen uitgaande kosten in rekening worden gebracht, en biedt andere hulpprogramma's en aanbevelingen voor het bewaken en voorkomen van uitgaande kosten. Zie Bewaak en beheer de Delta Sharing-uitgaande kosten (voor providers).

Kan de ontvanger providersrevoke toegang krijgen?

Ja, toegang tot geadresseerden kan op aanvraag en op opgegeven granulariteitsniveaus worden ingetrokken. U kunt de toegang van een geadresseerde tot specifieke shares en specifieke IP-adressen deny, tabular gegevens voor een geadresseerde filteren, tokens voor geadresseerden revoke en recipients volledig verwijderen. Zie Revoke ontvangerstoegang tot een share en gegevens creëren en beheren recipients voor Delta Sharing.

Is het niet onveilig om vooraf ondertekende URL's te gebruiken?

Delta Sharing maakt gebruik van vooraf ondertekende URL's om tijdelijke toegang te bieden tot een bestand in objectopslag. Ze worden alleen gegeven aan recipients die al toegang hebben tot de gedeelde gegevens. Ze zijn veilig omdat ze van korte duur zijn en het toegangsniveau niet uitbreiden bovenop wat al aan recipients is verleend.

Zijn de tokens die worden gebruikt in het Open Sharing-protocol voor delen van Delta veilig?

Omdat Delta Delen platformoverschrijdend delen mogelijk maakt, in tegenstelling tot andere beschikbare platformen voor het delen van gegevens, is voor het protocol voor delen een open token vereist. Providers kan beveiliging van tokens garanderen door de levensduur van het token te configureren, netwerkbesturingselementen in te stellen en toegang op aanvraag aan te roepen. Bovendien breidt het token het toegangsniveau niet uit dan wat recipients al is verleend. Bekijk Beveiligingsoverwegingen voor tokens.

Als u liever geen tokens gebruikt voor het beheren van de toegang tot de geadresseerde shares, gebruik dan Databricks-naar-Databricks-samenwerking of neem contact op met uw Databricks-accountteam voor andere opties.

Biedt Delta Sharing ondersteuning voor het delen van weergaven?

Ja, Delta Sharing biedt ondersteuning voor het delen van weergaven. Zie , voeg views toe aan aandeel.

Neem contact op met uw Databricks-accountteam voor meer informatie over geplande verbeteringen voor het weergeven van delen.

Beperkingen

Zie ook de ondersteuningsmatrix voor Delta Lake-functies.

Resourcequota

Azure Databricks dwingt resourcequota af voor alle beveiligbare objecten voor Delta Sharing. Deze quota worden vermeld in resourcelimieten. Als u verwacht deze resourcelimieten te overschrijden, neemt u contact op met uw Azure Databricks-accountteam.

U kunt uw quotumgebruik bewaken met behulp van de Quota-API's van Unity Catalog. Zie Uw gebruik van Unity Catalog resourcequotacontroleren.

Volgende stappen