Partager via

Présentation de Delta Sharing

  • Article

Cet article présente le protocole Delta Sharing dans Azure Databricks, la plateforme de partage de données sécurisée qui permet de partager des données et des ressources IA dans Azure Databricks avec des utilisateurs extérieurs à votre organisation (qu’ils utilisent Databricks ou pas). Le protocole Delta Sharing est également à la base de la Place de marché Databricks, un forum ouvert pour échanger des produits de données et des Salles blanches, un environnement sécurisé et protégeant la confidentialité where dans lequel plusieurs parties peuvent travailler ensemble sur des données d’entreprise sensibles.

Delta Sharing est également disponible en tant que projet open source permettant de partager des tables Delta à partir d’autres plateformes.

Remarque

Pour savoir comment accéder aux données qui ont été partagées avec vous à l’aide de Delta Sharing, consultez Accéder aux données partagées avec vous à l’aide de Delta Sharing (pour recipients).

Comment fonctionne Delta Sharing ?

Delta Sharing est un protocole ouvert développé par Databricks pour le partage sécurisé de données avec d’autres organisations, indépendamment des plateformes informatiques utilisées.

Il existe trois façons de partager des données à l’aide de Delta Sharing :

  1. Le protocole de partage de Databricks à Databricks, qui vous permet de partager des données et des ressources d'intelligence artificielle à partir de votre espace de travail compatible avec Unity Catalogavec des utilisateurs qui ont aussi accès à un espace de travail Databricks compatible avec Unity Catalog.

    Cette approche utilise le serveur Delta Sharing intégré à Azure Databricks. Il prend en charge certaines fonctionnalités de partage Delta qui ne sont pas fournies dans les autres protocoles, notamment le partage de notebooks, le partage de volumes Unity Catalog, le partage de modèles IA Unity Catalog, la gouvernance des données Unity Catalog, l'audit et le suivi de l'utilisation pour providers et recipients. L’intégration à Unity Catalog simplifie la configuration et la gouvernance pour les providers et les recipients, et améliore les performances.

    Consultez Partager des données à l’aide du protocole Delta Sharing Databricks-to-Databricks (pour les providers).

  2. Le protocole de partage ouvert Databricks, qui vous permet de partager des données tabulaires que vous gérez dans un espace de travail Databricks compatible Unity Catalog avec des utilisateurs sur n’importe quelle plateforme informatique.

    Cette approche repose sur le serveur Delta Sharing intégré à Azure Databricks. Elle est utile quand vous gérez des données avec Unity Catalog, et que vous souhaitez les partager avec des utilisateurs qui ne se servent pas de Databricks, ou qui n’ont pas accès à un espace de travail Databricks compatible Unity Catalog. L’intégration à Unity Catalog côté fournisseur simplifie la configuration et la gouvernance pour les providers.

    Voir Partager des données à l’aide du protocole de partage ouvert Delta (providers).

  3. Une implémentation gérée par le client du serveur Delta Sharing open source, qui vous permet de partager à partir de n’importe quelle plateforme vers n’importe quelle plateforme, qu’elle soit Databricks ou non.

    La documentation Azure Databricks ne couvre pas les instructions de configuration de votre propre serveur Delta Sharing. Voir github.com/delta-io/delta-sharing.

architecture d’accès aux données Delta Sharing.

Shares, providers et recipients

Les principaux concepts sous-jacents du protocole Delta Sharing dans Azure Databricks sont les shares, les providers et les recipients.

Qu’est-ce qu’un partage ?

Dans Delta Sharing, un partage est une collection en lecture seule de tables et de partitions de table qu’un fournisseur souhaite partager avec un ou plusieurs recipients. Si votre destinataire utilise un espace de travail Databricks compatible avec Unity Catalog, vous pouvez également inclure des fichiers de notebooks, views (y compris des views dynamiques qui limitent l’accès au niveau de la ligne et du column), Unity Catalogvolumeset Unity Catalog modèles dans un partage.

Vous pouvez ajouter ou removetables, views, volumes, modèles et fichiers de notebook à partir d’un partage à tout moment, et vous pouvez affecter ou revoke l’accès au destinataire des données à un partage à tout moment.

Dans un espace de travail Azure Databricks compatible avec Unity Catalog, un partage est un objet que l'on peut sécuriser et qui est enregistré dans Unity Catalog. Si vous remove un partage à partir de votre metastore Unity Catalog, toutes les recipients de ce partage perdent la possibilité d’y accéder.

Voir Créer et gérer le shares pour Delta Sharing.

Qu'est-ce qu'un fournisseur ?

Un fournisseur est une entité qui shares données avec un destinataire. Si vous êtes un fournisseur et que vous souhaitez profiter du serveur Delta Sharing Databricks intégré et gérer des shares et des recipients à l’aide de Unity Catalog, au moins un espace de travail Azure Databricks compatible Unity Catalog est requis. Vous n’avez pas besoin de migrer tous vos espaces de travail existants vers Unity Catalog. Vous pouvez facilement créer un espace de travail compatible avec Unity Catalogpour vos besoins de Delta Sharing.

Si un destinataire se trouve sur un espace de travail Databricks compatible Unity Catalog, le fournisseur est également un objet sécurisable Unity Catalog qui représente l’organisation du fournisseur et associe cette organisation à un set de shares.

Qu’est-ce qu’un destinataire ?

Un destinataire est une entité qui reçoit des shares d’un fournisseur. Dans Unity Catalog, un partage est un objet sécurisable qui représente une organisation et l’associe à une identifier de partage sécurisé ou d’informations d’identification qui permet à cette organisation d’accéder à un ou plusieurs shares.

En tant que fournisseur de données (« sharer »), vous pouvez définir plusieurs recipients pour un metastore Unity Catalog donné. Toutefois, si vous souhaitez partager les données de plusieurs metastores avec un utilisateur ou un groupe d’utilisateurs spécifique, vous devez définir le destinataire séparément pour chaque metastore. Un destinataire peut avoir accès à plusieurs shares.

Si un fournisseur supprime un destinataire de son metastore Unity Catalog, ce destinataire perd l’accès à tous les shares auxquels il pouvait accéder auparavant.

Consultez Créer et gérer des recipients de données pour Delta Sharing.

Comparaison du partage ouvert et du partage Databricks à Databricks

Cette section décrit les deux protocoles de partage à partir d’un espace de travail Databricks compatible Unity Catalog.

Remarque

Cette section suppose que le fournisseur se trouve sur un espace de travail Azure Databricks activé pour Unity Catalog. Pour en savoir plus sur la configuration d’un serveur Delta Sharing open source à partager à partir d’une plateforme non Databricks ou d’un espace de travail non Unity Catalog, consultez github.com/delta-io/delta-sharing.

La manière dont un fournisseur utilise Delta Sharing dans Azure Databricks dépend des personnes avec lesquelles il partage des données :

  • Le partage ouvert permet de partager des données avec les utilisateurs de votre choix, qu’ils aient accès ou non à Azure Databricks.
  • Le partage Databricks-to-Databricks vous permet de partager des données avec des utilisateurs Azure Databricks dont l’espace de travail est attaché à un metastore Unity Catalog différent du vôtre. Databricks-to-Databricks prend également en charge le partage de notebooks, de volumes et de modèles, qui n’est pas disponible dans le partage ouvert.

Présentation du protocole ouvert Delta Sharing

Si vous souhaitez partager des données avec des utilisateurs hors de votre espace de travail Azure Databricks, qu’ils utilisent Databricks ou non, vous pouvez utiliser le protocole ouvert Delta Sharing pour partager vos données en toute sécurité. En tant que fournisseur de données, vous generate un jeton et le partagez en toute sécurité avec le destinataire. Ils utilisent le jeton pour authentifier et get l’accès en lecture au tables que vous avez inclus dans le shares auquel vous leur avez accordé l’accès.

Les Recipients peuvent accéder aux données partagées à l’aide de nombreux outils et plateformes informatiques, notamment :

  • Azure Databricks
  • Apache Spark
  • Pandas
  • Power BI

Pour une liste complète list des connecteurs de partage Delta et des informations sur leur utilisation, consultez la documentation Partage Delta.

Consultez également Partager des données à l’aide du protocole Delta Sharing de partage ouvert (pour providers).

Présentation du protocole Delta Sharing Databricks à Databricks

Si vous souhaitez partager des données avec des utilisateurs disposant d’un espace de travail Databricks activé pour Unity Catalog, vous pouvez utiliser le partage Delta Sharing de Databricks à Databricks. Le partage Databricks à Databricks vous permet de partager des données avec des utilisateurs dans d’autres comptes Databricks, qu’ils soient sur AWS, Azure ou GCP. C’est également un excellent moyen de partager en toute sécurité des données entre différents metastores Unity Catalog dans votre propre compte Databricks. Notez qu’il n’est pas nécessaire d’utiliser Delta Sharing pour partager des données entre des espaces de travail attachés au même metastore Unity Catalog, car dans ce scénario, vous pouvez utiliser Unity Catalog lui-même pour gérer l’accès aux données entre les espaces de travail.

L’un des avantages du partage Databricks-to-Databricks est que le destinataire du partage n’a pas besoin de jeton pour accéder au partage et que le fournisseur n’a pas besoin de gérer les jetons du destinataire. La sécurité de la connexion de partage, notamment l’ensemble des vérifications d’identité, l’authentification et l’audit, est entièrement managée via Delta Sharing et la plateforme Databricks. Un autre avantage est la possibilité de partager des fichiers de notebook Databricks, views, des modèles Unity Catalogvolumeset des modèles Unity Catalog.

Consultez également Partager des données à l’aide du protocole Databricks de Delta Sharing à Databricks (pour providers).

Comment les administrateurs du fournisseur set-ils Delta Sharing ?

Cette section fournit une vue d'ensemble de la façon dont providers peut activer le partage Delta et lancer le partage à partir d'un espace de travail Azure Databricks activé par Unity Catalog. Pour Delta Sharing open source, rendez-vous sur github.com/delta-io/delta-sharing.

Le partage Databricks-to-Databricks entre metastores Unity Catalog dans le même compte est toujours activé. Si vous êtes un fournisseur qui souhaite activer le partage Delta pour partager des données avec des espaces de travail Databricks dans d'autres comptes ou des clients non Databricks, un administrateur de compte Azure Databricks ou un administrateur de métastore effectue les étapes de configuration suivantes (à un niveau élevé) :

  1. Activez Delta Sharing pour le metastore Unity Catalog qui gère les données que vous souhaitez partager.

    Remarque

    Vous n’avez pas besoin d’activer Delta Sharing sur votre metastore si vous avez l’intention d’utiliser Delta Sharing pour partager des données uniquement avec des utilisateurs d’autres metastores Unity Catalog de votre compte. Le partage de metastore à metastore au sein d’un seul compte Azure Databricks est activé par défaut.

    Consultez Activer Delta Sharing sur un metastore.

  2. Créez un partage qui inclut des ressources de données inscrites dans le metastore Unity Catalog.

    Si vous partagez des données avec un destinataire non Databricks (ce que l’on appelle un partage ouvert), vous pouvez inclure des tables au format Delta ou Parquet. Si vous envisagez d’utiliser le partage Databricks-to-Databricks, vous pouvez également ajouter des views, des Catalog Unity volumes, des modèles Unity Catalog et des fichiers de notebook à un partage.

    Voir Créer et gérer le shares pour Delta Sharing.

  3. Créez un destinataire.

    Consultez Créer et gérer des recipients de données pour Delta Sharing.

    Si votre destinataire n’est pas un utilisateur Databricks ou qu’il n’a pas accès à un espace de travail Databricks activé pour Unity Catalog, vous devez utiliser le partage ouvert. Une set de credentials basée sur des jetons est générée pour ce destinataire.

    Si votre destinataire a accès à un espace de travail Databricks activé pour Unity Catalog, vous pouvez utiliser partage Databricks à Databrickset aucun credentials basé sur des jetons n’est nécessaire. Vous demandez un partage identifier au destinataire et l’utilisez pour établir une connexion sécurisée.

    Conseil

    Testez le processus d’installation en vous désignant vous-même comme destinataire de test.

  4. Grant l’accès du destinataire à un ou plusieurs shares.

    Consultez Gérer l’accès aux données de partage Delta shares (pour providers).

    Remarque

    Cette étape peut également être effectuée par un utilisateur non-administrateur avec les privilèges USE SHARE et USE RECIPIENTSET SHARE PERMISSION. Consultez privilèges Unity Catalog et les objets sécurisables.

  5. Envoyez au destinataire les informations dont il a besoin pour se connecter au partage (partage ouvert uniquement).

    Consultez Envoyer les informations de connexion au destinataire.

    Pour le partage ouvert, utilisez un canal sécurisé pour envoyer au destinataire un lien d’activation qui leur permet de télécharger leur credentialsbasée sur un jeton.

    Pour le partage Databricks-to-Databricks, les données incluses dans le partage sont disponibles dans l’espace de travail Databricks du destinataire dès que vous grant leur accès au partage.

Le destinataire a désormais accès aux données partagées.

Comment recipients accéder aux données partagées ?

Recipients Accède aux ressources de données partagées au format en lecture seule. Les fichiers de notebook partagés sont en lecture seule, mais ils peuvent être clonés, puis modifiés et exécutés dans l’espace de travail du destinataire comme n’importe quel autre notebook.

L’accès sécurisé dépend du modèle de partage :

Chaque fois que le fournisseur de données met à jour des tables de données ou des volumes dans son propre compte Databricks, les mises à jour s’affichent en quasi-temps réel dans le système du destinataire.

Comment effectuer le suivi des personnes qui partagent les données partagées et y accèdent ?

providers de données sur les espaces de travail Azure Databricks activés par Unity Catalogpeuvent utiliser la journalisation d’audit Azure Databricks et le système tables pour surveiller la création et la modification de shares et de recipients, et surveiller l’activité des destinataires sur shares. Consultez Auditer et surveiller le partage de données.

Les utilisateurs de données recipients qui accèdent à des données partagées dans un espace de travail Databricks peuvent utiliser la journalisation d’audit et le système tables de Databricks pour comprendre qui accède à quelles données. Consultez Auditer et surveiller le partage de données.

Partage de volumes

Vous pouvez partager des volumes à l’aide du flux de partage Databricks-to-Databricks. Consultez Ajouter volumes à un partage (pour providers) et Lire des données partagées à l’aide de Delta Sharing Databricks-to-Databricks (pour recipients) (pour recipients).

Partage de modèles

Vous pouvez partager des modèles à l’aide du flux de partage Databricks-to-Databricks. Consultez Ajouter des modèles à un partage (pour providers) et Lire des données partagées à l’aide du partage Delta Databricks-to-Databricks (pour recipients) (pour recipients).

Partage de notebooks

Vous pouvez utiliser Delta Sharing pour partager des fichiers de notebook à l’aide du flux de partage Databricks à Databricks. Consultez les articles Ajouter des fichiers de notebook à un partage (pour providers) et Lire des notebooks partagés (pour recipients).

Restriction de l’accès au niveau de la ligne et du column

Vous pouvez partager des views dynamiques qui limitent l’accès à certaines données de table en fonction des propriétés du destinataire. Le partage d’affichage dynamique nécessite le flux de partage Databricks-vers-Databricks. Voir ajouter views dynamique dans un partage pour filtrer les lignes et columns.

Delta Sharing et diffusion en continu

Delta Sharing prend en charge Spark Structured Streaming. Un fournisseur peut partager une table avec l’historique afin qu’un destinataire puisse l’utiliser comme source Structured Streaming, en traitant les données partagées de manière incrémentielle avec une faible latence. Recipients peut également effectuer requêtes de voyage dans le temps Delta Lake sur tables partagé avec un historique.

Pour savoir comment partager le tables avec l’historique, voir Ajouter tables à un partage. Pour savoir comment utiliser des tables partagés en tant que sources de diffusion en continu, consultez Interroger un table à l’aide d’Apache Spark Structured Streaming (pour recipients du partage Databricks à Databricks) ou Accéder à un table partagé à l’aide de Spark Structured Streaming (pour recipients de partage de données ouvertes).

Consultez aussi l’article Streaming sur Azure Databricks.

Matrice de prise en charge des fonctionnalités Delta Lake

Delta Sharing prend en charge la plupart des fonctionnalités Delta Lake lorsque vous partagez une table. Cette matrice de prise en charge répertorie les éléments suivants :

  • Fonctionnalités Delta qui nécessitent des versions spécifiques de Databricks Runtime, le connecteur Spark de Delta Sharing open source ou le connecteur Python de Delta Sharing open source.
  • Fonctionnalités partiellement prises en charge.
Fonctionnalité Fournisseur Destinataire Databricks Destinataire open source
Vecteurs de suppression Le partage de tables avec cette fonctionnalité est disponible en préversion publique. - Databricks Runtime 14.1+ pour les requêtes par lots
- Databricks Runtime 14.2+ pour les requêtes CDF et de streaming		 - Connecteur Spark de Delta Sharing 3.1+
- Connecteur Python de Delta Sharing 1.1.0+
- Power BI v2.132.908.0+
mappage de Column Le partage de tables avec cette fonctionnalité est disponible en préversion publique. - Databricks Runtime 14.1+ pour les requêtes par lots
- Databricks Runtime 14.2+ pour les requêtes CDF et de streaming		 - Connecteur Spark de Delta Sharing 3.1+
- Connecteur Python de Delta Sharing 1.1.0+
- Power BI v2.132.908.0+
Format uniforme Le partage de tables avec cette fonctionnalité est disponible en préversion publique. - Databricks Runtime 14.1+ pour les requêtes par lots
- Databricks Runtime 14.2+ pour les requêtes CDF et de streaming		 - Connecteur Spark de Delta Sharing 3.1+
- Connecteur Python de Delta Sharing 1.1.0+
- Power BI v2.132.908.0+
Point de contrôle V2 Prise en charge avec des limitations Prise en charge avec des limitations Prise en charge avec des limitations
TimestampNTZ Pris en charge Databricks Runtime 14.1+ Connecteur Spark de Delta Sharing 3.3+
Clustering liquide Prise en charge avec des limitations Prise en charge avec des limitations Prise en charge avec des limitations

FAQ Delta Sharing

Voici une liste de questions fréquentes concernant Delta Sharing.

Ai-je besoin d’Unity Catalog pour utiliser Delta Sharing ?

Non, vous n’avez pas besoin de Unity Catalog pour partager (en tant que fournisseur) ou consommer des données partagées (en tant que destinataire). Toutefois, Unity Catalog offre des avantages tels que la prise en charge du partage de ressources non tabulaires et d’IA, la gouvernance prête à l’emploi, la simplicité et les performances des requêtes.

Les Providers peuvent partager des données de deux façons :

  • Placez les ressources à partager dans le gestionnaire Unity Catalog et partagez-les à l’aide du serveur Delta Sharing Azure Databricks intégré.

    Il n’est pas nécessaire de migrer toutes vos ressources vers Unity Catalog. Il vous suffit d’un seul espace de travail Azure Databricks compatible Unity Catalog pour gérer les ressources que vous souhaitez partager. Dans certains comptes, les nouveaux espaces de travail sont activés automatiquement pour Unity Catalog. Voir activation automatique d’Unity Catalog.

  • Implémentez le serveur Delta Sharing ouvert pour partager des données, sans nécessairement utiliser votre compte Azure Databricks.

Les Recipients peuvent consommer des données de deux façons :

  • Sans espace de travail Databricks. Utilisez les connecteurs Delta Sharing open source disponibles pour de nombreuses plateformes de données, comme Power BI, pandas et Apache Spark open source. Consultez Lire les données partagées à l’aide du partage ouvert Delta Sharing (pour recipients) et du projet open source Delta Sharing.

  • Dans un espace de travail Databricks. Les espaces de travail des destinataires n’ont pas besoin d’être activés pour Unity Catalog, mais il existe des avantages en matière de gouvernance, de simplicité et de performances s’ils le sont.

    Les organisations destinataires qui souhaitent ces avantages n'ont pas besoin de migrer tous les actifs vers Unity Catalog. Vous n’avez besoin que d’un espace de travail Azure Databricks activé pour Unity Catalog pour gérer les ressources partagées avec vous. Dans certains comptes, les nouveaux espaces de travail sont activés automatiquement pour Unity Catalog. Voir activation automatique d’Unity Catalog.

Consultez Lire les données partagées à l’aide du partage Delta ouvert (pour recipients) et Lire les données partagées à l’aide du partage Delta Databricks-to-Databricks (pour recipients).

Dois-je être un client Databricks pour utiliser Delta Sharing ?

Non, Delta Sharing est un protocole ouvert. Vous pouvez partager des données non Databricks avec des recipients sur n’importe quelle plateforme de données. Les Providers peuvent configurer un serveur Delta Sharing ouvert pour partager à partir de n’importe quelle plateforme informatique. Recipients peut consommer des données partagées à l’aide de connecteurs open source Delta Sharing pour de nombreux produits de données, notamment Power BI, pandas et Spark open source.

Cependant, l’utilisation de Delta Sharing sur Azure Databricks, et notamment le partage à partir d’un espace de travail compatible Unity Catalog, offre de nombreux avantages.

Consultez la première question de cette FAQ pour en savoir plus.

Est-ce que Delta Sharing entraîne des coûts de sortie ?

Delta Sharing au sein d’une région n’entraîne aucun coût de sortie. Contrairement à d’autres plateformes de partage de données, Delta Sharing ne nécessite pas de réplication des données. Ce modèle présente de nombreux avantages, mais il signifie que votre fournisseur de cloud peut facturer des frais de sortie de données lorsque vous partagez des données entre des clouds ou des régions. Azure Databricks prend en charge le partage à partir de Cloudflare R2, qui n’entraîne aucun frais de sortie, et fournit d’autres outils et recommandations pour superviser et éviter les frais de sortie. Voir la surveillance et la gestion des coûts de sortie du partage Delta () pour providers.

Le destinataire de providersrevoke peut-il accéder ?

Oui, l’accès du destinataire peut être révoqué à la demande et selon des niveaux de granularité spécifiques. Vous pouvez deny l’accès du destinataire à des shares et à des adresses IP spécifiques, filtrer ses données tabulaires, revoke ses jetons et supprimer des recipients complètement. Consultez Revoke l’accès des destinataires à un partage et Créer et gérer des recipients de données pour Delta Sharing.

N’est-il pas non sécurisé d’utiliser des URL pré-signées ?

Delta Sharing utilise des URL pré-signées pour fournir un accès temporaire à un fichier dans le stockage d’objets. Elles sont uniquement attribuées aux recipients qui ont déjà accès aux données partagées. Ils sont sécurisés parce qu'ils sont de courte durée et n'augmentent pas le niveau d'accès au-delà de celui qui a déjà été accordé à recipients.

Les jetons utilisés dans le protocole de partage Delta Sharing ouvert sont-ils sécurisés ?

Comme Delta Sharing active le partage multiplateforme, contrairement à d’autres plateformes de partage de données disponibles, le protocole de partage nécessite un jeton ouvert. Les Providers peuvent garantir la sécurité des jetons en configurant leur durée de vie, en définissant des contrôles réseau et en révoquant l’accès à la demande. En outre, le jeton n’étend pas le niveau d’accès au-delà de ce qui a déjà été accordé à recipients. Voir Considérations relatives à la sécurité pour les jetons.

Si vous préférez ne pas utiliser de jetons pour gérer l’accès aux sharesde destinataire, vous devez utiliser Databricks-to-Databricks partage ou contacter votre équipe de compte Databricks pour d’autres solutions.

Delta Sharing est-il compatible avec le partage de vues ?

Oui, Delta Sharing est compatible avec le partage de vues. Voir , ajoutez views à un partage.

Pour en savoir plus sur les améliorations à venir pour le partage de vues, contactez l’équipe de votre compte Databricks.

Limitations

Consultez également Matrice de prise en charge des fonctionnalités Delta Lake.

Quotas de ressources

Azure Databricks applique des quotas de ressources sur tous les objets sécurisables Delta Sharing. Ces quotas sont répertoriés dans les limites de ressources. Si vous prévoyez de dépasser ces limites de ressources, contactez l’équipe de votre compte Azure Databricks.

Vous pouvez surveiller l’utilisation de votre rapport d’utilisation des quotas à l’aide des API de quotas de ressources Unity Catalog. Consultez pour surveiller votre utilisation des quotas de ressources Unity Catalog.

Étapes suivantes