Partager via

Interopérabilité du format de table Delta Lake

  • Article

Dans Microsoft Fabric, le format de table Delta Lake est la norme pour l’analytique. Delta Lake est une couche de stockage open source qui apporte des transactions ACID (Atomicité, Cohérence, Isolation, Durabilité) aux charges de travail Big Data et aux charges de travail analytiques.

Toutes les expériences Fabric génèrent et consomment des tables Delta Lake, permettant une interopérabilité et une expérience de produit unifiée. Les tables Delta Lake produites par un moteur de calcul, comme l’entrepôt de données Fabric ou Synapse Spark, peuvent être consommées par n’importe quel autre moteur, tel que Power BI. Lorsque vous ingérez des données dans Fabric, Fabric les stock sous forme de tables Delta par défaut. Vous pouvez facilement intégrer des données externes contenant des tables Delta Lake à l’aide de raccourcis OneLake.

Fonctionnalités Delta Lake et expériences Fabric

Pour atteindre une interopérabilité, toutes les expériences Fabric s’alignent sur les fonctionnalités Delta Lake et les fonctionnalités Fabric. Certaines expériences peuvent uniquement écrire dans des tables Delta Lake, tandis que d’autres peuvent les lire.

  • Enregistreurs : entrepôts de données, flux d’événements et modèles sémantiques Power BI exportés dans OneLake
  • Lecteurs : point de terminaison d’analytique SQL et modèles sémantiques de lac direct PowerBI
  • Enregistreurs et lecteurs : runtime Spark Fabric, flux de données, pipelines de données et base de données Langage de requête Kusto (KQL)

La matrice suivante montre les principales fonctionnalités Delta Lake et leur prise en charge sur chaque capacité Fabric.

Fonctionnalité Fabric Mappages de colonnes basés sur des noms Vecteurs de suppression Enregistrement V-Order Optimisation et maintenance des tables Enregistrer des partitions Lire des partitions Clustering liquide TIMESTAMP_NTZ Version du lecteur ou de l’enregistreur Delta et fonctionnalités de table par défaut
Exportation Delta Lake de l’entrepôt de données Non Oui Oui Oui No Oui No Non Lecteur : 3
Enregistreur : 7
Vecteurs de suppression
Point de terminaison d’analytique SQL Oui Oui N/A (non applicable) N/A (non applicable) N/A (non applicable) Oui Oui Non N/A (non applicable)
Runtime Spark Fabric 1.3 Oui Oui Oui Oui Oui Oui Oui Oui Lecteur :1
Enregistreur : 2
Fabric Spark Runtime 1.2 Oui Oui Oui Oui Oui Oui Oui, en lecture seule Oui Lecteur :1
Enregistreur : 2
Fabric Spark Runtime 1.1 Oui No Oui Oui Oui Oui Oui, en lecture seule Non Lecteur :1
Enregistreur : 2
Flux de données Oui Oui Oui No Oui Oui Oui, en lecture seule Non Lecteur :1
Enregistreur : 2
Pipelines de données Non Non Oui Non Oui, remplacer uniquement Oui Oui, en lecture seule Non Lecteur :1
Enregistreur : 2
Modèles sémantiques lac direct Power BI Oui Oui N/A (non applicable) N/A (non applicable) N/A (non applicable) Oui Oui Non N/A (non applicable)
Exporter des modèles sémantiques Power BI dans OneLake Oui N/A (non applicable) Oui No Oui N/A (non applicable) Non Non Lecteur : 2
Enregistreur : 5
Base de données KQL Oui Oui No Non* Oui Oui No Non Lecteur :1
Enregistreur : 1
Eventstreams Non Non Non Non Oui N/A (non applicable) Non Non Lecteur :1
Enregistreur : 2

* Les bases de données KQL fournissent certaines capacités de maintenance de table, telles que la rétention. Les données sont supprimées à la fin de la période de rétention de OneLake. Pour plus d'informations, consultez Une copie logique.

Remarque

  • Fabric n’écrit pas de mappages de colonnes basés sur des noms par défaut. L’expérience Fabric par défaut génère des tables compatibles entre le service. Delta Lake, produit par des services tiers, peut présenter des fonctionnalités de table incompatibles.
  • Certaines expériences Fabric n’ont pas de capacités héritées d’optimisation de table et de maintenance, telles que le compactage bin-compact, V-Order et le nettoyage d’anciens fichiers non référencés. Pour optimiser les tables Delta Lake pour l’analytique, suivez les techniques décrites dans Utiliser la fonctionnalité de maintenance de table pour gérer les tables delta dans Fabric pour les tables ingérées qui utilisent ces expériences.

Limites actuelles

Actuellement, Fabric ne prend pas en charge ces fonctionnalités Delta Lake :

  • Delta Lake 3.x uniforme
  • Enregistrement de colonnes d’identité (fonctionnalité Databricks propriétaire)
  • Delta Live Tables (fonctionnalité Databricks propriétaire)
  • RLE (Codage par plages) activé sur le fichier de point de contrôle

Contenu connexe