Partager via

Interopérabilité du format de table Delta Lake

  • Article

Dans Microsoft Fabric, le format de table Delta Lake est la norme pour l’analytique. Delta Lake est une couche de stockage open source qui apporte des transactions ACID (Atomicité, Cohérence, Isolation, Durabilité) aux charges de travail Big Data et aux charges de travail analytiques.

Toutes les expériences Fabric génèrent et consomment des tables Delta Lake, conduisant à l’interopérabilité et à une expérience de produit unifiée. Les tables Delta Lake produites par un moteur de calcul, comme Fabric Data Warehouse ou Synapse Spark, peuvent être consommées par n’importe quel autre moteur, tel que Power BI. Lorsque vous ingérez des données dans Fabric, Fabric les stocke sous forme de tables Delta par défaut. Vous pouvez facilement intégrer des données externes contenant des tables Delta Lake à l’aide de raccourcis OneLake.

Fonctionnalités Delta Lake et expériences Fabric

Pour obtenir l’interopérabilité, toutes les expériences Fabric s’alignent sur les fonctionnalités Delta Lake et les capacités Fabric. Certaines expériences peuvent uniquement écrire dans des tables Delta Lake, tandis que d’autres peuvent les lire.

  • Writers: entrepôts de données, flux d’événements et modèles sémantiques Power BI exportés dans OneLake
  • Lecteurs : point de terminaison d’analytique SQL et modèles sémantiques de lac direct PowerBI
  • Enregistreurs et lecteurs: bases de données KQL (Fabric Spark runtime, dataflows, pipelines de données et langage de requête Kusto)

La matrice suivante montre les principales fonctionnalités Delta Lake et leur prise en charge sur chaque fonctionnalité Fabric.

Fonctionnalité Fabric Mappages de colonnes basés sur des noms Vecteurs de suppression Enregistrement V-Order Optimisation et maintenance des tables Écrire des partitions Lire des partitions Clustering liquide TIMESTAMP_NTZ Version du lecteur/enregistreur Delta et fonctionnalités de table par défaut
Exportation de l’entrepôt de données Delta Lake Non Oui Oui Oui Non Oui Non Non Lecteur : 3
Auteur : 7
Vecteurs de suppression
Point de terminaison des analyses SQL Oui Oui N/A (non applicable) N/A (non applicable) N/A (non applicable) Oui Oui Non N/A (non applicable)
Fabric Spark Runtime 1.3 Oui Oui Oui Oui Oui Oui Oui Oui Lecteur :1
Auteur : 2
Fabric Spark Runtime 1.2 Oui Oui Oui Oui Oui Oui Oui, en lecture seule Oui Lecteur :1
Auteur : 2
Fabric Spark Runtime 1.1 Oui Non Oui Oui Oui Oui Oui, en lecture seule Non Lecteur :1
Auteur : 2
Flux de données Oui Oui Oui Non Oui Oui Oui, en lecture seule Non Lecteur :1
Auteur : 2
Pipelines de données Non Non Oui Non Oui, remplacer uniquement Oui Oui, en lecture seule Non Lecteur :1
Auteur : 2
Modèles sémantiques Power BI Direct Lake Oui Oui N/A (non applicable) N/A (non applicable) N/A (non applicable) Oui Oui Non N/A (non applicable)
Exporter des modèles sémantiques Power BI dans OneLake Oui N/A (non applicable) Oui Non Oui N/A (non applicable) Non Non Lecteur : 2
Auteur : 5
Bases de données KQL Oui Oui Non Non* Oui Oui Non Non Lecteur :1
Auteur : 1
Flux d’événements Non Non Non Non Oui N/A (non applicable) Non Non Lecteur :1
Auteur : 2

* bases de données KQL fournissent certaines fonctionnalités de maintenance de table telles que de rétention. Les données sont supprimées à la fin de la période de rétention de OneLake. Pour plus d’informations, consultez One Logical Copy.

Remarque

  • Fabric n’écrit pas de mappages de colonnes basés sur des noms par défaut. L’expérience Fabric par défaut génère des tables compatibles entre le service. Delta lake, produit par des services tiers, peut présenter des fonctionnalités de table incompatibles.
  • Certaines expériences Fabric n’ont pas de capacités héritées d’optimisation de table et de maintenance, telles que le compactage bin-compact, V-Order et le nettoyage d’anciens fichiers non référencés. Pour optimiser les tables Delta Lake pour l’analytique, suivez les techniques décrites dans Utiliser la fonctionnalité de maintenance de table pour gérer les tables delta dans Fabric pour les tables ingérées qui utilisent ces expériences.

Limitations actuelles

Actuellement, Fabric ne prend pas en charge ces fonctionnalités Delta Lake :

  • Delta Lake 3.x uniforme
  • Enregistrement de colonnes d’identité (fonctionnalité Databricks propriétaire)
  • Delta Live Tables (fonctionnalité Databricks propriétaire)
  • RLE (Encodage de longueur d’exécution) activé sur le fichier de point de contrôle

Contenu connexe