Partager via

Limitations des tables dynamiques Delta

  • Article

Voici les limitations des tables dynamiques Delta qui sont importantes à connaître au fur et à mesure que vous développez vos pipelines :

  • Un espace de travail Azure Databricks est limité à 100 mises à jour de pipeline simultanées.
  • Les jeux de données Delta Live Tables ne peuvent être définis qu’une seule fois. En raison de cela, ils peuvent être la cible d’une seule opération dans tous les pipelines Delta Live Tables. Exception : tables de diffusion en continu avec le traitement de flux d’ajout, qui vous permet d’écrire dans la table de diffusion en continu à partir de plusieurs sources de diffusion en continu. Consultez Utiliser le flux d’ajout pour écrire dans une table de diffusion en continu à partir de plusieurs flux sources.
  • Les colonnes d’identité présentent les limitations suivantes. Pour en savoir plus sur les colonnes d’identité dans les tables Delta, consultez Utiliser des colonnes d’identité dans Delta Lake.
    • Les colonnes d’identité ne sont pas prises en charge dans les tables qui font l’objet d’un traitement APPLIQUER LES MODIFICATIONS.
    • Les colonnes d’identité peuvent être recalculées pendant les mises à jour des vues matérialisées. En conséquence, Databricks recommande d'utiliser des colonnes d'identité dans Delta Live Tables uniquement avec des tables de streaming.
  • Un pipeline peut définir des vues matérialisées et des tables de streaming dans un seul catalogue et dans un seul schéma.
  • Les jeux de données créés dans un pipeline Delta Live Tables sont écrits uniquement dans Delta Lake. Vous ne pouvez pas générer de données d’un pipeline vers des récepteurs autres que Delta Lake.
  • Les vues matérialisées et les tables de streaming, y compris celles créées par un pipeline Delta Live Tables ou Databricks SQL, sont accessibles uniquement par les clients et applications Azure Databricks.
  • Vous ne pouvez pas utiliser le partage Delta pour partager des vues matérialisées et des tables de flux créées par un pipeline Delta Live Tables.
  • Il existe des limitations pour le calcul Databricks requis pour exécuter et interroger des pipelines de catalogue Unity. Consultez les Exigences pour les pipelines qui publient dans Unity Catalog.
  • Seul le propriétaire du pipeline peut accéder au journal des événements d’un pipeline. Consultez la section Interrogation du journal des événements.
  • Les requêtes de temps de trajet Delta Lake sont prises en charge uniquement avec les tables de diffusion en continu et ne sont pas prises en charge avec les vues matérialisées. Consultez Utiliser l’historique des tables Delta Lake.
  • Vous ne pouvez pas activer les lectures Iceberg sur les vues matérialisées et les tables de diffusion en continu créées par les pipelines Delta Live Tables.