Partilhar via

Limitações do Delta Live Tables

  • Artigo

A seguir estão as limitações do Delta Live Tables que é importante saber ao desenvolver seus pipelines:

  • Um espaço de trabalho do Azure Databricks é limitado a 100 atualizações de pipeline simultâneas.
  • Os conjuntos de dados Delta Live Tables podem ser definidos apenas uma vez. Por causa disso, eles podem ser alvo de apenas uma única operação em todos os oleodutos Delta Live Tables. A exceção é o streaming tables com processamento de adição de fluxo, que permite gravar no streaming table a partir de várias fontes de streaming. Consulte Usar fluxo de acréscimo para gravar em um table de streaming de vários fluxos de origem.
  • Identidades columns têm as seguintes limitações. Para saber mais sobre columns de identidade no Delta tables, consulte Usar columns de identidade no Delta Lake.
    • Identidades columns não são suportadas juntamente com tables que são alvo do processamento de APLICAR ALTERAÇÕES .
    • O identificador columns pode ser recalculado durante as atualizações de uma viewsmaterializada. Por isso, a Databricks recomenda o uso de identidade columns no Delta Live Tables apenas com o streaming tables.
  • Um pipeline pode definir views materializados e tables de streaming em apenas uma catalog e schema.
  • Os dados criados num pipeline Delta Live Tables são gravados apenas no Delta Lake. Não é possível exportar dados de um pipeline para coletores que não sejam Delta Lake.
  • Os views materializados e streaming tables criados por um pipeline Delta Live Tables só podem ser acedidos através das interfaces do Azure Databricks.
  • Não é possível usar o Delta Sharing para compartilhar views e tables de streaming materializados criados por um pipeline Delta Live Tables.
  • Há limitações nos recursos de processamento Databricks necessários para executar e consultar pipelines do Unity Catalog. Consulte os Requisitos Catalog.
  • Somente o proprietário do pipeline pode acessar o log de eventos de um pipeline. Consulte Consultando o log de eventos.
  • As consultas de viagem no tempo do Delta Lake são suportadas apenas com o Streaming tablese não são suportadas com viewsmaterializado. Consulte Trabalhe com o histórico do Delta Lake table.
  • Não é possível ativar Iceberg lê em views materializados e tables de streaming criados pelos pipelines de Tables Delta Live.
  • As etiquetas Table e column não são suportadas para a materialização de views e streaming de tables.