Limitações do Delta Live Tables

A seguir estão as limitações do Delta Live Tables que é importante saber ao desenvolver seus pipelines:

• Um espaço de trabalho do Azure Databricks é limitado a 100 atualizações de pipeline simultâneas. O número de conjuntos de dados que um único pipeline pode conter é determinado pela configuração do pipeline e pela complexidade da carga de trabalho.
• Os conjuntos de dados Delta Live Tables podem ser definidos apenas uma vez. Por causa disso, eles podem ser o alvo de apenas uma única operação em todos os pipelines Delta Live Tables. A exceção é as tabelas de streaming com processamento de fluxo de adição, que permite gravar na tabela de streaming a partir de várias fontes de streaming. Consulte Usar fluxo de acréscimo para gravar em uma tabela de streaming a partir de vários fluxos de origem.
• As colunas de identidade têm as seguintes limitações. Para mais informações sobre colunas de identidade em tabelas Delta, consulte Usar colunas de identidade no Delta Lake.
  • Não há suporte para colunas de identidade com tabelas que são alvo do processamento de APLICAR ALTERAÇÕES.
  • As colunas de identidade podem ser recalculadas durante as atualizações de uma exibição materializada. Por isso, a Databricks recomenda o uso de colunas de identidade nas Delta Live Tables apenas com tabelas de streaming.
• Exibições materializadas e tabelas de streaming publicadas a partir de um pipeline Delta Live Tables, incluindo aquelas criadas pelo Databricks SQL, podem ser acessadas somente por clientes e aplicativos do Azure Databricks. No entanto, para tornar suas exibições materializadas e tabelas de streaming acessíveis externamente, você pode usar o Delta Live Tables sink API para gravar em tabelas em uma instância Delta externa. Consulte Transmitir registros para serviços externos com os coletores do Delta Live Tables.
• Não pode utilizar o Delta Sharing para partilhar visualizações materializadas e tabelas de streaming criadas por um pipeline do Delta Live Tables.
• Há limitações para os recursos de computação do Databricks necessários para executar e fazer consultas a pipelines do Unity Catalog. Consulte os Requisitos para pipelines que publicam para o Catálogo Unity.
• Somente o proprietário do pipeline pode acessar o log de eventos de um pipeline. Consulte Consultando o log de eventos.
• As consultas de viagem no tempo do Delta Lake são suportadas apenas com tabelas de streaming e não são suportadas com visualizações materializadas. Consulte Trabalhar com o histórico da tabela Delta Lake.
• Não é possível ativar Iceberg lê em visualizações materializadas e tabelas de streaming criadas por pipelines Delta Live Tables.