Limitações da DLT

A seguir estão as limitações da DLT que é importante saber ao desenvolver seus pipelines:

• Um espaço de trabalho do Azure Databricks é limitado a 100 atualizações de pipeline simultâneas. O número de conjuntos de dados que um único pipeline pode conter é determinado pela configuração do pipeline e pela complexidade da carga de trabalho.
• Os conjuntos de dados DLT podem ser definidos apenas uma vez. Por isso, eles podem ser alvo de uma única operação em todos os pipelines da DLT. A exceção são as tabelas de streaming com processamento de fluxo de acréscimo, que permite gravar na tabela de streaming a partir de várias fontes de streaming. Consulte Usar fluxo de anexação para gravar em tabelas de streaming a partir de vários fluxos de origem.
• As colunas de identidade têm as seguintes limitações. Para saber mais sobre colunas de identidade nas tabelas Delta, consulte Usar colunas de identidade no Delta Lake.
  • Não há suporte para colunas de identidade em tabelas que são alvo do processamento de APLICAR ALTERAÇÕES.
  • As colunas de identidade podem ser recalculadas durante as atualizações em exibições materializadas. Por isso, a Databricks recomenda o uso de colunas de identidade em DLT apenas com tabelas de streaming.
• Exibições materializadas e tabelas de streaming publicadas a partir de um pipeline DLT, incluindo aquelas criadas pelo Databricks SQL, podem ser acessadas somente por clientes e aplicativos do Azure Databricks. No entanto, para tornar as suas vistas materializadas e tabelas de streaming acessíveis externamente, pode utilizar a API DLT sink para gravar tabelas numa instância externa do Delta. Consulte Transmitir registos para serviços externos com coletores DLT.
• Não é possível usar o Compartilhamento Delta para compartilhar exibições materializadas e tabelas de streaming criadas por um pipeline de DLT.
• Existem limitações para a computação Databricks necessária à operação e consulta de pipelines no Unity Catalog. Consulte os Requisitos para pipelines que publicam no Catálogo Unity.
• Somente o proprietário do pipeline pode acessar o log de eventos de um pipeline. Consulte o log de eventos .
• As consultas de viagem no tempo do Delta Lake são suportadas apenas com tabelas de streaming e não são suportadas com visualizações materializadas. Consulte Trabalhar com o histórico da tabela Delta Lake.
• Não é possível ativar Iceberg lê em visualizações materializadas e tabelas de streaming criadas por pipelines DLT.