Compartilhar via

Interoperabilidade do formato de tabela Delta Lake

  • Artigo

No Microsoft Fabric, o formato de tabela Delta Lake é o padrão para análises. Delta Lake é uma camada de armazenamento de código aberto que introduz transações ACID (Atomicidade, Consistência, Isolamento, Durabilidade) para cargas de trabalho de big data e análises.

Todas as experiências do Fabric geram e consomem tabelas Delta Lake, impulsionando a interoperabilidade e uma experiência unificada do produto. As tabelas Delta Lake produzidas por um mecanismo de computação, como o Fabric Data Warehouse ou o Synapse Spark, podem ser consumidas por qualquer outro mecanismo, como o Power BI. Quando você ingere dados no Fabric, o Fabric os armazena como tabelas Delta por padrão. Você pode integrar facilmente dados externos contendo tabelas Delta Lake usando atalhos do OneLake.

Funcionalidades do Delta Lake e experiências do Fabric

Para alcançar a interoperabilidade, todas as experiências da plataforma alinham-se às funcionalidades do Delta Lake e às capacidades da plataforma. Algumas experiências só podem escrever em tabelas Delta Lake, enquanto outras podem ler a partir delas.

  • Writers: armazéns de dados, fluxos de eventos e modelos semânticos do Power BI exportados para o OneLake
  • Readers: endpoint de análise SQL e modelos semânticos de acesso direto ao lago do Power BI
  • Escritores e leitores: tempo de execução do Fabric Spark, fluxos de dados, pipelines de dados e bancos de dados KQL (Kusto Query Language)

A matriz a seguir mostra os principais recursos do Delta Lake e o seu suporte em cada capacidade do Fabric.

Capacidade de malha Mapeamentos de coluna baseados em nome Vetores de eliminação Escrita de ordem V Otimização e manutenção de tabelas Escrever partições Ler partições Agrupamento de líquidos TIMESTAMP_NTZ Versão do leitor/gravador delta e recursos de tabela padrão
Exportação de armazém de dados Delta Lake Não Sim Sim Sim Não Sim Não Não Leitor: 3
Escritor: 7
Vetores de eliminação
Interface de análise SQL Sim Sim N/A (não aplicável) N/A (não aplicável) N/A (não aplicável) Sim Sim Não N/A (não aplicável)
Tempo de execução do Fabric Spark 1.3 Sim Sim Sim Sim Sim Sim Sim Sim Leitor: 1
Escritor: 2
Tempo de execução do Fabric Spark 1.2 Sim Sim Sim Sim Sim Sim Sim, somente leitura Sim Leitor: 1
Escritor: 2
Tempo de execução do Fabric Spark 1.1 Sim Não Sim Sim Sim Sim Sim, somente leitura Não Leitor: 1
Escritor: 2
Fluxos de dados Sim Sim Sim Não Sim Sim Sim, somente leitura Não Leitor: 1
Escritor: 2
Pipelines de dados Não Não Sim Não Sim, substituir apenas Sim Sim, somente leitura Não Leitor: 1
Escritor: 2
Modelos semânticos "Direct Lake" do Power BI Sim Sim N/A (não aplicável) N/A (não aplicável) N/A (não aplicável) Sim Sim Não N/A (não aplicável)
Exportar modelos semânticos do Power BI para o OneLake Sim N/A (não aplicável) Sim Não Sim N/A (não aplicável) Não Não Leitor: 2
Escritor: 5
Bases de dados KQL Sim Sim Não Sem* Sim Sim Não Não Leitor: 1
Escritor: 1
Fluxos de eventos Não Não Não Não Sim N/A (não aplicável) Não Não Leitor: 1
Escritor: 2

* Os bancos de dados KQL fornecem determinados recursos de manutenção de tabelas, como a retenção. Os dados são removidos no final do período de retenção da OneLake. Para obter mais informações, consulte One Logical copy.

Observação

  • Fabric não faz mapeamentos de coluna baseados no nome por predefinição. A experiência padrão do Fabric gera tabelas que são compatíveis com todo o serviço. Delta Lake, produzido por serviços de terceiros, pode ter características de tabela incompatíveis.
  • Algumas experiências do Fabric não têm capacidades herdadas de otimização e manutenção de tabelas, tais como a compactação de conjuntos de dados, a ordenação V e a remoção de arquivos antigos que não estão a ser referenciados. Para manter as tabelas Delta Lake ideais para análises, siga as técnicas em Use o recurso de manutenção de tabela para gerenciar tabelas delta no Fabric para tabelas ingeridas através dessas experiências.

Limitações atuais

Atualmente, o Fabric não oferece suporte a esses recursos do Delta Lake:

  • Delta Lake 3.x Uniforme
  • Escrita de colunas de identidade (recurso proprietário Databricks)
  • as Tabelas Delta Live (o recurso proprietário da Databricks)
  • RLE (Run Length Encoding) ativado no ficheiro de ponto de verificação

Conteúdo relacionado