Interoperabilidade de formato de tabela do Delta Lake
No Microsoft Fabric, o formato de tabela Delta Lake é o padrão para análise. O Delta Lake é uma camada de armazenamento open-source que traz transações ACID (atomicidade, consistência, isolamento e durabilidade) para cargas de trabalho de Big Data e de análise.
Todas as experiências do Fabric geram e consomem tabelas Delta Lake, impulsionando a interoperabilidade e uma experiência unificada do produto. Tabelas delta lake produzidas por um mecanismo de computação, como Fabric Data Warehouse ou Synapse Spark, podem ser consumidas por qualquer outro mecanismo, como o Power BI. Quando você ingere dados no Fabric, o Fabric os armazena como tabelas Delta por padrão. Você pode integrar facilmente dados externos que contêm tabelas delta lake usando atalhos do OneLake.
Funcionalidades do Delta Lake e experiências do Fabric
Para obter interoperabilidade, todas as experiências do Fabric se alinham aos recursos do Delta Lake e às capacidades do Fabric. Algumas experiências só podem gravar em tabelas Delta Lake, enquanto outras podem ler dela.
- Gravadores: data warehouses, fluxos de eventos e modelos semânticos do Power BI exportados para o OneLake
- Leitores: ponto de extremidade de análise SQL e modelos semânticos diretos do lake do Power BI
- Gravadores e Leitores: runtime do Fabric Spark, fluxos de dados, pipelines de dados e bancos de dados da Linguagem de Consulta Kusto (KQL)
A matriz a seguir mostra os principais recursos do Delta Lake e seu suporte em cada funcionalidade do Fabric.
| Funcionalidade do Fabric | Mapeamentos de coluna baseados em nome | Vetores de deleção | Gravador de V-Order | Otimização e manutenção da tabela | Gravar partições | Ler partições | Agrupamento líquido | TIMESTAMP_NTZ | Versão do leitor/gravador delta e recursos de tabela padrão |
|---|---|---|---|---|---|---|---|---|---|
| Exportação do Delta Lake do Data Warehouse | Não | Sim | Sim | Sim | Não | Sim | Não | Não | Leitor: 3 Escritor: 7 Vetores de exclusão |
| Ponto de extremidade de análise SQL | Sim | Sim | N/A (não aplicável) | N/A (não aplicável) | N/A (não aplicável) | Sim | Sim | Não | N/A (não aplicável) |
| Fabric Spark Runtime 1.3 | Sim | Sim | Sim | Sim | Sim | Sim | Sim | Sim | Leitor: 1 Escritor: 2 |
| Fabric Spark Runtime 1.2 | Sim | Sim | Sim | Sim | Sim | Sim | Sim, somente leitura | Sim | Leitor: 1 Escritor: 2 |
| Fabric Spark Runtime 1.1 | Sim | Não | Sim | Sim | Sim | Sim | Sim, somente leitura | Não | Leitor: 1 Escritor: 2 |
| Fluxos de dados | Sim | Sim | Sim | Não | Sim | Sim | Sim, somente leitura | Não | Leitor: 1 Escritor: 2 |
| Pipelines de dados | Não | Não | Sim | Não | Sim, somente substituir | Sim | Sim, somente leitura | Não | Leitor: 1 Escritor: 2 |
| Modelos semânticos direct lake do Power BI | Sim | Sim | N/A (não aplicável) | N/A (não aplicável) | N/A (não aplicável) | Sim | Sim | Não | N/A (não aplicável) |
| Exportar modelos semânticos do Power BI para o OneLake | Sim | N/A (não aplicável) | Sim | Não | Sim | N/A (não aplicável) | Não | Não | Leitor: 2 Escritor: 5 |
| Bancos de dados KQL | Sim | Sim | Não | Não* | Sim | Sim | Não | Não | Leitor: 1 Escritor: 1 |
| Fluxos de eventos | Não | Não | Não | Não | Sim | N/A (não aplicável) | Não | Não | Leitor: 1 Escritor: 2 |
* Bancos de dados KQL fornecem determinadas funcionalidades de manutenção de tabela, como retenção. Os dados são removidos no final do período de retenção do OneLake. Para obter mais informações, consulte Uma cópia lógica.
Nota
- O Fabric não grava mapeamentos de coluna baseados em nome por padrão. A experiência padrão do Fabric gera tabelas compatíveis em todo o serviço. Delta Lake, desenvolvido por serviços de terceiros, pode ter funcionalidades de tabela incompatíveis.
- Algumas experiências Fabric não têm funcionalidades herdadas de otimização e manutenção de tabelas, como compactação de compartimentos, ordenação em V e limpeza de arquivos antigos não referenciados. Para manter as tabelas Delta Lake ideais para análise, siga as técnicas em Usar o recurso de manutenção de tabela para gerenciar as tabelas Delta no Fabric para tabelas ingeridas usando essas experiências.
Limitações atuais
Atualmente, o Fabric não dá suporte a esses recursos do Delta Lake:
- Uniforme do Delta Lake 3.x
- Gravação de colunas de identidade (recurso proprietário do Databricks)
- Tabelas Dinâmicas Delta (recurso proprietário do Databricks)
- RLE (Codificação de Comprimento de Execução) habilitado no arquivo de ponto de verificação
Conteúdo relacionado
- o que é Delta Lake?
- Saiba mais sobre tabelas Delta Lake no Fabric Lakehouse e no Synapse Spark.
- Saiba mais sobre o Direct Lake no Power BI e o Microsoft Fabric.
- Saiba mais sobre como consultar tabelas do Warehouse por meio dos respectivos logs do Delta Lake publicados.