Disponibilidade do Eventhouse OneLake
É possível criar uma cópia lógica dos dados do banco de dados KQL em um eventhouse ativando a disponibilidade do OneLake. Ativar a disponibilidade do OneLake significa que você pode realizar consulta dos dados no Banco de Dados KQL no formato Delta Lake por meio de outros mecanismos do Fabric, como o modo Direct Lake no Power BI, Warehouse, Lakehouse, Notebooks e muito mais.
O Delta Lake é um formato unificado de tabela data lake que obtém acesso contínuo a dados em todos os mecanismos de computação no Microsoft Fabric. Para obter mais informações sobre o Delta Lake, confira O que é Delta Lake?.
Neste artigo, você aprende como ativar a disponibilidade de dados do Banco de Dados KQL no OneLake.
Como ele funciona
A tabela apresentada a seguir descreve o comportamento do Banco de Dados KQL e das tabelas quando você ativa ou desativa a disponibilidade do OneLake.
| Ativada | Desativada | |
|---|---|---|
| Banco de dados KQL | - As tabelas existentes não são afetadas. Novas tabelas estão disponíveis no OneLake. - A política de retenção de dados do banco de dados KQL também é aplicada aos dados no OneLake. Os dados removidos do banco de dados KQL no fim do período de retenção também são removidos do OneLake. |
- As tabelas existentes não são afetadas. Novas tabelas não estarão disponíveis no OneLake. |
| Uma tabela no banco de dados KQL | - Novos dados estão disponíveis no OneLake. - Os dados existentes não são provisionados. - Os dados não podem ser excluídos, truncados ou limpos. O esquema de tabela não pode ser alterado e a tabela não pode ser renomeada. – A Segurança em Nível de Linha não pode ser aplicada à tabela. |
- Novos dados não estão disponíveis no OneLake. - Os dados podem ser excluídos, truncados ou limpos. - O esquema de tabela pode ser alterado e a tabela pode ser renomeada. - Os dados são excluídos temporariamente do OneLake. |
Importante
Pode levar até algumas horas para os dados aparecerem no OneLake. Para obter mais informações, consulte Comportamento Adaptativo.
Não há custo de armazenamento adicional para ativar a disponibilidade do OneLake. Para obter mais informações, confira consumo de recursos.
Pré-requisitos
- Um espaço de trabalho com uma capacidade habilitada para o Microsoft Fabric
- Um banco de dados KQL com permissões de edição e dados
Ativar a disponibilidade do OneLake
É possível ativar a disponibilidade do OneLake em um banco de dados KQL ou em nível de tabela.
Para ativar a disponibilidade do OneLake, navegue até a seção OneLake no painel de detalhes do banco de dados ou tabela KQL.
Defina a Disponibilidade como Ativada.
O banco de dados é atualizado automaticamente.
Você ativou a disponibilidade do OneLake em seu banco de dados KQL. Agora você pode acessar todos os novos dados adicionados ao banco de dados no caminho do OneLake fornecido no formato Delta Lake. Você também pode optar por criar um atalho do OneLake em um Lakehouse, Data warehouse ou consultar os dados diretamente no modo do Direct Lake do Power BI.
Comportamento adaptável
O Eventhouse oferece um mecanismo robusto que agrupa de modo inteligente os fluxos de dados recebidos em um ou mais arquivos Parquet, estruturados para análise. Agrupar os fluxos de dados em lotes é importante quando lidamos com dados recebidos gradualmente. Gravar muitos arquivos Parquet pequenos no lake pode ser ineficiente, resultando em custos mais altos e desempenho insatisfatório.
O mecanismo adaptativo do Eventhouse pode atrasar as operações de gravação em até algumas horas se não houver dados suficientes para criar arquivos Parquet ideais. Isso garante que os arquivos Parquet tenham o tamanho ideal e sigam as práticas recomendadas do Delta Lake. O mecanismo adaptativo do Eventhouse garante que os arquivos Parquet estejam preparados para análise e equilibra a necessidade de disponibilidade imediata de dados com considerações de custo e desempenho.
Você pode monitorar há quanto tempo os novos dados foram adicionados ao lake verificando a latência de dados com o comando .show table mirroring operations.
Os resultados são medidos a partir da última adição de dados. Quando o resultado da latência é 00:00:00, todos os dados do banco de dados KQL estão disponíveis no OneLake.
Exibir arquivos
Quando você ativa a disponibilidade do OneLake em uma tabela, uma pasta de logs de delta é criada junto com os arquivos JSON e Parquet correspondentes. É possível realizar a exibição dos arquivos que foram disponibilizados no OneLake e de suas propriedades enquanto permanece na Inteligência em Tempo Real.
Para realizar a exibição dos arquivos, passe o mouse sobre uma tabela no painel Explorer e, em seguida, selecione o menu Mais [...]>Exibir arquivos.
Para realizar a exibição das propriedades da pasta de logs delta ou dos arquivos individuais, passe o mouse sobre a pasta ou sobre o arquivo e, em seguida, selecione o menu Mais [...]>Propriedades.
Como realizar a exibição dos arquivos na pasta de logs delta:
- Selecione a pasta _delta_log.
- Selecione um arquivo para exibir os metadados e o esquema da tabela. O editor que é aberto está no formato somente leitura.
Política de espelhamento de acesso
Por padrão, quando a disponibilidade do OneLake é ativada, uma política de espelhamento é habilitada. Você pode usar a política para monitorar a latência de dados ou alterá-la para tabelas de delta de ´partição.
Observação
Se você desativar a disponibilidade do OneLake, a propriedade IsEnabled da política de espelhamento será definida como false (IsEnabled=false).
Tabelas de delta de partição
Você pode particionar suas tabelas de delta para melhorar a velocidade de consulta. Para obter informações sobre quando particionar arquivos do OneLake, consulte Quando particionar tabelas. Cada partição é representada como uma coluna separada usando o PartitionName listado na lista Partições. Isso significa que sua cópia do OneLake tem mais colunas do que a tabela de origem.
Para particionar as tabelas de delta, use o comando de espelhamento de política de tabela .alter-merge.
Conteúdo relacionado
- Para expor os dados no OneLake, confira Criar um atalho no OneLake
- Para criar um atalho do OneLake no Lakehouse, confira O que são atalhos na lakehouse?
- Para consultar dados referenciados do OneLake em seu banco de dados ou tabela KQL, consulte Criar um atalho do OneLake no Banco de dados KQL