Disponibilidade do Eventhouse OneLake
Você pode criar uma cópia lógica de dados de banco de dados KQL em uma casa de eventos ativando a disponibilidade do OneLake. Ativar a disponibilidade do OneLake significa que você pode realizar consulta dos dados no Banco de Dados KQL no formato Delta Lake por meio de outros mecanismos do Fabric, como o modo Direct Lake no Power BI, Warehouse, Lakehouse, Notebooks e muito mais.
O Delta Lake é um formato unificado de tabela data lake que obtém acesso contínuo a dados em todos os mecanismos de computação no Microsoft Fabric. Para obter mais informações sobre o Delta Lake, confira O que é Delta Lake?.
Neste artigo, você aprenderá a ativar a disponibilidade de dados do banco de dados KQL no OneLake.
Como ele funciona
Você pode ativar a disponibilidade do OneLake no banco de dados ou na tabela. Quando habilitados no nível do banco de dados, todas as novas tabelas e seus dados são disponibilizados no OneLake. Ao ativar o recurso, você também pode optar por aplicar essa opção a tabelas existentes selecionando a opção Aplicar a tabelas existentes. Ao ativar no nível da tabela, apenas essa tabela e seus dados ficam disponíveis no OneLake. A política de retenção de dados do banco de dados KQL também é aplicada aos dados no OneLake. Os dados removidos do banco de dados KQL no fim do período de retenção também são removidos do OneLake. Se você desativar a disponibilidade do OneLake, os dados serão excluídos temporariamente do OneLake.
Embora a disponibilidade do OneLake esteja ativada, você não pode realizar as seguintes tarefas:
- Renomear tabelas
- Alterar esquemas de tabela
- Aplicar segurança de nível de linha a tabelas
- Os dados não podem ser excluídos, truncados ou limpos
Se você precisar realizar qualquer uma dessas tarefas, use as seguintes etapas:
Importante
A desativação da disponibilidade do OneLake exclui seus dados do OneLake. Quando você reativa a disponibilidade, somente novos dados são disponibilizados no OneLake, sem reposição dos dados excluídos.
Desative a disponibilidade do OneLake.
Execute a tarefa desejada.
Ative a disponibilidade do OneLake.
Importante
Para obter mais informações sobre o tempo necessário para que os dados apareçam no OneLake, consulte comportamento adaptável.
Não há custo de armazenamento adicional para ativar a disponibilidade do OneLake. Para obter mais informações, confira consumo de recursos.
Pré-requisitos
- Um espaço de trabalho com uma capacidade habilitada para o Microsoft Fabric
- Um banco de dados KQL com permissões de edição e dados
Ativar a disponibilidade do OneLake
É possível ativar a disponibilidade do OneLake em um banco de dados KQL ou em nível de tabela.
Para ativar a disponibilidade do OneLake, navegue até a seção OneLake no painel de detalhes do banco de dados ou tabela KQL.
Defina a Disponibilidade como Ativada.
O banco de dados é atualizado automaticamente.
Você ativou a disponibilidade do OneLake em seu banco de dados KQL. Agora você pode acessar todos os novos dados adicionados ao banco de dados no caminho do OneLake fornecido no formato Delta Lake. Você também pode optar por criar um atalho do OneLake em um Lakehouse, Data warehouse ou consultar os dados diretamente no modo do Direct Lake do Power BI.
Comportamento adaptável
O Eventhouse oferece um mecanismo robusto que agrupa de modo inteligente os fluxos de dados recebidos em um ou mais arquivos Parquet, estruturados para análise. Agrupar os fluxos de dados em lotes é importante quando lidamos com dados recebidos gradualmente. Gravar muitos arquivos Parquet pequenos no lake pode ser ineficiente, resultando em custos mais altos e desempenho insatisfatório.
O mecanismo adaptável do Eventhouse poderá atrasar as operações de gravação se não houver dados suficientes para criar arquivos Parquet ideais. Isso garante que os arquivos Parquet tenham o tamanho ideal e sigam as práticas recomendadas do Delta Lake. O mecanismo adaptativo do Eventhouse garante que os arquivos Parquet estejam preparados para análise e equilibra a necessidade de disponibilidade imediata de dados com considerações de custo e desempenho.
Observação
- Por padrão, a operação de gravação pode levar até 3 horas ou até que arquivos de tamanho suficiente (normalmente de 200 a 256 MB) sejam criados.
- Você pode ajustar o atraso para um valor entre 5 minutos e 3 horas.
Por exemplo, use o seguinte comando para definir o atraso como 5 minutos:
.alter-merge table <TableName> policy mirroring dataformat=parquet with (IsEnabled=true, TargetLatencyInMinutes=5);
Cuidado
Ajustar o atraso a um período mais curto pode resultar em uma tabela delta abaixo do ideal com um grande número de arquivos pequenos, o que pode levar a um desempenho de consulta ineficiente. A tabela resultante no OneLake é somente leitura e não pode ser otimizada após a criação.
Você pode monitorar o intervalo de tempo desde a última adição ao lake verificando a latência de dados com o comando .show table mirroring operations.
Os resultados são medidos a partir da última adição de dados. Quando o resultado da latência é 00:00:00, todos os dados do banco de dados KQL estão disponíveis no OneLake.
Exibir arquivos
Quando você ativa a disponibilidade do OneLake em uma tabela, uma pasta de logs de delta é criada junto com os arquivos JSON e Parquet correspondentes. É possível realizar a exibição dos arquivos que foram disponibilizados no OneLake e de suas propriedades enquanto permanece na Inteligência em Tempo Real.
Para realizar a exibição dos arquivos, passe o mouse sobre uma tabela no painel Explorer e, em seguida, selecione o menu Mais [...]>Exibir arquivos.
Para realizar a exibição das propriedades da pasta de logs delta ou dos arquivos individuais, passe o mouse sobre a pasta ou sobre o arquivo e, em seguida, selecione o menu Mais [...]>Propriedades.
Como realizar a exibição dos arquivos na pasta de logs delta:
- Selecione a pasta _delta_log.
- Selecione um arquivo para exibir os metadados e o esquema da tabela. O editor que é aberto está no formato somente leitura.
Política de espelhamento de acesso
Por padrão, quando a disponibilidade do OneLake é ativada, uma política de espelhamento é habilitada. Você pode usar a política para monitorar a latência de dados ou alterá-la para tabelas de delta de ´partição.
Observação
Se você desativar a disponibilidade do OneLake, a propriedade IsEnabled da política de espelhamento será definida como false (IsEnabled=false).
Tabelas de delta de partição
Você pode particionar suas tabelas de delta para melhorar a velocidade de consulta. Para obter informações sobre quando particionar arquivos do OneLake, consulte Quando particionar tabelas. Cada partição é representada como uma coluna separada usando o PartitionName listado na lista Partições. Isso significa que sua cópia do OneLake tem mais colunas do que a tabela de origem.
Para particionar as tabelas de delta, use o comando de espelhamento de política de tabela .alter-merge.
Conteúdo relacionado
- Para expor os dados no OneLake, confira Criar um atalho no OneLake
- Para criar um atalho do OneLake no Lakehouse, confira O que são atalhos na lakehouse?
- Para consultar dados referenciados do OneLake em seu banco de dados ou tabela KQL, consulte Criar um atalho do OneLake no banco de dados KQL