Partilhar via

Disponibilidade do Eventhouse OneLake

  • Artigo

Você pode criar uma cópia lógica dos dados do banco de dados KQL em uma casa de eventos ativando disponibilidade do OneLake. Ativar a disponibilidade do OneLake significa que você pode consultar os dados em seu banco de dados KQL no formato Delta Lake por meio de outros mecanismos de malha, como o modo Direct Lake no Power BI, Warehouse, Lakehouse, Notebooks e muito mais.

O Delta Lake é um formato de tabela de data lake unificado que alcança acesso contínuo a dados em todos os mecanismos de computação no Microsoft Fabric. Para obter mais informações sobre o Delta Lake, consulte O que é Delta Lake?.

Neste artigo, você aprenderá a ativar a disponibilidade de dados de banco de dados KQL no OneLake.

Como funciona

Você pode ativar de disponibilidade do OneLake no nível do banco de dados ou da tabela. Quando ativadas no nível do banco de dados, todas as novas tabelas e seus dados são disponibilizados no OneLake. Ao ativar o recurso, você também pode optar por aplicar essa opção a tabelas existentes selecionando a opção Aplicar a tabelas existentes. Ativar no nível da tabela apenas torna disponível essa tabela e os seus dados no OneLake. A política de retenção de dados do seu banco de dados KQL também é aplicada aos dados no OneLake. Os dados removidos do seu banco de dados KQL no final do período de retenção também são removidos do OneLake. Se desativar a disponibilidade do OneLake, os dados são suavemente eliminados do OneLake.

Enquanto a opção de disponibilidade do OneLake estiver ativada, não se podem executar as seguintes tarefas:

  • Renomear tabelas
  • Alterar esquemas de tabela
  • Aplicar Segurança em Nível de Linha a tabelas
  • Os dados não podem ser excluídos, truncados ou limpos

Se você precisar executar qualquer uma dessas tarefas, use as seguintes etapas:

Importante

Desativar disponibilidade do OneLake soft exclui seus dados do OneLake. Quando você ativa a disponibilidade novamente, apenas novos dados são disponibilizados no OneLake sem preenchimento dos dados excluídos.

  1. Desative a disponibilidade do OneLake .

  2. Execute a tarefa desejada.

  3. Ative a disponibilidade do OneLake .

Importante

Para obter mais informações sobre o tempo que leva para os dados aparecerem no OneLake, consulte Adaptive behavior.

Não há custo de armazenamento adicional para ativar a disponibilidade do OneLake. Para obter mais informações, consulte consumo de recursos.

Pré-requisitos

Ativar a disponibilidade do OneLake

Você pode ativar a disponibilidade do OneLake em um banco de dados KQL ou no nível da tabela.

  1. Para ativar a disponibilidade do OneLake, navegue até a seção OneLake no painel de detalhes do seu banco de dados ou tabela KQL.

  2. Defina Disponibilidade como Ativado.

    Captura de tela da seção OneLake do painel Detalhes do banco de dados mostrando a opção Disponibilidade realçada.

  3. O banco de dados é atualizado automaticamente.

    Captura de tela dos detalhes da seção OneLake no Real-Time Intelligence quando a Disponibilidade estiver definida como Ativado. A opção para expor dados ao OneLake está ativada.

Você ativou a disponibilidade do OneLake em seu banco de dados KQL. Agora você pode acessar todos os novos dados adicionados ao seu banco de dados no caminho OneLake fornecido no formato Delta Lake. Também pode optar por criar um atalho OneLake a partir de um Lakehouse, Data Warehouse ou consultar os dados diretamente através do modo Power BI Direct Lake.

Comportamento adaptativo

A Eventhouse oferece um mecanismo robusto que agrupa de forma inteligente os fluxos de dados recebidos em um ou mais arquivos Parquet, estruturados para análise. O envio em lote de fluxos de dados é importante ao lidar com dados em gotejamento. Escrever muitos pequenos arquivos Parquet no lago pode ser ineficiente, resultando em custos mais altos e baixo desempenho.

O mecanismo adaptativo do Eventhouse pode atrasar as operações de gravação se não houver dados suficientes para criar arquivos Parquet ideais. Isso garante que os arquivos Parquet sejam ótimos em tamanho e sigam as práticas recomendadas do Delta Lake. O mecanismo adaptativo Eventhouse garante que os arquivos Parquet estejam preparados para análise e equilibra a necessidade de disponibilidade imediata de dados com considerações de custo e desempenho.

Nota

  • Por padrão, a operação de gravação pode levar até 3 horas ou até que arquivos de tamanho suficiente (normalmente 200-256 MB) sejam criados.
  • Pode ajustar o atraso para um valor entre 5 minutos e 3 horas.

Por exemplo, use o seguinte comando para definir o atraso para 5 minutos:

.alter-merge table <TableName> policy mirroring dataformat=parquet with (IsEnabled=true, TargetLatencyInMinutes=5);

Atenção

Ajustar o atraso para um período mais curto pode resultar em uma tabela delta subótima com um grande número de arquivos pequenos, o que pode levar a um desempenho de consulta ineficiente. A tabela resultante no OneLake é somente leitura e não pode ser otimizada após a criação.

Você pode monitorar há quanto tempo novos dados foram adicionados no lago verificando a latência dos dados usando o comando .show table mirroring operations comando.

Os resultados são medidos a partir da última vez que os dados foram adicionados. Quando a latência resulta em 00:00:00, todos os dados no banco de dados KQL estão disponíveis no OneLake.

Ver ficheiros

Quando você ativa a disponibilidade do OneLake em uma tabela, uma pasta de log delta é criada junto com todos os arquivos JSON e Parquet correspondentes. Você pode visualizar os arquivos que foram disponibilizados no OneLake e suas propriedades enquanto permanece dentro do Real-Time Intelligence.

  • Para visualizar os arquivos, passe o mouse sobre uma tabela no painel Explorer e, em seguida, selecione o menu Mais [...]>Ver ficheiros.

    Captura de ecrã do painel Explorador a mostrar o menu pendente Mais de uma tabela.

  • Para visualizar as propriedades da pasta de log delta ou os arquivos individuais, passe o mouse sobre a pasta ou arquivo e, em seguida, selecione o menu Mais [...]>Propriedades.

  • Para visualizar os arquivos na pasta delta log:

    1. Selecione a pasta _delta_log .
    2. Selecione um arquivo para exibir os metadados e o esquema da tabela. O editor que abre está em formato somente leitura.

Política de espelhamento de acesso

Por padrão, quando a disponibilidade do OneLake está ativada, uma política de espelhamento é habilitada. Você pode usar a política para monitorar a latência de dados ou alterá-la para particionar tabelas delta.

Nota

Se você desativar a disponibilidade do OneLake, a propriedade da política de IsEnabled espelhamento será definida como false (IsEnabled=false).

Tabelas delta de partição

Você pode particionar suas tabelas delta para melhorar a velocidade de consulta. Para obter informações sobre quando particionar seus arquivos do OneLake, consulte Quando particionar tabelas. Cada partição é representada como uma coluna separada usando o PartitionName listado na lista Partições . Isso significa que sua cópia do OneLake tem mais colunas do que sua tabela de origem.

Para particionar suas tabelas delta, use o comando .alter-merge table policy mirroring .

Conteúdos relacionados