Partilhar via

Aceleração de consulta para atalhos do OneLake - visão geral (visualização)

  • Artigo

Os atalhos do OneLake são referências de uma Eventhouse que apontam para o Fabric interno ou fontes externas. Esse tipo de atalho é acessado posteriormente para consulta em conjuntos de consultas KQL usando a external_table() função. As consultas executadas em atalhos do OneLake podem ter menos desempenho do que em dados ingeridos diretamente para Eventhouses devido a vários fatores, como chamadas de rede para buscar dados do armazenamento, ausência de índices e muito mais.

A aceleração de consultas permite especificar uma política sobre tabelas delta externas que define o número de dias para armazenar dados em cache para consultas de alto desempenho.

A aceleração de consultas é suportada no Eventhouse sobre tabelas delta de atalhos do OneLake, Azure Data Lake Store Gen1, Amazon S3, Google Cloud Services, tabelas externas de armazenamento de blob do Azure e todos os destinos suportados pelos atalhos do OneLake.

Importante

Este recurso está em pré-visualização.

Nota

  • Se você tiver considerações de conformidade que exijam que você armazene dados em uma região específica, verifique se a capacidade do Eventhouse está na mesma região que a tabela externa ou os dados de atalho.

  • As tabelas externas aceleradas adicionam ao COGS de armazenamento e ao consumo de armazenamento SSD a sua Eventhouse, semelhante às tabelas normais na sua base de dados KQL. Você pode controlar a quantidade de dados a serem armazenados em cache definindo a propriedade Hot na política de aceleração de consulta. A atividade de indexação e ingestão também contribui para o uso de recursos computacionais.

Quando devo usar a aceleração de consulta para atalhos do OneLake?

A aceleração de consulta armazena em cache os dados à medida que chegam ao OneLake, fornecendo desempenho comparável à ingestão de dados no Eventhouse. Ao usar esse recurso, você pode acelerar o pouso de dados no OneLake, incluindo dados existentes e quaisquer novas atualizações, e esperar um desempenho semelhante. Isso elimina a necessidade de gerenciar pipelines de ingestão, manter cópias duplicadas de dados e, ao mesmo tempo, garantir que os dados permaneçam sincronizados sem esforço adicional.

Os cenários a seguir são ideais para usar a aceleração de consulta em atalhos do OneLake:

  • Consultar dados no OneLake com alto desempenho: quando você tem cargas de trabalho existentes que estão carregando dados e gerenciando-os em armazenamento (opcionalmente em uma nuvem ou região diferente) e gostaria de consultar alguns ou todos os dados com alto desempenho.
  • Combine dados históricos com fluxos em tempo real: quando você quiser combinar perfeitamente o embarque de dados no OneLake diretamente com fluxos em tempo real que entram no Eventhouse sem comprometer as velocidades de consulta.
  • Aproveite os dados de dimensão gerenciados por outros itens: muitas vezes, dados de alto valor e pequenos volumes são hospedados em servidores SQL, Cosmos DB, Snowflake ou outros sistemas que podem ser espelhados no OneLake. Os atalhos acelerados do OneLake podem tornar esses dados facilmente consumíveis para junções e enriquecimento na consulta do Eventhouse. Como os dados de dimensão são muitas vezes significativamente menores do que os dados de atividade, o custo adicional associado a esse uso é normalmente mínimo.

Comportamento de tabelas delta externas aceleradas

Os atalhos acelerados do OneLake se comportam como tabelas externas, com as mesmas limitações e recursos. Especificamente, recursos como exibição materializada e políticas de atualização não são suportados.

Monitorar o comportamento de aceleração

O processo inicial de aceleração da consulta depende do tamanho da tabela externa. Para monitorar o progresso e as configurações de uma tabela acelerada, use o comando .show external table operations query_acceleration statistics em um conjunto de consultas KQL.

Limitações

  • O número de colunas na tabela externa não pode exceder 900.
  • O desempenho da consulta em tabelas delta externas aceleradas que têm partições pode não ser ideal durante a visualização.
  • O recurso pressupõe tabelas delta com recursos avançados estáticos, por exemplo, o mapeamento de colunas não muda, as partições não mudam e assim por diante. Para alterar recursos avançados, primeiro desative a política e, uma vez que a alteração seja feita, reative a política.
  • As alterações de esquema na tabela delta também devem ser seguidas com o respetivo .alter esquema de tabela delta externa, o que pode resultar em aceleração começando do zero se houver alteração de esquema de quebra.
  • A remoção baseada em índice não é suportada para partições.
  • Os ficheiros Parquet com um tamanho comprimido superior a 6 GB não serão armazenados em cache.

Faturação

Os dados acelerados são cobrados no medidor de cache OneLake Premium, semelhante às tabelas nativas do Eventhouse. Você pode controlar a quantidade de dados que é acelerada configurando o número de dias para armazenar em cache. A atividade de indexação também pode contar para o consumo de UC. Para obter mais informações, consulte Faturamento de armazenamento.

As cobranças relacionadas à aceleração de consulta aparecerão no aplicativo de métricas do Fabric na Eventhouse onde o atalho acelerado é criado.

Conteúdos relacionados