Entenda o V-Order para o Microsoft Fabric Warehouse
Aplica-se a:✅ Armazém no Microsoft Fabric
O Warehouse no armazenamento do Microsoft Fabric usa o formato de tabela Delta Lake para todos os dados do usuário. Além das otimizações fornecidas pelo formato Delta, um armazém aplica otimizações ao armazenamento para fornecer um desempenho de consulta mais rápido em cenários de análise, mantendo a aderência ao formato Parquet. Este artigo aborda a otimização de gravação V-Order, seus benefícios e como controlá-la.
O que é V-Order?
V-Order é uma otimização do tempo de gravação para o formato de arquivo parquet que permite leituras ultrarrápidas nos mecanismos de computação do Microsoft Fabric, como Power BI, SQL, Spark e outros.
Os mecanismos Power BI e SQL usam a tecnologia Microsoft Verti-Scan e arquivos de parquet V-Ordered para obter tempos de acesso a dados semelhantes aos da memória. O Spark e outros mecanismos de computação não-Verti-Scan também se beneficiam dos arquivos V-Ordered com uma média de tempos de leitura 10% mais rápidos, com alguns cenários de até 50%.
V-Order funciona aplicando classificação especial, distribuição de grupo de linhas, codificação de dicionário e compactação em arquivos Parquet. Como resultado, os mecanismos de computação exigem menos recursos de rede, disco e CPU para ler dados do armazenamento, proporcionando eficiência de custos e desempenho. É 100% compatível com o formato de parquet de código aberto; Todos os motores de Parquet podem lê-lo como arquivos de Parquet regulares.
Considerações de desempenho
Considere o seguinte antes de decidir desativar o V-Order:
- O modo Microsoft Fabric Direct Lake depende da V-Order.
- No warehouse, o efeito do V-Order no desempenho pode variar dependendo dos esquemas de tabela, volumes de dados, consulta e padrões de ingestão.
- Certifique-se de testar como o V-Order afeta o desempenho da ingestão de dados e de suas consultas antes de decidir desativá-lo. Considere criar uma cópia do seu armazém de teste usando o controle do código-fonte, desabilitar o V-Order na cópia e executar tarefas de ingestão e consulta de dados para testar as implicações de desempenho.
Cenários em que o V-Order pode não ser benéfico
Considere o efeito do V-Order no desempenho antes de decidir se desativar o V-Order é o ideal para você.
Atenção
Atualmente, a desativação do V-Order só pode ser feita no nível do armazém, e é irreversível: uma vez desativado, não pode ser ativado novamente. Os usuários devem considerar o desempenho se optarem por desativar o V-Order no Fabric Warehouse.
A desativação do V-Order pode ser útil para armazéns com uso intensivo de gravação, como armazéns dedicados ao preparo de dados como parte de um processo de ingestão de dados. As tabelas de preparo geralmente são descartadas e recriadas (ou truncadas) para processar novos dados. Essas tabelas de preparo podem então ser lidas apenas uma ou duas vezes, o que pode não justificar o tempo de ingestão adicionado pela aplicação do V-Order. Ao desativar o V-Order e reduzir o tempo de ingestão de dados, o tempo total para processar dados durante os trabalhos de ingestão pode ser reduzido. Nesse caso, você deve segmentar o depósito de preparo do seu armazém principal voltado para o usuário, para que as consultas de análise e o Power BI possam se beneficiar do V-Order.