Otimize o armazenamento com a desduplicação e a compactação do ReFS no Azure Local

Aplica-se a: Azure Local, versão 23H2

Este artigo descreve o recurso de desduplicação e compactação do Sistema de Arquivos Resiliente (ReFS) e como usar esse recurso no Azure Local para otimizar o armazenamento.

O que é desduplicação e compressão ReFS?

A desduplicação e a compactação do ReFS são um recurso de otimização de armazenamento projetado especificamente para cargas de trabalho ativas, como a VDI (infraestrutura de área de trabalho virtual) do Azure no Azure Local. Esse recurso ajuda a otimizar o uso do armazenamento e a reduzir os custos de armazenamento.

Esse recurso usa a clonagem de blocos do ReFS para reduzir a movimentação de dados e habilitar operações somente de metadados. O recurso opera no nível do bloco de dados e usa o tamanho do bloco fixo, dependendo do tamanho do sistema. O mecanismo de compressão gera um mapa de calor para identificar se um bloco deve ser elegível para compressão, otimizando para o uso da CPU.

Você pode executar a desduplicação e a compactação do ReFS como um trabalho único ou automatizá-lo com trabalhos agendados. Este recurso funciona com sistemas totalmente flash e híbridos e suporta várias configurações de resiliência, como espelho bidirecional, espelho bidirecional aninhado, espelho tridirecional e paridade acelerada por espelho.

Benefícios

Aqui estão os benefícios de usar a desduplicação e a compactação do ReFS:

• Economia de armazenamento para cargas de trabalho ativas. Projetado para cargas de trabalho ativas, como VDI, garantindo um desempenho eficiente em ambientes exigentes.
• Vários modos. Opera em três modos: somente desduplicação, somente compactação e desduplicação e compactação (modo padrão), permitindo otimização com base em suas necessidades.
• Desduplicação incremental. Desduplica apenas dados novos ou alterados, em vez de verificar todo o volume sempre, otimizando a duração do trabalho e reduzindo o impacto no desempenho do sistema.

Pré-requisitos

Antes de começar, certifique-se de que os seguintes pré-requisitos foram concluídos:

• Você tem acesso a uma instância Local do Azure implantada e registrada.
• Você tem o volume compartilhado do cluster (CSV) criado na instância e tem acesso a ele.
• O CSV ainda não tem o recurso de Duplicação de Dados do Windows habilitado.

Usar desduplicação e compactação do ReFS

Você pode usar a desduplicação e a compactação do ReFS por meio do Windows Admin Center ou do PowerShell. O PowerShell permite trabalhos manuais e automatizados, enquanto o Windows Admin Center oferece suporte apenas a trabalhos agendados. Independentemente do método, você pode personalizar as configurações do trabalho e utilizar o controle de alterações de arquivos para execuções subsequentes mais rápidas.

Habilitar e executar a desduplicação e a compactação do ReFS

Centro de Administração do Windows

No Windows Admin Center, você pode criar um agendamento para que a desduplicação do ReFS seja executada em um volume existente ou em um novo volume durante a criação do volume. No entanto, a habilitação da compactação é suportada somente por meio do PowerShell.

Siga estas etapas para habilitar a desduplicação do ReFS por meio do Windows Admin Center e defina um cronograma quando ele deve ser executado:

1. Conecte-se a um sistema e, no painel Ferramentas à esquerda, selecione Volumes.

2. Na página Volumes, selecione a guia Inventário, selecione o volume apropriado e selecione Configurações. Para ativar a desduplicação do ReFS para um novo volume, selecione + Criar.

3. No painel Configurações de volume à direita, na lista suspensa Mais opções, marque a caixa de seleção Usar desduplicação do ReFS.

4. Selecione os dias da semana em que a desduplicação do ReFS deve ser executada, o tempo para um trabalho começar a ser executado e a duração máxima (o padrão é ilimitado) e, em seguida, selecione Salvar.

   A captura de tela a seguir mostra que a desduplicação do ReFS será executada na sexta-feira e no sábado às 22:00 com uma duração máxima de 2 horas, a partir de sexta-feira 27/09/2024. Se a data de início foi alterada para segunda-feira 30/09/2024, a primeira execução será 04/10/2024 22:00, pois essa é a primeira sexta-feira após 30/09/2024.

   

5. Verifique as alterações na seção Propriedades do volume. O agendamento aparece na seção Propriedades e exibe o detalhamento de economia e o próximo tempo de execução agendado. Essas economias são atualizadas após cada execução e você pode observar o impacto no desempenho nos gráficos na seção Desempenho . Se a compactação estiver habilitada por meio do PowerShell, suas economias também aparecerão na seção Propriedades .

   

PowerShell

Para usar a desduplicação e a compactação do ReFS por meio do PowerShell, primeiro habilite o recurso e, em seguida, execute-o como um trabalho manual único ou automatize para executá-lo como trabalhos agendados. Os trabalhos são definidos no nível CSV para cada sistema e podem ser personalizados com base nos modos, duração, uso de recursos do sistema e muito mais.

Habilite a desduplicação e a compactação do ReFS

Siga estas etapas para habilitar a desduplicação e a compactação do ReFS por meio do PowerShell:

1. Conecte-se à sua instância Local do Azure e execute o PowerShell como administrador.

2. Você deve executar todos os comandos para modificar as configurações em um determinado volume no nó proprietário. Execute o seguinte cmdlet para mostrar todos os nós de proprietário CSV e o caminho do volume:

   Get-ClusterSharedVolume | FT Name, OwnerNode, SharedVolumeInfo
   

   Aqui está um exemplo de saída do uso do cmdlet:

   Name                           OwnerNode   SharedVolumeInfo
   ----                           ---------   ----------------
   Cluster Virtual Disk (Volume1) hci-server1 {C:\ClusterStorage\Volume1}
   

3. Execute o seguinte cmdlet para habilitar a desduplicação e a compactação do ReFS em um volume específico:

   Enable-ReFSDedup -Volume <path> -Type <Dedup | DedupAndCompress | Compress> 
   

   onde: Type é um parâmetro obrigatório e pode tomar um dos seguintes valores:

   • Dedup: Permite apenas a desduplicação.
   • DedupAndCompress: Permite a desduplicação e a compressão. Esta é a opção padrão.
   • Comprimir: Permite apenas a compressão.

   Se quiser alterar o parâmetro, você deve primeiro desabilitar a desduplicação e a Type compactação do ReFS e, em seguida, habilitá-lo novamente com o novo Type parâmetro.

   Por exemplo, execute o seguinte cmdlet para habilitar a desduplicação e a compactação em um volume:

   PS C:\Users\hciuser> Enable-ReFSDedup -Volume "C:\ClusterStorage\Volume1" -Type DedupAndCompress
   

4. Depois de habilitar a desduplicação e a compactação do ReFS, verifique seu status no CSV. Execute o cmdlet a seguir e verifique se o Enabled campo na saída é exibido como True e o Type campo exibe o modo especificado.

   Get-ReFSDedupStatus -Volume <path> | FL
   

   Aqui está uma saída de exemplo do Get-ReFSDedupStatus cmdlet em que o Enabled campo é exibido como True e o Type campo como DedupAndCompress:

   PS C:\Users\hciuser> Get-ReFSDedupStatus -Volume "C:\ClusterStorage\Volume1" | FL
   Volume                                    : C:\ClusterStorage\Volume1
   Enabled                                   : True
   Type                                      : DedupAndCompress
   Status                                    : --
   Used                                      : 1.4 TiB
   Deduped                                   : 0 B
   Compressed                                : 0 B
   ScannedOnLastRun                          : 0 B
   DedupedOnLastRun                          : 0 B
   LastRunTime                               : N/A
   LastRunDuration                           : N/A
   MextRunTime                               : N/A
   CompressionFormat                         : Uncompressed
   CompressionLevel                          : 0
   CompressionChunkSize                      : 0 B
   VolumeClusterSizeBytes                    : 4 KiB
   VolumeTotale lusters                      : 805289984
   VolumeTotalAllocatedelusters              : 353850628
   VolumeTotalAllocatedCompressibleClusters  : 0
   VolumeTota1InUseCompressibleClusters      : 0
   VolumeTota1Compressedelusters             : 0
   

Executar desduplicação e compactação do ReFS

Depois de habilitar esse recurso, você pode executar um trabalho único manualmente ou agendar trabalhos recorrentes conforme necessário.

Antes de executar, você também deve considerar estas outras considerações:

• Se você não especificar um formato de compactação, o algoritmo padrão será LZ4. Você pode alterar o algoritmo de uma execução para outra, conforme necessário.
• Você pode especificar mais parâmetros para casos de uso mais complexos. O cmdlet usado nesta seção é para o caso de uso mais simples.
• Os filtros Pasta excluída, Extensões de arquivo excluídas e Hora mínima da última modificação aplicam-se somente ao executar a desduplicação e não se aplicam ao executar a compactação.

Executar manualmente trabalhos de desduplicação e compactação do ReFS

• Para iniciar um trabalho imediatamente, execute o cmdlet a seguir. Depois de iniciar um trabalho, ele State pode aparecer como NotStarted porque ainda pode estar na fase de inicialização.

  Start-ReFSDedupJob -Volume <path> -Duration <TimeSpan> -CompressionFormat <LZ4 | ZSTD> 
  

  Por exemplo, o cmdlet a seguir inicia um trabalho imediatamente por uma duração de 5 horas usando o formato de compactação LZ4:

  PS C:\Users\hciuser> $Start = “10/31/2023 08:30:00”
  PS C:\Users\hciuser> $Duration = New-Timespan -Hours 5
  PS C:\Users\hciuser> Start-ReFSDedupJob -Volume "C:\ClusterStorage\Volume1" -Duration $Duration -CompressionFormat LZ4
  
  Id     Name            PSJobTypeName   State         HasMoreData     Location             Command
  --     ----            -------------   -----         -----------     --------             -------
  12     Job12                           NotStarted    True                                 Start-Re...
  

• Para interromper um trabalho em execução, execute o cmdlet a seguir. Este cmdlet também funciona para trabalhos agendados em andamento.

  Stop-ReFSDedupJob -Volume <path>
  

  Por exemplo, o cmdlet a seguir interrompe o trabalho iniciado no exemplo anterior:

  PS C:\Users\hciuser> Stop-ReFSDedupJob -Volume "C:\ClusterStorage\Volume1"
  

• Para exibir o progresso, a economia e o status de um trabalho, execute o seguinte cmdlet:

  Get-ReFSDedupStatus -Volume <path> | FL
  

  Por exemplo, o cmdlet a seguir exibe o status de um trabalho:

  PS C:\Users\hciuser> Get-ReFSDedupStatus -Volume "C:\ClusterStorage\Volume1"
  
  Volume                                            Type             Used     Deduped Compressed Format
  ------                                            ----             ----     ------- ---------- ------
  C:\ClusterStorage\Volume1 DedupAndCompress 1.38 TiB 0 B     0 B        Unc...
  

Agendar trabalhos recorrentes de desduplicação e compactação do ReFS

Defina um agendamento recorrente para executar otimizações de armazenamento para o volume. Em seguida, você pode visualizar, definir ou modificar, suspender, retomar ou limpar a agenda de trabalho.

• Para definir ou modificar uma agenda, execute o seguinte cmdlet:

  Set-ReFSDedupSchedule -Volume <Path> -Start <DateTime> -Days <DayOfWeek[]> -Duration <TimeSpan> -CompressionFormat <LZ4 | ZSTD> -CompressionLevel <UInt16> -CompressionChunkSize <UInt32> 
  

  Por exemplo, para configurar um trabalho recorrente agendado para ser executado todas as quintas-feiras às 8h30 por uma duração de 5 horas no formato LZ4, execute o cmdlet a seguir. Use -Days EveryDay se você quiser executar o trabalho diariamente.

  PS C:\Users\hciuser> $Start = “10/31/2023 08:30:00”
  PS C:\Users\hciuser> $Duration = New-Timespan -Hours 5
  PS C:\Users\hciuser> Set-ReFSDedupSchedule -Volume C:\ClusterStorage\Volume1 -Start $Start Days "Thursday" -Duration $Duration -CompressionFormat LZ4
  

• Para exibir a agenda de trabalho, execute o seguinte cmdlet:

  Get-ReFSDedupSchedule -Volume <path> | FL
  

  Aqui está a saída do trabalho agendado no exemplo anterior:

  PS C:\Users\hciuser> Get-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1" | FL
  
  Volume                       : C:\ClusterStorage\Volume1
  Enabled                      : True
  Type                         : DedupAndCompress
  CpuPercentage                : Automatic
  ConcurrentOpenFiles          : Automatic
  MinimumLastModifiedTimeHours : 0
  ExcludeFileExtension         : {}
  ExcludeFolder                : {}
  CpuPercentage                : 0
  CompressionFormat            : LZ4
  CompressionLevel             : 1
  CompressionChunkSize         : 4 B
  CompressionTuning            : 70
  RecompressionTuning          : 40
  DecompressionTuning          : 30
  Start                        : 8:30:00 AM
  Duration                     : 00m:00.000s
  Days                         : Thursday
  Suspended                    : False
  

Suspender trabalhos agendados

Suspender o cronograma cancela todos os trabalhos em execução e interrompe as execuções agendadas no futuro. Essa opção retém a desduplicação do ReFS e metadados relacionados à compactação e continua a rastrear alterações de arquivos para execuções futuras otimizadas. Você pode retomar a agenda a qualquer momento, com as configurações da agenda preservadas.

Centro de Administração do Windows

Siga estas etapas para suspender trabalhos agendados usando o Windows Admin Center:

1. Conecte-se a um sistema e, no painel Ferramentas à esquerda, selecione Volumes.

2. Na página Volumes, selecione a guia Inventário, selecione o volume apropriado e selecione Configurações.

3. No painel Configurações de volume à direita, em Mais opções suspensas, desmarque a caixa de seleção Definir agendamento e selecione Salvar.

PowerShell

Use o cmdlet a seguir para suspender o trabalho agendado e verificar o status usando o PowerShell:

Suspend-ReFSDedupSchedule -Volume <path> 

Aqui está um exemplo de saída do uso do cmdlet. O Suspended campo é exibido como True.

PS C:\Users\hciuser> Suspend-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1"
PS C:\Users\user> Get-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1" | FL


Volume                       : C:\ClusterStorage\Volume1
Enabled                      : True
Type                         : DedupAndCompress
CpuPercentage                : Automatic
ConcurrentOpenFiles          : Automatic
MinimumLastModifiedTimeHours : 0
ExcludeFileExtension         : {}
ExcludeFolder                : {}
CpuPercentage                : 0
CompressionFormat            : LZ4
CompressionLevel             : 1
CompressionChunkSize         : 4 B
CompressionTuning            : 70
RecompressionTuning          : 40
DecompressionTuning          : 30
Start                        : 8:30:00 AM
Duration                     : 00m:00.000s
Days                         : Thursday
Suspended                    : True

Desabilitar a desduplicação e a compactação do ReFS em um volume

A desativação da desduplicação e compactação do ReFS em um volume interrompe todas as execuções em andamento e cancela trabalhos agendados futuros. Além disso, os metadados de volume relacionados não são retidos e o controle de alterações de arquivos é interrompido.

Nota

Quando você desabilita esse recurso, ele não desfaz a desduplicação ou a compactação, pois todas as operações ocorrem na camada de metadados. Com o tempo, os dados desduplicados retornam ao seu estado original à medida que o volume incorre em leituras e gravações. Para descompactar os dados, verifique se há capacidade suficiente disponível e use o ReFSUtil para executar a operação a seguir.

refsutil compression /c /f NONE <vol>

Centro de Administração do Windows

Siga estas etapas para desabilitar o recurso usando o Windows Admin Center:

1. Conecte-se a um sistema e, no painel Ferramentas à esquerda, selecione Volumes.

2. Na página Volumes, selecione a guia Inventário, selecione o volume apropriado e selecione Configurações.

3. No painel Configurações de volume à direita, em Mais opções suspensas, desmarque a caixa de seleção Usar desduplicação do ReFS e selecione Salvar.

PowerShell

Use o seguinte cmdlet para suspender o trabalho agendado e verificar o status:

Disable-ReFSDedup -Volume <path>

Aqui está um exemplo de saída do uso do cmdlet. O Enabled campo é exibido como False e o Type campo é exibido como em branco.

PS C:\Users\hciuser> Disable-ReFSDedup -Volume "C:\ClusterStorage\Volume1"
PS C:\Users\hciuser> Get-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1" | FL


Volume                       : C:\ClusterStorage\Volume1
Enabled                      : False
Type                         :
CpuPercentage                : Automatic
ConcurrentOpenFiles          : Automatic
MinimumLastModifiedTimeHours : 0
ExcludeFileExtension         : {}
ExcludeFolder                : {}
CpuPercentage                : 0
CompressionFormat            : LZ4
CompressionLevel             : 0
CompressionChunkSize         : 0 B
CompressionTuning            : 70
RecompressionTuning          : 40
DecompressionTuning          : 30
Start                        : N/A
Duration                     : N/A
Days                         : None
Suspended                    : False

Perguntas mais frequentes (FAQ)

Esta seção responde a perguntas freqüentes sobre a desduplicação e a compactação do ReFS.

O recurso de desduplicação e compactação do ReFS é diferente da Desduplicação de Dados do Windows?

Sim, esse recurso é totalmente diferente do recurso de Eliminação de Duplicação de Dados do Windows.

Importante

Não suportamos a habilitação simultânea da desduplicação e compactação do ReFS e da desduplicação de dados do Windows.

A desduplicação e a compactação do ReFS foram projetadas para cargas de trabalho ativas, com foco na minimização do impacto no desempenho após a otimização. Ao contrário da Desduplicação de Dados do Windows, a desduplicação e a compactação do ReFS não usam um armazenamento de partes para armazenar dados enganados e não há nenhuma movimentação de dados físicos envolvida. O recurso depende da clonagem de blocos do ReFS para habilitar operações somente de metadados. A Desduplicação de Dados do Windows pode proporcionar melhores economias de armazenamento devido ao uso de tamanhos de bloco variáveis, também é adequada para uma gama mais ampla de tipos de carga de trabalho, como servidores de arquivos de uso geral (GPFS), destinos de backup e muito mais.

Quais são as fases de desduplicação e compressão do ReFS?

O processo de otimização compreende as seguintes fases que ocorrem sequencialmente e dependem do modo especificado. Se uma execução de otimização atingir um limite de duração, a compactação pode não ser executada.

• Inicialização. Nesta fase, o volume de armazenamento é verificado para identificar blocos redundantes de dados.

• Desduplicação de dados. Nesta fase, os blocos redundantes são de instância única e rastreados usando a clonagem de blocos ReFS.

• Compressão. Nesta fase, um mapa de calor é gerado para identificar se um bloco deve ser elegível para compressão. As configurações padrão compactam dados acessados com pouca frequência ou frios para reduzir seu tamanho. Você pode alterar os níveis de compactação para ajustar o intervalo de blocos qualificados para compressão.

O que acontece quando o limite de duração é atingido antes que o volume seja totalmente otimizado?

O limite de duração está em vigor para evitar qualquer impacto no desempenho das cargas de trabalho do cliente causado pelo trabalho de otimização durante o horário comercial. Um serviço de desduplicação monitora as partes otimizadas de um volume e as modificações de arquivos recebidos. Esses dados são utilizados em trabalhos futuros para reduzir o tempo de otimização. Por exemplo, se um volume é apenas 30% processado na primeira execução devido ao limite de duração, a execução subsequente aborda os 70% restantes e quaisquer novos dados.

Problemas conhecidos

A seção a seguir lista os problemas conhecidos que existem atualmente com a desduplicação e a compactação do ReFS.

Quando a Compactação está habilitada, o uso do -FullRun parâmetro em trabalhos após a primeira execução de otimização pode resultar em um impasse no sistema.

Estado: Aberto.

Evite usar -FullRun em trabalhos iniciados manualmente, a menos que o Type seja Dedup.

Siga estas etapas como uma solução temporária para atenuar esse problema:

1. Desative a desduplicação e a compactação do ReFS no volume:

   Disable-ReFSDedup -Volume <path>
   

2. Descomprimir o volume utilizando refsutil:

   refsutil compression /c /f NONE <vol>
   

3. Reative a desduplicação e a compactação do ReFS com o Dedup único modo, se necessário:

   Enable-ReFSDedup -Volume <path> -Type Dedup
   

Agendar trabalhos para serem executados simultaneamente em vários CSVs em um único sistema pode potencialmente desencadear movimentos CSV e afetar negativamente o desempenho.

Estado: Aberto.

Como prática recomendada, considere escalonar a hora de início dos trabalhos para evitar qualquer sobreposição. No entanto, se todos os trabalhos tiverem de ser executados simultaneamente, ajuste a alocação de CPU por tarefa em todos os CSVs para que corresponda a menos de 50% da utilização geral da CPU do sistema. Lembre-se de que impor limitações de CPU pode resultar em tempos de execução de trabalho mais longos.

O trabalho de desduplicação e compactação do ReFS foi concluído (com êxito ou foi cancelado) e a economia de armazenamento não estão listados no Get-ReFSDedupStatus Windows Admin Center.

Estado: Resolvido.

A solução temporária para esse problema é iniciar um trabalho único e os resultados são atualizados imediatamente.

Start-ReFSDedupJob -Volume <path>

O envio interrompeu o monitoramento de eventos do Rastreamento de Eventos para Windows (ETW) depois de desabilitar a desduplicação e a compactação do ReFS em um volume.

Estado: Resolvido.

Depois que a desduplicação e a compactação do ReFS são desabilitadas em um volume, o canal ETW para desduplicação do ReFS registra repetidos eventos de monitoramento interrompidos. No entanto, não prevemos um impacto significativo na utilização devido a este problema.

Evento de falha de trabalho não registrado se o volume for movido para outro nó durante a compactação.

Estado: Resolvido.

Se o CSV for movido para outra máquina do sistema enquanto a compactação estiver em andamento, o evento de falha do trabalho não será registrado no canal de desduplicação do ReFS. No entanto, não prevemos um impacto significativo na utilização devido a este problema.

Próximos passos

• Gerencie o volume.