Optimización del almacenamiento con desduplicación y compresión de ReFS en Azure Local

Se aplica a: Azure Local, versión 23H2

En este artículo se describe la característica de desduplicación y compresión del sistema de archivos resistente (ReFS) y cómo usar esta característica en Azure Local para optimizar el almacenamiento.

¿Qué es la desduplicación y compresión de ReFS?

La desduplicación y compresión de ReFS es una característica de optimización de almacenamiento diseñada específicamente para cargas de trabajo activas, como la infraestructura de escritorio virtual (VDI) de Azure en Azure Local. Esta característica ayuda a optimizar el uso del almacenamiento y a reducir el costo de almacenamiento.

Esta característica usa la clonación de bloques reFS para reducir el movimiento de datos y habilitar solo las operaciones de metadatos. La característica funciona en el nivel de bloque de datos y usa el tamaño fijo del bloque en función del tamaño del sistema. El motor de compresión genera un mapa térmico para identificar si un bloque debe ser apto para la compresión, optimizando para el uso de CPU.

Puede ejecutar la desduplicación y compresión de ReFS como un trabajo único o automatizarlo con trabajos programados. Esta característica funciona con sistemas híbridos y todo flash, y admite varias configuraciones de resistencia, como reflejo bidireccional, espejo bidireccional anidado, reflejo triple y paridad acelerada de reflejo.

Ventajas

Estas son las ventajas de usar la desduplicación y compresión de ReFS:

• Ahorros de almacenamiento para cargas de trabajo activas. Diseñado para cargas de trabajo activas, como VDI, lo que garantiza un rendimiento eficaz en entornos exigentes.
• Varios modos. Funciona en tres modos: desduplicación solo, compresión y desduplicación y compresión (modo predeterminado), lo que permite la optimización en función de sus necesidades.
• Desduplicación incremental. Desduplica solo los datos nuevos o modificados en lugar de examinar todo el volumen cada vez, optimizando la duración del trabajo y reduciendo el impacto en el rendimiento del sistema.

Requisitos previos

Antes de comenzar, asegúrese de que se completan los siguientes requisitos previos:

• Tiene acceso a una instancia local de Azure implementada y registrada.
• Tiene el volumen compartido de clúster (CSV) creado en la instancia y tiene acceso a él.
• El CSV no tiene habilitada la característica Desduplicación de datos de Windows.

Uso de la desduplicación y compresión de ReFS

Puedes usar la desduplicación y compresión de ReFS a través de Windows Admin Center o PowerShell. PowerShell permite trabajos manuales y automatizados, mientras que Windows Admin Center solo admite trabajos programados. Independientemente del método, puede personalizar la configuración del trabajo y usar el seguimiento de cambios de archivos para las ejecuciones posteriores más rápidas.

Habilitación y ejecución de la desduplicación y compresión de ReFS

Windows Admin Center

En Windows Admin Center, puedes crear una programación para que la desduplicación de ReFS se ejecute en un volumen existente o en un nuevo volumen durante la creación del volumen. Sin embargo, la habilitación de la compresión solo se admite a través de PowerShell.

Siga estos pasos para habilitar la desduplicación de ReFS a través de Windows Admin Center y establecer una programación cuando se debe ejecutar:

1. Conéctese a un sistema y, a continuación, en el panel Herramientas de la izquierda, seleccione Volúmenes.

2. En la página Volúmenes , seleccione la pestaña Inventario , seleccione el volumen adecuado y, a continuación, seleccione Configuración. Para activar la desduplicación de ReFS para un nuevo volumen, seleccione + Crear.

3. En el panel Configuración de volumen de la derecha, en la lista desplegable Más opciones , active la casilla Usar desduplicación de ReFS.

4. Seleccione los días de la semana en los que se debe ejecutar la desduplicación de ReFS, el tiempo para que un trabajo empiece a ejecutarse y la duración máxima (el valor predeterminado es ilimitado) y, a continuación, seleccione Guardar.

   En la captura de pantalla siguiente se muestra que la desduplicación de ReFS se ejecutará el viernes y el sábado a las 10:00 p. m. con una duración máxima de 2 horas, a partir del viernes 27/27/2024. Si la fecha de inicio se cambió al lunes 9/30/2024, la primera ejecución será 10/4/2024 10:00 p. m. como el primer viernes después del 30/9/2024.

   

5. Compruebe los cambios en la sección Propiedades del volumen. La programación aparece en la sección Propiedades y muestra el desglose del ahorro y el siguiente tiempo de ejecución programado. Estos ahorros se actualizan después de cada ejecución y puede observar el impacto en el rendimiento en los gráficos de la sección Rendimiento . Si la compresión está habilitada a través de PowerShell, sus ahorros también se mostrarán en la sección Propiedades .

   

PowerShell

Para usar la desduplicación y compresión de ReFS a través de PowerShell, primero habilite la característica y, a continuación, ejecútela como un trabajo manual único o automatice para ejecutarla como trabajos programados. Los trabajos se establecen en el nivel CSV de cada sistema y se pueden personalizar en función de los modos, la duración, el uso de recursos del sistema, etc.

Habilitación de la desduplicación y compresión de ReFS

Siga estos pasos para habilitar la desduplicación y compresión de ReFS mediante PowerShell:

1. Conéctese a la instancia local de Azure y ejecute PowerShell como administrador.

2. Debe ejecutar todos los comandos para modificar la configuración de un volumen determinado en el nodo propietario. Ejecute el siguiente cmdlet para mostrar todos los nodos propietarios de CSV y la ruta de acceso del volumen:

   Get-ClusterSharedVolume | FT Name, OwnerNode, SharedVolumeInfo
   

   Esta es una salida de ejemplo del uso del cmdlet:

   Name                           OwnerNode   SharedVolumeInfo
   ----                           ---------   ----------------
   Cluster Virtual Disk (Volume1) hci-server1 {C:\ClusterStorage\Volume1}
   

3. Ejecute el siguiente cmdlet para habilitar la desduplicación y compresión de ReFS en un volumen específico:

   Enable-ReFSDedup -Volume <path> -Type <Dedup | DedupAndCompress | Compress> 
   

   where: Type es un parámetro obligatorio y puede tomar uno de los siguientes valores:

   • Desduplicación: habilita solo la desduplicación.
   • DedupAndCompress: habilita tanto la desduplicación como la compresión. Ésta es la opción predeterminada.
   • Comprimir: habilita solo la compresión.

   Si desea cambiar el Type parámetro, primero debe deshabilitar la desduplicación y compresión de ReFS y, a continuación, habilitarlo de nuevo con el nuevo Type parámetro.

   Por ejemplo, ejecute el siguiente cmdlet para habilitar la desduplicación y la compresión en un volumen:

   PS C:\Users\hciuser> Enable-ReFSDedup -Volume "C:\ClusterStorage\Volume1" -Type DedupAndCompress
   

4. Después de habilitar la desduplicación y compresión de ReFS, compruebe su estado en el CSV. Ejecute el siguiente cmdlet y asegúrese de que el Enabled campo de la salida se muestra como True y el Type campo muestra el modo especificado.

   Get-ReFSDedupStatus -Volume <path> | FL
   

   Esta es una salida de ejemplo del Get-ReFSDedupStatus cmdlet donde el Enabled campo se muestra como True y el Type campo se muestra como DedupAndCompress:

   PS C:\Users\hciuser> Get-ReFSDedupStatus -Volume "C:\ClusterStorage\Volume1" | FL
   Volume                                    : C:\ClusterStorage\Volume1
   Enabled                                   : True
   Type                                      : DedupAndCompress
   Status                                    : --
   Used                                      : 1.4 TiB
   Deduped                                   : 0 B
   Compressed                                : 0 B
   ScannedOnLastRun                          : 0 B
   DedupedOnLastRun                          : 0 B
   LastRunTime                               : N/A
   LastRunDuration                           : N/A
   MextRunTime                               : N/A
   CompressionFormat                         : Uncompressed
   CompressionLevel                          : 0
   CompressionChunkSize                      : 0 B
   VolumeClusterSizeBytes                    : 4 KiB
   VolumeTotale lusters                      : 805289984
   VolumeTotalAllocatedelusters              : 353850628
   VolumeTotalAllocatedCompressibleClusters  : 0
   VolumeTota1InUseCompressibleClusters      : 0
   VolumeTota1Compressedelusters             : 0
   

Ejecución de la desduplicación y compresión de ReFS

Después de habilitar esta característica, puede ejecutar manualmente un trabajo único o programar trabajos periódicos según sea necesario.

Antes de ejecutar, también debe tener en cuenta estas otras consideraciones:

• Si no especifica un formato de compresión, el algoritmo predeterminado es LZ4. Puede cambiar el algoritmo de una ejecución a otra según sea necesario.
• Puede especificar más parámetros para casos de uso más complejos. El cmdlet usado en esta sección es para el caso de uso más sencillo.
• Los filtros De carpetas excluidas, Extensiones de archivo excluidos y Horas mínimas de última modificación solo se aplican cuando se ejecuta la desduplicación y no se aplican al ejecutar la compresión.

Ejecución manual de trabajos de desduplicación y compresión de ReFS

• Para iniciar un trabajo inmediatamente, ejecute el siguiente cmdlet. Una vez que inicie un trabajo, State podría aparecer como NotStarted porque todavía podría estar en la fase de inicialización.

  Start-ReFSDedupJob -Volume <path> -Duration <TimeSpan> -CompressionFormat <LZ4 | ZSTD> 
  

  Por ejemplo, el siguiente cmdlet inicia un trabajo inmediatamente durante una duración de 5 horas con el formato de compresión LZ4:

  PS C:\Users\hciuser> $Start = “10/31/2023 08:30:00”
  PS C:\Users\hciuser> $Duration = New-Timespan -Hours 5
  PS C:\Users\hciuser> Start-ReFSDedupJob -Volume "C:\ClusterStorage\Volume1" -Duration $Duration -CompressionFormat LZ4
  
  Id     Name            PSJobTypeName   State         HasMoreData     Location             Command
  --     ----            -------------   -----         -----------     --------             -------
  12     Job12                           NotStarted    True                                 Start-Re...
  

• Para detener un trabajo en ejecución, ejecute el siguiente cmdlet. Este cmdlet también funciona para trabajos programados en curso.

  Stop-ReFSDedupJob -Volume <path>
  

  Por ejemplo, el siguiente cmdlet detiene el trabajo que inició en el ejemplo anterior:

  PS C:\Users\hciuser> Stop-ReFSDedupJob -Volume "C:\ClusterStorage\Volume1"
  

• Para ver el progreso, el ahorro y el estado de un trabajo, ejecute el siguiente cmdlet:

  Get-ReFSDedupStatus -Volume <path> | FL
  

  Por ejemplo, el siguiente cmdlet muestra el estado de un trabajo:

  PS C:\Users\hciuser> Get-ReFSDedupStatus -Volume "C:\ClusterStorage\Volume1"
  
  Volume                                            Type             Used     Deduped Compressed Format
  ------                                            ----             ----     ------- ---------- ------
  C:\ClusterStorage\Volume1 DedupAndCompress 1.38 TiB 0 B     0 B        Unc...
  

Programación de trabajos periódicos de desduplicación y compresión de ReFS

Establezca una programación recurrente para ejecutar optimizaciones de almacenamiento para el volumen. A continuación, puede ver, establecer o modificar, suspender, reanudar o borrar la programación del trabajo.

• Para establecer o modificar una programación, ejecute el siguiente cmdlet:

  Set-ReFSDedupSchedule -Volume <Path> -Start <DateTime> -Days <DayOfWeek[]> -Duration <TimeSpan> -CompressionFormat <LZ4 | ZSTD> -CompressionLevel <UInt16> -CompressionChunkSize <UInt32> 
  

  Por ejemplo, para configurar un trabajo periódico programado para ejecutarse cada jueves a las 8:30 a.m. durante una duración de 5 horas en el formato LZ4, ejecute el siguiente cmdlet. Use -Days EveryDay si desea ejecutar el trabajo diariamente.

  PS C:\Users\hciuser> $Start = “10/31/2023 08:30:00”
  PS C:\Users\hciuser> $Duration = New-Timespan -Hours 5
  PS C:\Users\hciuser> Set-ReFSDedupSchedule -Volume C:\ClusterStorage\Volume1 -Start $Start Days "Thursday" -Duration $Duration -CompressionFormat LZ4
  

• Para ver la programación del trabajo, ejecute el siguiente cmdlet:

  Get-ReFSDedupSchedule -Volume <path> | FL
  

  Este es el resultado del trabajo programado en el ejemplo anterior:

  PS C:\Users\hciuser> Get-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1" | FL
  
  Volume                       : C:\ClusterStorage\Volume1
  Enabled                      : True
  Type                         : DedupAndCompress
  CpuPercentage                : Automatic
  ConcurrentOpenFiles          : Automatic
  MinimumLastModifiedTimeHours : 0
  ExcludeFileExtension         : {}
  ExcludeFolder                : {}
  CpuPercentage                : 0
  CompressionFormat            : LZ4
  CompressionLevel             : 1
  CompressionChunkSize         : 4 B
  CompressionTuning            : 70
  RecompressionTuning          : 40
  DecompressionTuning          : 30
  Start                        : 8:30:00 AM
  Duration                     : 00m:00.000s
  Days                         : Thursday
  Suspended                    : False
  

Suspender trabajos programados

Suspender la programación cancela los trabajos en ejecución y detiene las ejecuciones programadas en el futuro. Esta opción conserva la desduplicación de ReFS y los metadatos relacionados con la compresión y continúa realizando un seguimiento de los cambios de archivos para futuras ejecuciones futuras optimizadas. Puede reanudar la programación en cualquier momento, con la configuración de programación conservada.

Windows Admin Center

Siga estos pasos para suspender trabajos programados mediante Windows Admin Center:

1. Conéctese a un sistema y, a continuación, en el panel Herramientas de la izquierda, seleccione Volúmenes.

2. En la página Volúmenes , seleccione la pestaña Inventario , seleccione el volumen adecuado y, a continuación, seleccione Configuración.

3. En el panel Configuración del volumen de la derecha, en la lista desplegable Más opciones , anule la selección de la casilla Establecer programación y, a continuación, seleccione Guardar.

PowerShell

Use el siguiente cmdlet para suspender el trabajo programado y comprobar el estado mediante PowerShell:

Suspend-ReFSDedupSchedule -Volume <path> 

Esta es una salida de ejemplo del uso del cmdlet. El Suspended campo se muestra como True.

PS C:\Users\hciuser> Suspend-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1"
PS C:\Users\user> Get-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1" | FL


Volume                       : C:\ClusterStorage\Volume1
Enabled                      : True
Type                         : DedupAndCompress
CpuPercentage                : Automatic
ConcurrentOpenFiles          : Automatic
MinimumLastModifiedTimeHours : 0
ExcludeFileExtension         : {}
ExcludeFolder                : {}
CpuPercentage                : 0
CompressionFormat            : LZ4
CompressionLevel             : 1
CompressionChunkSize         : 4 B
CompressionTuning            : 70
RecompressionTuning          : 40
DecompressionTuning          : 30
Start                        : 8:30:00 AM
Duration                     : 00m:00.000s
Days                         : Thursday
Suspended                    : True

Deshabilitación de la desduplicación y compresión de ReFS en un volumen

Al deshabilitar la desduplicación y la compresión de ReFS en un volumen, se detiene cualquier ejecución que esté en curso y se cancelan los trabajos programados futuros. Además, los metadatos del volumen relacionados no se conservan y se detiene el seguimiento de cambios de archivos.

Nota:

Al deshabilitar esta característica, no deshace la desduplicación ni la compresión, ya que todas las operaciones se producen en la capa de metadatos. Con el tiempo, los datos desduplicados vuelven a su estado original a medida que el volumen incurre en lecturas y escrituras. Para descomprimir los datos, asegúrese de que hay suficiente capacidad disponible y use ReFSUtil para realizar la siguiente operación.

refsutil compression /c /f NONE <vol>

Windows Admin Center

Siga estos pasos para deshabilitar la característica mediante Windows Admin Center:

1. Conéctese a un sistema y, a continuación, en el panel Herramientas de la izquierda, seleccione Volúmenes.

2. En la página Volúmenes , seleccione la pestaña Inventario , seleccione el volumen adecuado y, a continuación, seleccione Configuración.

3. En el panel Configuración del volumen de la derecha, en la lista desplegable Más opciones , anule la selección de la casilla Usar desduplicación de ReFS y, a continuación, seleccione Guardar.

PowerShell

Use el siguiente cmdlet para suspender el trabajo programado y comprobar el estado:

Disable-ReFSDedup -Volume <path>

Esta es una salida de ejemplo del uso del cmdlet. El Enabled campo se muestra como False y el Type campo se muestra como en blanco.

PS C:\Users\hciuser> Disable-ReFSDedup -Volume "C:\ClusterStorage\Volume1"
PS C:\Users\hciuser> Get-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1" | FL


Volume                       : C:\ClusterStorage\Volume1
Enabled                      : False
Type                         :
CpuPercentage                : Automatic
ConcurrentOpenFiles          : Automatic
MinimumLastModifiedTimeHours : 0
ExcludeFileExtension         : {}
ExcludeFolder                : {}
CpuPercentage                : 0
CompressionFormat            : LZ4
CompressionLevel             : 0
CompressionChunkSize         : 0 B
CompressionTuning            : 70
RecompressionTuning          : 40
DecompressionTuning          : 30
Start                        : N/A
Duration                     : N/A
Days                         : None
Suspended                    : False

Preguntas más frecuentes (P+F)

En esta sección se responden las preguntas más frecuentes sobre la desduplicación y compresión de ReFS.

¿La característica de desduplicación y compresión de ReFS es diferente de la desduplicación de datos de Windows?

Sí, esta característica es completamente diferente de la característica Desduplicación de datos de Windows.

Importante

No se admite la habilitación de la desduplicación y compresión de ReFS y la desduplicación de datos de Windows simultáneamente.

La desduplicación y compresión de ReFS está diseñada para cargas de trabajo activas, centrándose en minimizar el impacto en el rendimiento después de la optimización. A diferencia de la desduplicación de datos de Windows, la desduplicación y compresión de ReFS no usa un almacén de fragmentos para almacenar datos desduplicados y no hay ningún movimiento de datos físico implicado. La característica se basa en la clonación de bloques de ReFS para habilitar operaciones de solo metadatos. La desduplicación de datos de Windows puede proporcionar un mejor ahorro de almacenamiento debido a su uso de tamaños de bloque variable, también es adecuado para una gama más amplia de tipos de carga de trabajo, como servidores de archivos de uso general (GPFS), destinos de copia de seguridad, etc.

¿Cuáles son las fases de desduplicación y compresión de ReFS?

El proceso de optimización consta de las siguientes fases que se producen secuencialmente y dependen del modo especificado. Si una ejecución de optimización alcanza un límite de duración, es posible que la compresión no se ejecute.

• Inicialización. En esta fase, el volumen de almacenamiento se examina para identificar bloques redundantes de datos.

• Desduplicación de datos. En esta fase, los bloques redundantes se realizan un seguimiento de instancias únicas mediante la clonación de bloques ReFS.

• Compresión. En esta fase, se genera un mapa térmico para identificar si un bloque debe ser apto para la compresión. La configuración predeterminada comprime los datos con acceso frecuente o en frío para reducir su tamaño. Puede cambiar los niveles de compresión para ajustar el intervalo de bloques aptos para la compresión.

¿Qué ocurre cuando se alcanza el límite de duración antes de que el volumen esté totalmente optimizado?

El límite de duración se aplica para evitar cualquier impacto en el rendimiento en las cargas de trabajo del cliente causadas por el trabajo de optimización durante el horario comercial. Un servicio de desduplicación supervisa las partes optimizadas de un volumen y las modificaciones de archivos entrantes. Estos datos se usan en trabajos futuros para reducir el tiempo de optimización. Por ejemplo, si un volumen solo se procesa un 30 % en la primera ejecución debido al límite de duración, la ejecución posterior aborda el 70 % restante y los datos nuevos.

Problemas conocidos

En la sección siguiente se enumeran los problemas conocidos que existen actualmente con la desduplicación y compresión de ReFS.

Cuando la compresión está habilitada, el uso del -FullRun parámetro en los trabajos después de la primera ejecución de optimización podría dar lugar a un interbloqueo en el sistema.

Estado: Abierto.

Evite el uso -FullRun de trabajos iniciados manualmente a menos que Type sea Dedup.

Siga estos pasos como solución temporal para mitigar este problema:

1. Deshabilite la desduplicación y compresión de ReFS en el volumen:

   Disable-ReFSDedup -Volume <path>
   

2. Descomprima el volumen mediante refsutil:

   refsutil compression /c /f NONE <vol>
   

3. Vuelva a habilitar la desduplicación y compresión de ReFS con el Dedup único modo, si es necesario:

   Enable-ReFSDedup -Volume <path> -Type Dedup
   

La programación de trabajos para que se ejecuten simultáneamente en varios CSV dentro de un único sistema puede desencadenar movimientos CSV y afectar negativamente al rendimiento.

Estado: Abierto.

Como procedimiento recomendado, considere la posibilidad de escalonar la hora de inicio de los trabajos para evitar cualquier superposición. Sin embargo, si todos los trabajos deben ejecutarse simultáneamente, ajuste la asignación de CPU por trabajo en todos los CSV para que sea inferior al 50 % del uso general de la CPU del sistema. Tenga en cuenta que imponer limitaciones de CPU puede dar lugar a tiempos de ejecución de trabajos más largos.

El trabajo de desduplicación y compresión de ReFS completado (ya sea correctamente o cancelado) y los ahorros de almacenamiento no aparecen en Get-ReFSDedupStatus o Windows Admin Center.

Estado: resuelto.

La solución temporal para este problema es iniciar un trabajo único y la actualización de resultados inmediatamente.

Start-ReFSDedupJob -Volume <path>

El envío de eventos detenidos de supervisión de eventos para Windows (ETW) después de deshabilitar la desduplicación y compresión de ReFS en un volumen.

Estado: resuelto.

Una vez que la desduplicación y compresión de ReFS están deshabilitadas en un volumen, el canal ETW para los registros de desduplicación de ReFS repite eventos de supervisión detenidos. Sin embargo, no se prevé un impacto significativo en el uso debido a este problema.

Evento de error de trabajo no registrado si el volumen se mueve a otro nodo durante la compresión.

Estado: resuelto.

Si el CSV se mueve a otra máquina del sistema mientras la compresión está en curso, el evento de error del trabajo no se registra en el canal de desduplicación de ReFS. Sin embargo, no se prevé un impacto significativo en el uso debido a este problema.

Pasos siguientes

• Administrar volumen.