Оптимизация хранилища с помощью дедупликации и сжатия ReFS в локальной среде Azure

Область применения: Azure Local 2311.2 и более поздних версий

В этой статье описывается функция дедупликации и сжатия отказоустойчивой файловой системы (ReFS) и использование этой функции в локальной среде Azure для оптимизации хранилища.

Что такое дедупликация и сжатие ReFS?

Дедупликация и сжатие ReFS — это функция оптимизации хранилища, которая помогает оптимизировать использование хранилища и сократить затраты на хранение. Используйте дедупликацию специально для активных, чувствительных к производительности или с интенсивным чтением рабочих нагрузок, таких как инфраструктура виртуальных рабочих столов Azure (VDI) в локальнойAzure. Для менее высокопроизводительных рабочих нагрузок можно использовать сочетание дедупликации и сжатия или только сжатия.

Эта функция использует клонирование блоков ReFS для уменьшения перемещения данных и включения только операций с метаданными. Эта функция работает на уровне блока данных и использует фиксированный размер блока в зависимости от размера системы. Модуль сжатия создает тепловую карту, чтобы определить, должен ли блок иметь право на сжатие, оптимизируя использование ЦП.

Дедупликация и сжатие ReFS можно выполнять как одноразовое задание или автоматизировать его с запланированными заданиями. Эта функция работает как со всеми вспышками, так и с гибридными системами и поддерживает различные параметры устойчивости, такие как двухсторонняя зеркальная, вложенная двухсторонняя зеркальная, трехсторонняя зеркальная и зеркальная ускоренная четность.

Льготы

Ниже приведены преимущества дедупликации и сжатия ReFS:

• Экономия хранилища для активных рабочих нагрузок. Предназначен для активных рабочих нагрузок, таких как VDI, обеспечивая эффективную производительность в требовательных средах.
• Несколько режимов. Работает в трех режимах: только дедупликация (режим по умолчанию), только сжатие, и одновременно дедупликация и сжатие, позволяя оптимально настроить в зависимости от ваших потребностей.
• Добавочная дедупликация. Дедупликирует только новые или измененные данные в отличие от сканирования всего тома каждый раз, оптимизации длительности задания и снижения влияния на производительность системы.

Необходимые компоненты

Прежде чем начать, убедитесь, что выполнены следующие предварительные требования:

• У вас есть доступ к локальному экземпляру Azure, который развернут и зарегистрирован.
• У вас есть общий том кластера (CSV), созданный на экземпляре, и у вас есть доступ к нему.
• В CSV-файле еще не включена функция дедупликации данных Windows.

Использование дедупликации и сжатия ReFS

Вы можете использовать дедупликацию и сжатие ReFS с помощью Центра администрирования Windows или PowerShell. PowerShell позволяет выполнять как вручную, так и автоматические задания, в то время как Windows Admin Center поддерживает только запланированные задания. Независимо от метода, можно настроить параметры задания и использовать отслеживание изменений файлов для более быстрых последующих запусков.

Примечание.

Рекомендуется использовать только дедупликацию для рабочих нагрузок, где важна производительность, вместо использования сжатия или их сочетания.

Включение и запуск дедупликации и сжатия ReFS

Windows Admin Center

В Windows Admin Center можно создать расписание дедупликации ReFS для запуска на существующем томе или новом томе во время создания тома. Однако включение сжатия поддерживается только с помощью PowerShell.

Выполните следующие действия, чтобы включить дедупликацию ReFS через Центр администрирования Windows и задать расписание при выполнении:

1. Подключитесь к системе, а затем на панели "Сервис " слева выберите тома.

2. На странице "Тома" выберите вкладку "Инвентаризация", выберите соответствующий том, а затем выберите "Параметры". Чтобы включить дедупликацию ReFS для нового тома, нажмите кнопку +Создать.

3. В области параметров тома справа в раскрывающемся списке "Дополнительные параметры" установите флажок "Использовать дедупликацию ReFS".

4. Выберите дни недели, когда дедупликация ReFS должна выполняться, время запуска задания и максимальная длительность (по умолчанию не ограничено), а затем нажмите кнопку "Сохранить".

   На следующем снимку экрана показано, что дедупликация ReFS будет выполняться в пятницу и субботу в 10:00 с максимальной длительностью 2 часа, начиная с пятницы 9.27.2024. Если дата начала была изменена на понедельник 9/30/2024, первый запуск будет 10/4/2024 10:00, так как это первая пятница после 9/30/2024.

   

5. Проверьте изменения в разделе "Свойства " тома. Расписание отображается в разделе "Свойства" и отображает разбивку экономии и следующее запланированное время выполнения. Эти экономии обновляются после каждого запуска, и вы можете наблюдать влияние производительности на диаграммах в разделе "Производительность ". Если сжатие включено с помощью PowerShell, его экономия также будет отображаться в разделе "Свойства ".

   

PowerShell

Чтобы использовать дедупликацию и сжатие ReFS с помощью PowerShell, сначала включите эту функцию, а затем запустите ее в качестве однократного ручного задания или автоматизируете его в качестве запланированных заданий. Задания задаются на уровне CSV для каждой системы и могут быть настроены на основе режимов, длительности, использования системных ресурсов и т. д.

Включение дедупликации и сжатия ReFS

Выполните следующие действия, чтобы включить дедупликацию и сжатие ReFS с помощью PowerShell:

1. Подключитесь к локальному экземпляру Azure и запустите PowerShell от имени администратора.

2. Для изменения параметров на заданном томе на узле владельца необходимо выполнить все команды. Выполните следующий командлет, чтобы отобразить все узлы владельца CSV и путь тома:

   Get-ClusterSharedVolume | FT Name, OwnerNode, SharedVolumeInfo
   

   Ниже приведен пример выходных данных использования командлета:

   Name                           OwnerNode   SharedVolumeInfo
   ----                           ---------   ----------------
   Cluster Virtual Disk (Volume1) hci-server1 {C:\ClusterStorage\Volume1}
   

3. Выполните следующий командлет, чтобы включить дедупликацию и сжатие ReFS на определенном томе:

   Enable-ReFSDedup -Volume <path> -Type <Dedup | DedupAndCompress | Compress> 
   

   где: Type является обязательным параметром и может принимать одно из следующих значений:

   • Дедупликация: включает только дедупликацию. Этот параметр по умолчанию.
   • ДедупандаAndCompress: включает дедупликацию и сжатие.
   • Сжатие: включает только сжатие.

   Если вы хотите изменить Type параметр, необходимо сначала отключить дедупликацию и сжатие ReFS, а затем снова включить его с помощью нового Type параметра.

   Например, выполните следующий командлет, чтобы включить дедупликацию и сжатие тома:

   PS C:\Users\hciuser> Enable-ReFSDedup -Volume "C:\ClusterStorage\Volume1" -Type DedupAndCompress
   

4. После включения дедупликации и сжатия ReFS проверьте его состояние в CSV-файле. Выполните следующий командлет и убедитесь, что Enabled поле в выходных данных отображается как True и Type поле отображает указанный режим.

   Get-ReFSDedupStatus -Volume <path> | FL
   

   Ниже приведен пример выходных данных командлета Get-ReFSDedupStatus , в котором Enabled поле отображается как True и Type поле отображается следующим образом DedupAndCompress:

   PS C:\Users\hciuser> Get-ReFSDedupStatus -Volume "C:\ClusterStorage\Volume1" | FL
   Volume                                    : C:\ClusterStorage\Volume1
   Enabled                                   : True
   Type                                      : DedupAndCompress
   Status                                    : --
   Used                                      : 1.4 TiB
   Deduped                                   : 0 B
   Compressed                                : 0 B
   ScannedOnLastRun                          : 0 B
   DedupedOnLastRun                          : 0 B
   LastRunTime                               : N/A
   LastRunDuration                           : N/A
   MextRunTime                               : N/A
   CompressionFormat                         : Uncompressed
   CompressionLevel                          : 0
   CompressionChunkSize                      : 0 B
   VolumeClusterSizeBytes                    : 4 KiB
   VolumeTotale lusters                      : 805289984
   VolumeTotalAllocatedelusters              : 353850628
   VolumeTotalAllocatedCompressibleClusters  : 0
   VolumeTota1InUseCompressibleClusters      : 0
   VolumeTota1Compressedelusters             : 0
   

Выполнение дедупликации и сжатия ReFS

После включения этой функции можно выполнить однократное задание вручную или запланировать повторяющиеся задания по мере необходимости.

Перед выполнением следует также учитывать следующие другие аспекты:

• Если формат сжатия не указан, алгоритм по умолчанию — LZ4. Алгоритм можно изменить с одного запуска на другой по мере необходимости.
• Можно указать дополнительные параметры для более сложных вариантов использования. Командлет, используемый в этом разделе, предназначен для наиболее простого варианта использования.
• Исключенная папка, исключенные расширения файлов и фильтры времени последнего изменения применяются только при выполнении дедупликации и не применяются при выполнении сжатия.

Ручное выполнение заданий дедупликации и сжатия ReFS

• Чтобы немедленно запустить задание, выполните следующий командлет. После запуска задания его State может появиться, так как NotStarted он по-прежнему может находиться на этапе инициализации.

  Start-ReFSDedupJob -Volume <path> -Duration <TimeSpan> -CompressionFormat <LZ4 | ZSTD> 
  

  Например, следующий командлет немедленно запускает задание в течение 5 часов с использованием формата сжатия LZ4:

  PS C:\Users\hciuser> $Start = “10/31/2023 08:30:00”
  PS C:\Users\hciuser> $Duration = New-Timespan -Hours 5
  PS C:\Users\hciuser> Start-ReFSDedupJob -Volume "C:\ClusterStorage\Volume1" -Duration $Duration -CompressionFormat LZ4
  
  Id     Name            PSJobTypeName   State         HasMoreData     Location             Command
  --     ----            -------------   -----         -----------     --------             -------
  12     Job12                           NotStarted    True                                 Start-Re...
  

• Чтобы остановить выполняемое задание, выполните следующий командлет. Этот командлет также работает для запланированных заданий.

  Stop-ReFSDedupJob -Volume <path>
  

  Например, следующий командлет останавливает задание, которое вы запустили в предыдущем примере:

  PS C:\Users\hciuser> Stop-ReFSDedupJob -Volume "C:\ClusterStorage\Volume1"
  

• Чтобы просмотреть ход выполнения, экономию и состояние задания, выполните следующий командлет:

  Get-ReFSDedupStatus -Volume <path> | FL
  

  Например, следующий командлет отображает состояние задания:

  PS C:\Users\hciuser> Get-ReFSDedupStatus -Volume "C:\ClusterStorage\Volume1"
  
  Volume                                            Type             Used     Deduped Compressed Format
  ------                                            ----             ----     ------- ---------- ------
  C:\ClusterStorage\Volume1 DedupAndCompress 1.38 TiB 0 B     0 B        Unc...
  

Планирование повторяющихся заданий дедупликации и сжатия ReFS

Задайте расписание повторного выполнения оптимизации хранилища для тома. Затем можно просмотреть, задать или изменить, приостановить, возобновить или очистить расписание задания.

• Чтобы задать или изменить расписание, выполните следующий командлет:

  Set-ReFSDedupSchedule -Volume <Path> -Start <DateTime> -Days <DayOfWeek[]> -Duration <TimeSpan> -CompressionFormat <LZ4 | ZSTD> -CompressionLevel <UInt16> -CompressionChunkSize <UInt32> 
  

  Например, чтобы настроить повторяющееся задание, запланированное на выполнение каждые четверг в 8:30 в течение 5 часов в формате LZ4, выполните следующий командлет. Используйте, -Days EveryDay если вы хотите выполнять задание ежедневно.

  PS C:\Users\hciuser> $Start = “10/31/2023 08:30:00”
  PS C:\Users\hciuser> $Duration = New-Timespan -Hours 5
  PS C:\Users\hciuser> Set-ReFSDedupSchedule -Volume C:\ClusterStorage\Volume1 -Start $Start Days "Thursday" -Duration $Duration -CompressionFormat LZ4
  

• Чтобы просмотреть расписание задания, выполните следующий командлет:

  Get-ReFSDedupSchedule -Volume <path> | FL
  

  Ниже приведены выходные данные задания, запланированного в предыдущем примере:

  PS C:\Users\hciuser> Get-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1" | FL
  
  Volume                       : C:\ClusterStorage\Volume1
  Enabled                      : True
  Type                         : DedupAndCompress
  CpuPercentage                : Automatic
  ConcurrentOpenFiles          : Automatic
  MinimumLastModifiedTimeHours : 0
  ExcludeFileExtension         : {}
  ExcludeFolder                : {}
  CpuPercentage                : 0
  CompressionFormat            : LZ4
  CompressionLevel             : 1
  CompressionChunkSize         : 4 B
  CompressionTuning            : 70
  RecompressionTuning          : 40
  DecompressionTuning          : 30
  Start                        : 8:30:00 AM
  Duration                     : 00m:00.000s
  Days                         : Thursday
  Suspended                    : False
  

Приостановка запланированных заданий

Приостановка расписания отменяет все выполняемые задания и останавливает запланированные запуски в будущем. Этот параметр сохраняет дедупликацию ReFS и метаданные, связанные с сжатием, и продолжает отслеживать изменения файлов для оптимизированных будущих запусков. Вы можете возобновить расписание в любое время с сохраненными параметрами расписания.

Windows Admin Center

Выполните следующие действия, чтобы приостановить запланированные задания с помощью Windows Admin Center:

1. Подключитесь к системе, а затем на панели "Сервис " слева выберите тома.

2. На странице "Тома" выберите вкладку "Инвентаризация", выберите соответствующий том, а затем выберите "Параметры".

3. В области параметров тома справа в раскрывающемся списке "Дополнительные параметры" установите флажок "Задать расписание" и нажмите кнопку "Сохранить".

PowerShell

Используйте следующий командлет, чтобы приостановить запланированное задание и проверить состояние с помощью PowerShell:

Suspend-ReFSDedupSchedule -Volume <path> 

Ниже приведен пример выходных данных использования командлета. Поле Suspended отображается как True.

PS C:\Users\hciuser> Suspend-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1"
PS C:\Users\user> Get-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1" | FL


Volume                       : C:\ClusterStorage\Volume1
Enabled                      : True
Type                         : DedupAndCompress
CpuPercentage                : Automatic
ConcurrentOpenFiles          : Automatic
MinimumLastModifiedTimeHours : 0
ExcludeFileExtension         : {}
ExcludeFolder                : {}
CpuPercentage                : 0
CompressionFormat            : LZ4
CompressionLevel             : 1
CompressionChunkSize         : 4 B
CompressionTuning            : 70
RecompressionTuning          : 40
DecompressionTuning          : 30
Start                        : 8:30:00 AM
Duration                     : 00m:00.000s
Days                         : Thursday
Suspended                    : True

Отключение дедупликации и сжатия ReFS на томе

Отключение дедупликации и сжатия ReFS на томе останавливает все выполняемые и отменяющие будущие запланированные задания. Кроме того, связанные метаданные тома не сохраняются, а отслеживание изменений файлов останавливается.

Примечание.

Если отключить эту функцию, она не отменяет дедупликацию или сжатие, так как все операции выполняются на уровне метаданных. С течением времени дедупликированные данные возвращаются в исходное состояние, так как том вызывает операции чтения и записи. Чтобы распаковывать данные, убедитесь, что доступно достаточно емкости и используйте ReFSUtil для выполнения следующей операции.

refsutil compression /c /f NONE <vol>

Windows Admin Center

Выполните следующие действия, чтобы отключить функцию с помощью Windows Admin Center:

1. Подключитесь к системе, а затем на панели "Сервис " слева выберите тома.

2. На странице "Тома" выберите вкладку "Инвентаризация", выберите соответствующий том, а затем выберите "Параметры".

3. В области параметров тома справа в раскрывающемся списке "Дополнительные параметры" отключите флажок "Использовать дедупликацию ReFS" и нажмите кнопку "Сохранить".

PowerShell

Используйте следующий командлет, чтобы приостановить запланированное задание и проверить состояние:

Disable-ReFSDedup -Volume <path>

Ниже приведен пример выходных данных использования командлета. Поле Enabled отображается как False и Type поле отображается как пустое.

PS C:\Users\hciuser> Disable-ReFSDedup -Volume "C:\ClusterStorage\Volume1"
PS C:\Users\hciuser> Get-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1" | FL


Volume                       : C:\ClusterStorage\Volume1
Enabled                      : False
Type                         :
CpuPercentage                : Automatic
ConcurrentOpenFiles          : Automatic
MinimumLastModifiedTimeHours : 0
ExcludeFileExtension         : {}
ExcludeFolder                : {}
CpuPercentage                : 0
CompressionFormat            : LZ4
CompressionLevel             : 0
CompressionChunkSize         : 0 B
CompressionTuning            : 70
RecompressionTuning          : 40
DecompressionTuning          : 30
Start                        : N/A
Duration                     : N/A
Days                         : None
Suspended                    : False

Часто задаваемые вопросы

В этом разделе приведены ответы на часто задаваемые вопросы о дедупликации и сжатия ReFS.

Отличается ли функция дедупликации и сжатия ReFS от дедупликации данных Windows?

Да, эта функция совершенно отличается от функции дедупликации данных Windows.

Внимание

Мы не поддерживаем одновременное включение дедупликации и сжатия ReFS и дедупликации данных Windows.

Дедупликация и сжатие ReFS предназначены для активных рабочих нагрузок, а также для минимизации влияния на производительность после оптимизации. В отличие от дедупликации данных Windows, дедупликация и сжатие ReFS не использует хранилище блоков для хранения дедупликированных данных и не участвует в перемещении физических данных. Эта функция использует клонирование блоков ReFS для включения операций только метаданных. Дедупликация данных Windows может обеспечить более высокую экономию хранилища из-за использования размеров блоков переменных, она также подходит для более широкого диапазона типов рабочих нагрузок, таких как файловые серверы общего назначения (GPFS), целевые объекты резервного копирования и многое другое.

Каковы этапы дедупликации и сжатия ReFS?

Процесс оптимизации состоит из следующих этапов, которые происходят последовательно и зависят от указанного режима. Если выполнение оптимизации достигает ограничения длительности, сжатие может не выполняться.

• Инициализация. На этом этапе том хранилища проверяется, чтобы определить избыточные блоки данных.

• Дедупликация данных. На этом этапе избыточные блоки являются одно экземплярами и отслеживаются с помощью клонирования блоков ReFS.

• Сжатие. На этом этапе создается тепловая карта, чтобы определить, должен ли блок иметь право на сжатие. Параметры по умолчанию сжимают редко доступные или холодные данные, чтобы уменьшить их размер. Вы можете изменить уровни сжатия, чтобы настроить диапазон блоков, подходящих для сжатия.

Что происходит при достижении ограничения длительности до полной оптимизации тома?

Ограничение длительности не влияет на производительность рабочих нагрузок клиентов, вызванных заданием оптимизации в рабочие часы. Служба дедупликации отслеживает оптимизированные части тома и входящего изменения файлов. Эти данные используются в будущих заданиях для уменьшения времени оптимизации. Например, если том обрабатывается только на 30 % в первом запуске из-за ограничения длительности, последующий запуск обращается к оставшимся 70% и любым новым данным.

Известные проблемы

В следующем разделе перечислены известные проблемы, которые в настоящее время существуют с дедупликацией и сжатием ReFS.

Если сжатие включено, использование -FullRun параметра в заданиях после первого запуска оптимизации может привести к взаимоблокировке в системе.

Состояние: открыть.

Избегайте использования -FullRun в заданиях вручную, если это Type не так Dedup.

Выполните следующие действия в качестве временного обходного решения, чтобы устранить эту проблему:

1. Отключите дедупликацию и сжатие ReFS на томе:

   Disable-ReFSDedup -Volume <path>
   

2. Распаковка тома с помощью refsutil:

   refsutil compression /c /f NONE <vol>
   

3. При необходимости повторно включите дедупликацию и сжатие ReFS с единственным режимом Dedup :

   Enable-ReFSDedup -Volume <path> -Type Dedup
   

Планирование заданий для одновременного выполнения на нескольких CSV в одной системе может активировать движения CSV и негативно повлиять на производительность.

Состояние: открыть.

Рекомендуется ошеломить время начала заданий, чтобы избежать перекрытия. Однако если все задания должны выполняться одновременно, настройте выделение ЦП на каждое задание во всех CSV, чтобы оно составило менее 50% от общего использования ЦП системы. Помните, что применение ограничений ЦП может привести к более длительному времени выполнения задания.

Выполнено дедупликация reFS и задание сжатия (успешно или отменено), а экономия хранилища не указана в Get-ReFSDedupStatus Windows Admin Center.

Состояние: разрешено.

Временное решение этой проблемы заключается в том, чтобы инициировать однократное задание и немедленно обновить результаты.

Start-ReFSDedupJob -Volume <path>

Отправка остановленного мониторинга событий трассировки событий для Windows (ETW) после отключения дедупликации и сжатия ReFS на томе.

Состояние: разрешено.

После отключения дедупликации и сжатия ReFS на томе канал ETW для журналов дедупликации ReFS повторялись остановленные события мониторинга. Тем не менее, мы не ожидаем значительного влияния на использование из-за этой проблемы.

Событие сбоя задания не регистрируется, если том перемещается на другой узел во время сжатия.

Состояние: разрешено.

Если CSV-файл перемещается на другой компьютер системы во время сжатия, событие сбоя задания не регистрируется в канале дедупликации ReFS. Тем не менее, мы не ожидаем значительного влияния на использование из-за этой проблемы.

Следующие шаги

• Управление томом.