Оптимизация хранилища с помощью дедупликации и сжатия ReFS в локальной среде Azure

Область применения: Azure Local 2311.2 и более поздних версий

В этой статье описывается функция дедупликации и сжатия отказоустойчивой файловой системы (ReFS) и использование этой функции в локальной среде Azure для оптимизации хранилища.

Что такое дедупликация и сжатие ReFS?

Дедупликация и сжатие ReFS — это функция оптимизации хранилища, которая помогает оптимизировать использование хранилища и сократить затраты на хранение. Используйте дедупликацию специально для активных, чувствительных к производительности или с интенсивным чтением рабочих нагрузок, таких как инфраструктура виртуальных рабочих столов Azure (VDI) на Azure Local. Для менее высокопроизводительных рабочих нагрузок можно использовать сочетание дедупликации и сжатия или только сжатия.

Эта функция использует клонирование блоков ReFS для уменьшения перемещения данных и включения только операций с метаданными. Эта функция работает на уровне блока данных и использует фиксированный размер блока в зависимости от размера системы. Модуль сжатия создает тепловую карту, чтобы определить, должен ли блок иметь право на сжатие, оптимизируя использование ЦП.

Дедупликация и сжатие ReFS можно выполнять как одноразовое задание или автоматизировать его с запланированными заданиями. Эта функция работает как с все-флэш, так и с гибридными системами и поддерживает различные параметры устойчивости, такие как двухстороннее зеркало, вложенное двухстороннее зеркало, трехстороннее зеркало и ускоренная четность с зеркалом.

Льготы

Ниже приведены преимущества дедупликации и сжатия ReFS:

• Экономия на хранении для активных рабочих процессов. Предназначен для активных рабочих нагрузок, таких как VDI, обеспечивая эффективную производительность в требовательных средах.
• Несколько режимов. Работает в трех режимах: только дедупликация (режим по умолчанию), только сжатие, и одновременно дедупликация и сжатие, позволяя оптимально настроить в зависимости от ваших потребностей.
• Инкрементная дедупликация. Дедуплицирует только новые или измененные данные вместо сканирования всего тома каждый раз, что оптимизирует длительность задания и снижает влияние на производительность системы.

Требования

Прежде чем начать, убедитесь, что выполнены следующие предварительные требования:

• У вас есть доступ к локальному экземпляру Azure, который развернут и зарегистрирован.
• У вас есть общий том кластера (CSV), созданный на экземпляре, и у вас есть доступ к нему.
• В CSV-файле еще не включена функция дедупликации данных Windows.

Использование дедупликации и сжатия ReFS

Вы можете использовать дедупликацию и сжатие ReFS с помощью Центра администрирования Windows или PowerShell. PowerShell позволяет выполнять как вручную, так и автоматические задания, в то время как Windows Admin Center поддерживает только запланированные задания. Независимо от метода, можно настроить параметры задания и использовать отслеживание изменений файлов для более быстрых последующих запусков.

Примечание.

Рекомендуется использовать только дедупликацию для рабочих нагрузок, где важна производительность, вместо использования сжатия или их сочетания.

Включение и запуск дедупликации и сжатия ReFS

Windows Admin Center

В Windows Admin Center можно создать расписание дедупликации ReFS для запуска на существующем томе или новом томе во время создания тома. Однако включение сжатия поддерживается только с помощью PowerShell.

Выполните следующие действия, чтобы включить дедупликацию ReFS через Центр администрирования Windows и задать расписание, когда она должна выполняться.

1. Подключитесь к системе, а затем на панели "Сервис " слева выберите тома.

2. На странице Тома выберите вкладку Инвентаризация, выберите соответствующий том, а затем выберите Параметры. Чтобы включить дедупликацию ReFS для нового тома, нажмите кнопку +Создать.

3. В области параметров тома справа, в раскрывающемся списке "Дополнительные параметры", установите флажок "Использовать дедупликацию ReFS".

4. Выберите дни недели, когда дедупликация ReFS должна выполняться, время запуска задания и максимальная длительность (по умолчанию не ограничено), а затем нажмите кнопку "Сохранить".

   На следующем снимке экрана показано, что дедупликация ReFS будет выполняться в пятницу и субботу в 10:00 вечера с максимальной длительностью 2 часа, начиная с пятницы 27.09.2024. Если дата начала была изменена на понедельник 9/30/2024, первый запуск будет 10/4/2024 10:00, так как это первая пятница после 9/30/2024.

   

5. Проверьте изменения в разделе "Свойства " тома. Расписание отображается в разделе "Свойства" и отображает разбивку экономии и следующее запланированное время выполнения. Эти экономии обновляются после каждого запуска, и вы можете наблюдать влияние производительности на диаграммах в разделе "Производительность ". Если сжатие включено с помощью PowerShell, его экономия также будет отображаться в разделе "Свойства ".

   

PowerShell

Чтобы использовать дедупликацию и сжатие ReFS с помощью PowerShell, сначала включите эту функцию, а затем запустите ее в качестве однократного ручного задания или автоматизируете его в качестве запланированных заданий. Задания задаются на уровне CSV для каждой системы и могут быть настроены на основе режимов, длительности, использования системных ресурсов и т. д.

Включение дедупликации и сжатия ReFS

Выполните следующие действия, чтобы включить дедупликацию и сжатие ReFS с помощью PowerShell:

1. Подключитесь к локальному экземпляру Azure и запустите PowerShell от имени администратора.

2. Для изменения параметров на заданном томе на узле владельца необходимо выполнить все команды. Выполните следующий командлет, чтобы отобразить все узлы владельца CSV и путь тома:

   Get-ClusterSharedVolume | FT Name, OwnerNode, SharedVolumeInfo
   

   Пример результата использования командлета представлен ниже:

   Name                           OwnerNode   SharedVolumeInfo
   ----                           ---------   ----------------
   Cluster Virtual Disk (Volume1) hci-server1 {C:\ClusterStorage\Volume1}
   

3. Выполните следующий командлет, чтобы включить дедупликацию и сжатие ReFS на определенном диске.

   Enable-ReFSDedup -Volume <path> -Type <Dedup | DedupAndCompress | Compress> 
   

   где: Type является обязательным параметром и может принимать одно из следующих значений:

   • Дедупликация: активирует только функцию дедупликации. Этот параметр по умолчанию.
   • DedupAndCompress: включает дедупликацию и сжатие.
   • Сжатие: включает только сжатие.

   Если вы хотите изменить Type параметр, необходимо сначала отключить дедупликацию и сжатие ReFS, а затем снова включить его с помощью нового Type параметра.

   Например, выполните следующий командлет, чтобы включить дедупликацию и сжатие тома:

   PS C:\Users\hciuser> Enable-ReFSDedup -Volume "C:\ClusterStorage\Volume1" -Type DedupAndCompress
   

4. После включения дедупликации и сжатия ReFS проверьте его состояние в CSV-файле. Выполните следующий командлет и убедитесь, что Enabled поле в выходных данных отображается как True и Type поле отображает указанный режим.

   Get-ReFSDedupStatus -Volume <path> | FL
   

   Ниже приведен пример выходных данных командлета Get-ReFSDedupStatus, в котором поле Enabled отображается как True, а поле Type отображается как DedupAndCompress.

   PS C:\Users\hciuser> Get-ReFSDedupStatus -Volume "C:\ClusterStorage\Volume1" | FL
   Volume                                    : C:\ClusterStorage\Volume1
   Enabled                                   : True
   Type                                      : DedupAndCompress
   Status                                    : --
   Used                                      : 1.4 TiB
   Deduped                                   : 0 B
   Compressed                                : 0 B
   ScannedOnLastRun                          : 0 B
   DedupedOnLastRun                          : 0 B
   LastRunTime                               : N/A
   LastRunDuration                           : N/A
   MextRunTime                               : N/A
   CompressionFormat                         : Uncompressed
   CompressionLevel                          : 0
   CompressionChunkSize                      : 0 B
   VolumeClusterSizeBytes                    : 4 KiB
   VolumeTotale lusters                      : 805289984
   VolumeTotalAllocatedelusters              : 353850628
   VolumeTotalAllocatedCompressibleClusters  : 0
   VolumeTota1InUseCompressibleClusters      : 0
   VolumeTota1Compressedelusters             : 0
   

Выполнение дедупликации и сжатия ReFS

После включения этой функции можно выполнить однократное задание вручную или запланировать повторяющиеся задания по мере необходимости.

Перед тем как приступить, следует также учитывать следующие аспекты:

• Если формат сжатия не указан, алгоритм по умолчанию — LZ4. Алгоритм можно изменить с одного запуска на другой по мере необходимости.
• Можно указать дополнительные параметры для более сложных вариантов использования. Командлет, используемый в этом разделе, предназначен для самого простого варианта использования.
• Исключенная папка, исключенные расширения файлов и фильтр минимального времени последнего изменения в часах применяются только при выполнении дедупликации и не действуют при выполнении сжатия.

Ручное выполнение заданий дедупликации и сжатия ReFS

• Чтобы немедленно запустить задание, используйте следующий командлет. После запуска задания его State может появляться как NotStarted, потому что оно все еще может находиться на этапе инициализации.

  Start-ReFSDedupJob -Volume <path> -Duration <TimeSpan> -CompressionFormat <LZ4 | ZSTD> 
  

  Например, следующий командлет немедленно запускает задание в течение 5 часов с использованием формата сжатия LZ4:

  PS C:\Users\hciuser> $Start = “10/31/2023 08:30:00”
  PS C:\Users\hciuser> $Duration = New-Timespan -Hours 5
  PS C:\Users\hciuser> Start-ReFSDedupJob -Volume "C:\ClusterStorage\Volume1" -Duration $Duration -CompressionFormat LZ4
  
  Id     Name            PSJobTypeName   State         HasMoreData     Location             Command
  --     ----            -------------   -----         -----------     --------             -------
  12     Job12                           NotStarted    True                                 Start-Re...
  

• Чтобы остановить выполняемое задание, выполните следующий командлет. Этот командлет также работает для запланированных заданий, которые находятся в процессе выполнения.

  Stop-ReFSDedupJob -Volume <path>
  

  Например, следующий cmdlet останавливает задание, которое вы запустили в предыдущем примере.

  PS C:\Users\hciuser> Stop-ReFSDedupJob -Volume "C:\ClusterStorage\Volume1"
  

• Чтобы просмотреть ход выполнения, экономию и состояние задания, выполните следующий командлет:

  Get-ReFSDedupStatus -Volume <path> | FL
  

  Например, следующий командлет отображает состояние задания:

  PS C:\Users\hciuser> Get-ReFSDedupStatus -Volume "C:\ClusterStorage\Volume1"
  
  Volume                                            Type             Used     Deduped Compressed Format
  ------                                            ----             ----     ------- ---------- ------
  C:\ClusterStorage\Volume1 DedupAndCompress 1.38 TiB 0 B     0 B        Unc...
  

Планирование повторяющихся заданий дедупликации и сжатия ReFS

Задайте расписание повторного выполнения оптимизации хранилища для тома. Затем можно просмотреть, установить или изменить, приостановить, возобновить или очистить расписание задания.

• Чтобы задать или изменить расписание, выполните следующий командлет:

  Set-ReFSDedupSchedule -Volume <Path> -Start <DateTime> -Days <DayOfWeek[]> -Duration <TimeSpan> -CompressionFormat <LZ4 | ZSTD> -CompressionLevel <UInt16> -CompressionChunkSize <UInt32> 
  

  Например, чтобы настроить повторяющееся задание, запланированное на выполнение каждый четверг в 8:30 утра в течение 5 часов в формате LZ4, выполните следующий командлет. Используйте -Days EveryDay, если вы хотите выполнять задание ежедневно.

  PS C:\Users\hciuser> $Start = “10/31/2023 08:30:00”
  PS C:\Users\hciuser> $Duration = New-Timespan -Hours 5
  PS C:\Users\hciuser> Set-ReFSDedupSchedule -Volume C:\ClusterStorage\Volume1 -Start $Start Days "Thursday" -Duration $Duration -CompressionFormat LZ4
  

• Чтобы просмотреть расписание задания, выполните следующий командлет:

  Get-ReFSDedupSchedule -Volume <path> | FL
  

  Ниже приведены выходные данные задания, запланированного в предыдущем примере:

  PS C:\Users\hciuser> Get-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1" | FL
  
  Volume                       : C:\ClusterStorage\Volume1
  Enabled                      : True
  Type                         : DedupAndCompress
  CpuPercentage                : Automatic
  ConcurrentOpenFiles          : Automatic
  MinimumLastModifiedTimeHours : 0
  ExcludeFileExtension         : {}
  ExcludeFolder                : {}
  CpuPercentage                : 0
  CompressionFormat            : LZ4
  CompressionLevel             : 1
  CompressionChunkSize         : 4 B
  CompressionTuning            : 70
  RecompressionTuning          : 40
  DecompressionTuning          : 30
  Start                        : 8:30:00 AM
  Duration                     : 00m:00.000s
  Days                         : Thursday
  Suspended                    : False
  

Приостановка запланированных заданий

Приостановка расписания отменяет все выполняемые задания и останавливает запланированные запуски в будущем. Этот параметр сохраняет дедупликацию ReFS и метаданные, связанные с сжатием, и продолжает отслеживать изменения файлов для оптимизированных будущих запусков. Вы можете возобновить расписание в любое время с сохраненными параметрами расписания.

Windows Admin Center

Выполните следующие действия, чтобы приостановить запланированные задания с помощью Windows Admin Center:

1. Подключитесь к системе, а затем на панели "Сервис " слева выберите тома.

2. На странице "Тома" выберите вкладку "Инвентаризация", выберите соответствующий том, а затем выберите "Параметры".

3. В области параметров тома справа в раскрывающемся списке "Дополнительные параметры" снимите флажок "Задать расписание" и выберите "Сохранить".

PowerShell

Используйте следующий командлет, чтобы приостановить запланированное задание и проверить состояние с помощью PowerShell:

Suspend-ReFSDedupSchedule -Volume <path> 

Пример данных на выходе при использовании командлета. Поле Suspended отображается как True.

PS C:\Users\hciuser> Suspend-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1"
PS C:\Users\user> Get-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1" | FL


Volume                       : C:\ClusterStorage\Volume1
Enabled                      : True
Type                         : DedupAndCompress
CpuPercentage                : Automatic
ConcurrentOpenFiles          : Automatic
MinimumLastModifiedTimeHours : 0
ExcludeFileExtension         : {}
ExcludeFolder                : {}
CpuPercentage                : 0
CompressionFormat            : LZ4
CompressionLevel             : 1
CompressionChunkSize         : 4 B
CompressionTuning            : 70
RecompressionTuning          : 40
DecompressionTuning          : 30
Start                        : 8:30:00 AM
Duration                     : 00m:00.000s
Days                         : Thursday
Suspended                    : True

Отключите дедупликацию и сжатие ReFS на томе

Отключение дедупликации и сжатия ReFS на томе останавливает все текущие процессы и отменяет будущие запланированные задания. Кроме того, связанные метаданные тома не сохраняются, и отслеживание изменений файлов прекращается.

Примечание.

Если отключить эту функцию, она не отменяет дедупликацию или сжатие, так как все операции выполняются на уровне метаданных. С течением времени дедупликированные данные возвращаются в исходное состояние, поскольку объем данных подвергается операциям чтения и записи. Для распаковки данных убедитесь, что доступно достаточно свободного места, и используйте ReFSUtil для выполнения следующей операции.

refsutil compression /c /f NONE <vol>

Windows Admin Center

Выполните следующие действия, чтобы отключить функцию с помощью Windows Admin Center:

1. Подключитесь к системе, а затем на панели "Сервис " слева выберите тома.

2. На странице "Тома" откройте вкладку "Инвентаризация", выберите соответствующий том, а затем нажмите "Параметры".

3. На панели настроек тома справа, в раскрывающемся списке "Дополнительные параметры", снимите флажок "Использовать дедупликацию ReFS" и нажмите "Сохранить.

PowerShell

Используйте следующий командлет, чтобы приостановить запланированное задание и проверить состояние:

Disable-ReFSDedup -Volume <path>

Ниже приведен пример выходных данных использования командлета. Поле Enabled отображается как False и Type поле отображается как пустое.

PS C:\Users\hciuser> Disable-ReFSDedup -Volume "C:\ClusterStorage\Volume1"
PS C:\Users\hciuser> Get-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1" | FL


Volume                       : C:\ClusterStorage\Volume1
Enabled                      : False
Type                         :
CpuPercentage                : Automatic
ConcurrentOpenFiles          : Automatic
MinimumLastModifiedTimeHours : 0
ExcludeFileExtension         : {}
ExcludeFolder                : {}
CpuPercentage                : 0
CompressionFormat            : LZ4
CompressionLevel             : 0
CompressionChunkSize         : 0 B
CompressionTuning            : 70
RecompressionTuning          : 40
DecompressionTuning          : 30
Start                        : N/A
Duration                     : N/A
Days                         : None
Suspended                    : False

Часто задаваемые вопросы

В этом разделе приведены ответы на часто задаваемые вопросы о дедупликации и сжатия ReFS.

Отличается ли функция дедупликации и сжатия ReFS от дедупликации данных Windows?

Да, эта функция совершенно отличается от функции дедупликации данных Windows.

Внимание

Мы не поддерживаем одновременное включение дедупликации и сжатия ReFS и дедупликации данных Windows.

Дедупликация и сжатие ReFS предназначены для активных рабочих нагрузок, а также для минимизации влияния на производительность после оптимизации. В отличие от дедупликации данных Windows, дедупликация и сжатие ReFS не использует хранилище блоков для хранения дедупликированных данных и не участвует в перемещении физических данных. Эта функция использует клонирование блоков ReFS, чтобы обеспечить операции только для метаданных. Дедупликация данных Windows может обеспечить более высокую экономию хранилища из-за использования размеров блоков переменных, она также подходит для более широкого диапазона типов рабочих нагрузок, таких как файловые серверы общего назначения (GPFS), целевые объекты резервного копирования и многое другое.

Каковы этапы дедупликации и сжатия ReFS?

Процесс оптимизации состоит из следующих этапов, которые происходят последовательно и зависят от указанного режима. Если выполнение оптимизации достигает ограничения длительности, сжатие может не выполняться.

• Инициализация. На этом этапе том хранилища проверяется, чтобы определить избыточные блоки данных.

• Дедупликация данных. На этом этапе избыточные блоки преобразуются в одиночные экземпляры и отслеживаются с использованием технологии клонирования блоков ReFS.

• Сжатие. На этом этапе создается тепловая карта, чтобы определить, должен ли блок иметь право на сжатие. Параметры по умолчанию сжимают редко доступные или холодные данные, чтобы уменьшить их размер. Вы можете изменить уровни сжатия, чтобы настроить диапазон блоков, подходящих для сжатия.

Что происходит при достижении ограничения длительности до полной оптимизации тома?

Ограничение длительности введено, чтобы предотвратить любое влияние на производительность рабочих нагрузок клиентов, вызванное заданием оптимизации в рабочие часы. Служба дедупликации отслеживает оптимизированные части тома и входящие изменения файлов. Эти данные используются в будущих заданиях для уменьшения времени оптимизации. Например, если том обрабатывается только на 30 % в первом запуске из-за ограничения длительности, последующий запуск обращается к оставшимся 70% и любым новым данным.

Известные проблемы

В следующем разделе перечислены известные проблемы, которые в настоящее время существуют с дедупликацией и сжатием ReFS.

Если сжатие включено, использование -FullRun параметра в заданиях после первого запуска оптимизации может привести к взаимоблокировке в системе.

Состояние: открыть.

Избегайте использования -FullRun в заданиях, запускаемых вручную, если Type не является Dedup.

Выполните следующие действия в качестве временного обходного решения, чтобы устранить эту проблему:

1. Отключите дедупликацию и сжатие на ReFS-томе:

   Disable-ReFSDedup -Volume <path>
   

2. Распаковка тома с помощью refsutil:

   refsutil compression /c /f NONE <vol>
   

3. При необходимости повторно включите дедупликацию и сжатие ReFS с единственным режимом Dedup :

   Enable-ReFSDedup -Volume <path> -Type Dedup
   

Планирование заданий для одновременного запуска на нескольких CSV в одной системе может вызвать перемещения CSV и негативно повлиять на производительность.

Состояние: открыть.

Рекомендуется разнести время начала заданий, чтобы избежать их перекрытия. Однако если все задания должны выполняться одновременно, настройте выделение ЦП на каждое задание во всех CSV, чтобы оно составило менее 50% от общего использования ЦП системы. Помните, что применение ограничений ЦП может привести к более длительному времени выполнения задания.

Выполнено задание по дедупликации и сжатию ReFS (либо успешно, либо отменено), а экономия хранилища не указана в Get-ReFSDedupStatus или Windows Admin Center.

Состояние: решено.

Временное решение этой проблемы заключается в том, чтобы инициировать однократное задание и немедленно обновить результаты.

Start-ReFSDedupJob -Volume <path>

Отправка остановленного мониторинга событий трассировки событий для Windows (ETW) после отключения дедупликации и сжатия ReFS на томе.

Состояние: решено.

После отключения дедупликации и сжатия ReFS на томе канал ETW для журналов дедупликации ReFS фиксирует повторяющиеся события остановки мониторинга. Тем не менее, мы не ожидаем значительного влияния на использование из-за этой проблемы.

Событие сбоя задания не регистрируется, если том перемещается на другой узел во время сжатия.

Состояние: решено.

Если CSV-файл перемещается на другой компьютер системы во время сжатия, событие сбоя задания не регистрируется в канале дедупликации ReFS. Тем не менее, мы не ожидаем значительного влияния на использование из-за этой проблемы.

Следующие шаги

• Управление громкостью.