Дедупликация хранилища DPM

Статья
11/01/2024

System Center Data Protection Manager (DPM) может использовать дедупликацию данных.

Функция дедупликации данных обнаруживает и удаляет повторяющиеся данные на томе, одновременно обеспечивая правильность и полноту данных. Дополнительные сведения о планировании дедупликации.

Дедупп снижает потребление хранилища. Хотя объем избыточности для набора данных зависит от рабочей нагрузки и типа данных, использование дедупликации обычно дает значительную экономию в резервных копиях данных.
Избыточность данных может быть сокращена с помощью дедупликации данных при обработке вместе данных схожих типов и рабочих нагрузок.
Дедупликация предназначена для установки на основных томах данных без выделенного оборудования, чтобы не влиять на основную нагрузку на сервер. Параметры по умолчанию являются ненавязчивыми, так как данные остаются нетронутыми в течение пяти дней перед обработкой конкретного файла, и минимальный размер файла по умолчанию составляет 32 КБ. Реализация рассчитана на низкий уровень использования памяти и ЦП.
Дедупликация может быть реализована на следующих рабочих нагрузках.
- Общие файловые ресурсы: публикация и совместное использование содержимого групп, домашние папки пользователей, перенаправление папок и автономные файлы.
- Общие ресурсы развертывания программного обеспечения: двоичные файлы программ, изображения, обновления.
- Библиотеки виртуального жесткого диска: хранилище файлов виртуального жесткого диска (VHD) для обеспечения гипервизоров.
- Развертывания VDI (только для Windows Server 2012 R2): развертывания инфраструктуры виртуальных рабочих столов (VDI) с помощью Hyper-V.
- Виртуализированное резервное копирование: решения резервного копирования (например, DPM, работающие на виртуальной машине Hyper-V), которые сохраняют данные резервного копирования в VHD/VHDX-файлы на файловом сервере Windows

DPM (Управление данными) и дедупликации

Использование дедупликации с DPM может обеспечить значительную экономию. Объем места, сохраненного дедупом при оптимизации данных резервного копирования DPM, зависит от типа резервных копий данных. Например, при резервировании сервера зашифрованной базы данных экономия может получиться незначительной, поскольку в процессе шифрования скрываются все повторяющиеся данные. Однако резервное копирование большого развертывания инфраструктуры виртуальных рабочих столов (VDI) может привести к значительной экономии в диапазоне от 70 до 90 %, так как обычно между средами виртуального рабочего стола имеется большое количество дублирования данных. В конфигурации, описанной в статье, мы запустили различные тестовые задания и наблюдали снижение затрат в диапазоне от 50% до 90%.

Чтобы использовать дедупликацию для хранилища DPM, DPM должен работать на виртуальной машине Hyper-V и записывать данные резервного копирования на виртуальные жесткие диски в общих папках с включенной дедупликацией данных.

Настройка дедуппированных томов

Давайте рассмотрим, какого размера должны быть тома для поддержки дедупликированных VHDX-файлов, содержащих данные DPM. В CPS мы создали тома объемом по 7,2 ТБ каждый. Оптимальный объем зависит главным образом от того, насколько много и насколько часто меняются данные в томе, а также от скорости передачи данных в подсистеме дискового хранилища. Важно отметить, что если обработка дедупликации не может соответствовать скорости ежедневных изменений данных (отток), экономия будет снижаться до тех пор, пока обработка не сможет завершиться. Дополнительные сведения см. в разделе Sizing Volumes for Data Deduplication. Рекомендуется использовать следующие общие рекомендации для дедупликации томов.

Использовать дисковые пространства с четностью и учетом корпуса для повышения устойчивости и улучшения использования дискового пространства.
Форматируйте NTFS с размером кластеров 64 КБ и сегментами записи больших файлов для оптимальной работы с разреженными файлами при использовании дедупликации.
В конфигурации оборудования, приведенной выше рекомендуемого размера тома 7,2 ТБ, тома будут настроены следующим образом:
- Учёт двойного паритета 7,2 ТБ + 1 ГБ кэш обратной записи в корпусе
  - ResiliencySettingName == Паритет
  - PhysicalDiskRedundancy == 2
  - NumberOfColumns == 7
  - Interleave == 256 КБ (производительность при двойной четности с черезполосной организацией 64 КБ значительно ниже, чем при стандартной черезполосной организации 256 КБ)
  - IsEnclosureAware == $true
  - AllocationUnitSize=64 кБ
  - Большой FRS
  Настройте новый виртуальный диск в указанном пуле носителей следующим образом.
```
New-VirtualDisk -Size 7.2TB -PhysicalDiskRedundancy 2 -ResiliencySettingName Parity -StoragePoolFriendlyName BackupPool -FriendlyName BackupStorage -NumberOfColumns 7 -IsEnclosureAware $true
```
- Каждый из этих томов необходимо затем отформатировать в:
```
Format-Volume -Partition <volume> -FileSystem NTFS -AllocationUnitSize 64 KB -UseLargeFRS -Force
```
  В рамках развертывания CPS они затем конфигурируются в качестве CSV.
- В этих томах DPM будет хранить ряд VHDX-файлов для хранения данных резервного копирования. Включите дедупликацию на томе после его форматирования следующим образом.
```
Enable-DedupVolume -Volume <volume> -UsageType HyperV
Set-DedupVolume -Volume <volume> -MinimumFileAgeDays 0 -OptimizePartialFiles:$false
```
  Эта команда также изменяет следующие параметры дедупликации уровня тома:
  - Задайте UsageType в HyperV: Это приводит к обработке открытых файлов дедупликации, которые необходимы, поскольку файлы VHDX, используемые для хранения резервных копий DPM, остаются открытыми с работающим на виртуальной машине DPM.
  - Отключить PartialFileOptimization: это приведет к дедупликации, при которой будут оптимизированы все разделы открытого файла, а не сканированию только измененных разделов с минимальным возрастом.
  - Задайте для параметра MinFileAgeDays значение 0. Если параметр PartialFileOptimization отключен, MinFileAgeDays изменит своё поведение так, что дедупликация будет учитывать только те файлы, которые не изменялись за это количество дней. Поскольку мы хотим начать процесс дедупликации данных резервного копирования во всех файлах DPM VHDX без задержки, нам нужно установить параметр MinFileAgeDays на 0.

Дополнительные сведения о настройке дедупликации см. в разделе "Установка и настройка дублирования данных".

Настройка хранилища DPM

Чтобы избежать проблем с фрагментацией и сохранить эффективность, хранилище DPM размещается с использованием VHDX-файлов, находящихся на дедуплицированных томах. Десять динамических VHDX-файлов размером 1 ТБ создаются на каждом томе и подключены к DPM. Кроме того, производится резервирование 3 ТБ хранилища, чтобы воспользоваться экономией места, созданной дедупликацией. Так как дедуп обеспечивает дополнительную экономию хранилища, новые VHDX-файлы можно создать на этих томах для использования сохраненного места. Мы проверили сервер DPM с 30 VHDX-файлами, подключенными к нему.

Выполните следующую команду, чтобы создать виртуальные жесткие диски, которые будут добавлены позже на сервер DPM.
```
New-SCVirtualDiskDrive -Dynamic -SCSI -Bus $Bus -LUN $Lun -JobGroup $JobGroupId -VirtualHardDiskSizeMB 1048576 -Path $Using:Path -FileName <VHDName>
```
Затем добавьте созданные виртуальные жесткие диски на сервер DPM следующим образом.
```
Import-Module "DataProtectionManager"
Set-StorageSetting -NewDiskPolicy OnlineAll
$dpmdisks = @()
$dpmdisks = Get-DPMDisk -DPMServerName $env:computername | ? {$_.CanAddToStoragePool -
eq $true -and $_.IsInStoragePool -eq $false -and $_.HasData -eq $false}
Add-DPMDisk $dpmdisks
```
На этом шаге пул носителей настраивается как диск или диски, на которых DPM хранит реплики и точки восстановления для защищенных данных. Этот пул является частью конфигурации DPM и отделен от пула дисковых пространств, используемого для создания томов данных, описанных в предыдущем разделе. Дополнительные сведения о пулах носителей DPM см. в разделе "Настройка дискового хранилища и пулов носителей".

Настройка кластера Файлового сервера Windows

Для дедупликации требуется специальный набор параметров конфигурации для поддержки виртуализированного хранилища DPM, учитывая масштаб данных и размер отдельных файлов. Эти параметры являются глобальными для кластера или узла кластера. Включить дедупликацию и настроить параметры кластера необходимо отдельно на каждом узле кластера.

Включите дедупликацию в хранилище Файлового сервера Windows. Роль дедупликации должна быть установлена на всех узлах кластера Файлового сервера Windows. Для этого выполните следующую команду PowerShell на каждом узле кластера:
```
Install-WindowsFeature -Name FileAndStorage-Services,FS-Data-Deduplication -ComputerName <node name>
```
Настройка процессов дедупликации для файлов данных резервного копирования. Выполните следующую команду PowerShell, чтобы начать оптимизацию без задержки и исключить оптимизацию частичных записей файлов. По умолчанию задания сборки мусора (GC) планируются каждую неделю, и каждую четвертую неделю задание GC выполняется в режиме "глубокая GC" для более тщательного и интенсивного поиска данных для удаления. Для рабочей нагрузки DPM этот режим глубокой очистки мусора не приводит к заметным выгодам и сокращает время, в течение которого дедупликация может оптимизировать данные. Поэтому мы отключаем этот режим.
```
Set-ItemProperty -Path HKLM:\Cluster\Dedup -Name DeepGCInterval -Value 0xFFFFFFFF
```
Настройте производительность для крупномасштабных операций. Выполните следующий скрипт PowerShell:
- отключить дополнительную обработку и операции ввода-вывода при выполнении глубокой сборки мусора;
- зарезервировать дополнительную память для обработки хэша;
- включить приоритетную оптимизацию, чтобы разрешить немедленную дефрагментацию больших файлов.
```
Set-ItemProperty -Path HKLM:\Cluster\Dedup -Name HashIndexFullKeyReservationPercent -Value 70
Set-ItemProperty -Path HKLM:\Cluster\Dedup -Name EnablePriorityOptimization -Value 1
```
Эти настройки изменяют следующие параметры.
- HashIndexFullKeyReservationPercent: это значение определяет, какой процент памяти задания оптимизации используется для существующих хэшей блоков по сравнению с новыми хэшами блоков. На больших масштабах значение 70 % дает большую производительность оптимизации, чем значение по умолчанию 50 %.
- EnablePriorityOptimization: При объёме файлов, приближающемся к 1 ТБ, фрагментация одного файла может накапливать достаточно частей, чтобы приблизиться к ограничению на каждый файл. При оптимизации эти фрагменты будут объединены и это позволит предотвратить достижение заданного ограничения. Установка этого ключа реестра позволяет добавлять при дедупликации дополнительный процесс для обработки дедуплицированных файлов с высокой степенью фрагментации, которым присваивается высокий приоритет.

Настроить DPM и расписание дедупликации

Операции резервного копирования и дедупликации являются операциями с большим объемом ввода-вывода. Если они будут выполняться в одно и то же время, дополнительные затраты на переключение между операциями могли бы быть значительными и привести к тому, что за день будет скопирован меньший объем данных и выполнена их дедупликация. Мы рекомендуем определить отдельные специальные окна для дедупликации и для резервного копирования. Это позволит гарантировать, что трафик ввода-вывода для каждой из этих операций будет эффективно распределен по времени ежедневной работы системы. Имеются следующие рекомендации по планированию.

Разделите дни на отдельные окна резервного копирования и дедупликации.
Настройте пользовательские расписания резервного копирования.
Настройте пользовательские расписания дедупликации.
Оптимизация расписания в окне ежедневной дедупликации.
Настройте графики дедупликации на выходные дни отдельно, используя это время для задач сборки мусора и очистки.

Расписания DPM можно настроить с помощью следующей команды PowerShell.

Set-DPMConsistencyCheckWindow -ProtectionGroup $mpg -StartTime $startTime -
DurationInHours $duration
Set-DPMBackupWindow -ProtectionGroup $mpg -StartTime $startTime -DurationInHours
$duration

В этой конфигурации DPM настроен на выполнение резервного копирования виртуальных машин в интервале времени от 22:00 до 6:00. Дедупликация запланирована на оставшиеся 16 часов дня. Реальное время дедупликации, которое вы настроите, будет зависеть от размера тома. Дополнительные сведения см. в разделе «Изменение размера томов для дедупликации данных». 16-часовое окно дедупликации, начиная с 6:00 после окончания окна резервного копирования, будет настроено следующим образом из любого отдельного узла кластера:

#disable default schedule
Set-DedupSchedule * -Enabled:$false
#Remainder of the day after an 8 hour backup window starting at 10pm $dedupDuration = 16
$dedupStart = "6:00am"
#On weekends GC and scrubbing start one hour earlier than optimization job.
# Once GC/scrubbing jobs complete, the remaining time is used for weekend
# optimization.
$shortenedDuration = $dedupDuration - 1
$dedupShortenedStart = "7:00am"
#if the previous command disabled priority optimization schedule
#reenable it
if ((Get-DedupSchedule -name PriorityOptimization -ErrorAction SilentlyContinue) -ne $null)
{
Set-DedupSchedule -Name PriorityOptimization -Enabled:$true
}
#set weekday and weekend optimization schedules
New-DedupSchedule -Name DailyOptimization -Type Optimization -DurationHours $dedupDuration -Memory 50 -Priority Normal -InputOutputThrottleLevel None -Start $dedupStart -Days Monday,Tuesday,Wednesday,Thursday,Friday
New-DedupSchedule -Name WeekendOptimization -Type Optimization -DurationHours $shortenedDuration -Memory 50 -Priority Normal -InputOutputThrottleLevel None -Start $dedupShortenedStart -Days Saturday,Sunday
#re-enable and modify scrubbing and garbage collection schedules
Set-DedupSchedule -Name WeeklyScrubbing -Enabled:$true -Memory 50 -DurationHours $dedupDuration -Priority Normal -InputOutputThrottleLevel None -Start $dedupStart -StopWhenSystemBusy:$false -Days Sunday
Set-DedupSchedule -Name WeeklyGarbageCollection -Enabled:$true -Memory 50 -DurationHours $dedupDuration -Priority Normal -InputOutputThrottleLevel None -Start $dedupStart -StopWhenSystemBusy:$false -Days Saturday
#disable background optimization
if ((Get-DedupSchedule -name BackgroundOptimization -ErrorAction SilentlyContinue) -ne $null)
{
Set-DedupSchedule -Name BackgroundOptimization -Enabled:$false
}

При изменении окна резервного копирования крайне важно, чтобы окно дедупликации было изменено вместе с ним, чтобы они не перекрывались. Дедупликация и окно резервного копирования не должны заполнять все 24 часа дня; Однако настоятельно рекомендуется разрешить варианты времени обработки из-за ожидаемых ежедневных изменений в рабочих нагрузках и потоках данных.

Вопросы, связанные с производительностью резервного копирования

После дедупликации набора файлов при доступе к файлам может наблюдаться небольшая потеря производительности. Это связано с тем, что требуется дополнительная обработка для доступа к файлам в формате дедуплицированных файлов. В этом сценарии файлы представляют собой набор файлов VHDX, которые непрерывно используются DPM во время окна резервного копирования. Эффект дедупликации этих файлов означает, что операции резервного копирования и восстановления могут быть немного медленнее, чем без дедупликации. Как и любой продукт для резервного копирования, DPM создает значительную нагрузку на запись данных, а операции чтения становятся важными в основном при восстановлении. По вопросам, связанным с производительностью резервного копирования и влиянием на нее дедупликации, предлагаются следующие рекомендации.

Операции чтения и восстановления. Влияние на операции чтения обычно незначительно и не требует особого внимания, так как функция дедупликации кэширует дедуплицированные фрагменты.
Операции записи и резервного копирования: планирование увеличения времени резервного копирования на 5–10 % при определении окна резервного копирования. (Это увеличение по сравнению с ожидаемым временем выполнения резервного копирования при записи на недедуплицированные тома.)

Наблюдение

За работой DPM и процессом дедупликации можно наблюдать с целью получения следующих сведений.

Для хранения резервных копий выделено достаточно места на диске.
Задания резервного копирования DPM выполняются нормально.
Дедупликация включена на резервных томах.
Расписания дедупликации заданы правильно.
Процесс дедупликации выполняется нормально ежедневно.
Выигрыш от дедупликации соответствует предположениям, сделанным при конфигурации системы.

Успех дедупликации зависит от аппаратных возможностей системы в целом (включая быстродействие ЦП, пропускную способность системы ввода-вывода, емкость хранилища), конфигурации системы, среднего уровня нагрузки и ежедневного объема измененных данных.

Наблюдать за работой DPM можно с помощью центральной консоли DPM. См. раздел Установка центральной консоли.

Вы можете отслеживать дедуп, чтобы проверить статус дедупликации, скорость сохранения и статус расписания с помощью следующих команд PowerShell:

Получить статус:

PS C:\> Get-DedupStatus
FreeSpace SavedSpace OptimizedFiles InPolicyFiles Volume
-------------- ---------- -------------- ------------- ------
280.26 GB 529.94 GB 36124 36125 X:
151.26 GB 84.19 GB 43017 43017 Z:

Получить экономию:

PS C:\> Get-DedupVolume
Enabled SavedSpace SavingsRate Volume
------- ---------- ----------- ------
True 529.94 GB 74 % X:

Узнайте статус расписания, используя командлет Get-DedupSchedule.

Контроль событий

Журнал мониторинга событий может помочь понять события дедупликации и состояние.

Чтобы просмотреть события дедупликации, в проводникеперейдите в раздел Журналы приложений и служб>Microsoft>Windows>Дедупликация.
Если значение LastOptimizationResult = 0x00000000 появится в результатах Get-DedupStatus |fl Windows PowerShell, весь набор данных был обработан предыдущим заданием оптимизации. В противном случае это значит, что системе не удалось завершить выполнение дедупликации и имеет смысл проверить параметры конфигурации, например размер тома.

Более подробные примеры командлетов см. в разделе Мониторинг и создание отчетов по дедупликации данных.

Мониторинг хранилища резервных копий

В нашем примере конфигурации тома 7,2 ТБ содержат 10 ТБ логических данных (размер данных без дедупликации) и хранятся в 10 x 1 ТБ динамических VHDX-файлов. По мере того как эти файлы накапливают дополнительные данные резервного копирования, они постепенно заполняют объём. Если процент экономии, полученный в результате дедупликации, достаточно высок, все 10 файлов смогут достичь максимального логического размера и по-прежнему помещаться в том 7,2 ТБ (возможно, может быть дополнительное пространство для выделения дополнительных VHDX-файлов для используемых серверов DPM). Но если экономия пространства от дедупликации недостаточна, пространство на томе может исчерпаться прежде чем файлы VHDX достигнут своего полного логического размера, и том будет заполнен. Чтобы предотвратить заполнение томов, мы рекомендуем предпринять следующие действия:

Быть более консервативным в требованиях к размеру тома и предусматривать некоторый резерв объема хранилища. Рекомендуется предусмотреть буфер не менее 10 % при планировании использования хранилища резервных копий, чтобы учесть ожидаемые изменения в экономии от дедупликации и колебания объёма данных.
Вести наблюдение за томами, используемыми для хранения резервных копий, чтобы контролировать использование пространства и размер экономии от дедупликации.

Если объем заполнится, это приведет к появлению следующих симптомов:

Виртуальная машина DPM будет переведена в критическое состояние и приостановлена, новые задания резервного копирования не могут запускаться этой виртуальной машиной.
Все задания резервного копирования, использующие VHDX-файлы на полном томе, провалятся.

Чтобы устранить это состояние и восстановить работу системы до нормального уровня, можно подготовить дополнительное хранилище и выполнить перенос хранилища виртуальной машины DPM или ее VHDX для освобождения места.

Остановите сервер DPM, которому принадлежат VHDX-файлы, находящиеся в переполненном резервном ресурсе.
Создайте дополнительный том и ресурс для резервных копий с использованием тех же параметров конфигурации, которые были использованы для существующих ресурсов, включая параметры файловой системы NTFS и дедупликации.
Перенос хранилища для виртуальной машины сервера DPM и перенос по крайней мере одного VHDX-файла из полной общей папки резервного копирования в новую общую папку резервного копирования, созданную на шаге 2.
Запустите задание очистки дедупликации данных на исходном резервном ресурсе, который был полностью заполнен. Задание GC должно успешно выполниться и освободить место.
Перезапустите виртуальную машину сервера DPM.
Задание проверки согласованности DPM будет запущено в период следующего резервного копирования для всех источников данных, которые потерпели сбой ранее.
Теперь все задания резервного копирования должны выполняться успешно.

Итоги

Использование дедупликации совместно с DPM обеспечивает значительную экономию места. Это позволяет достичь более высокого уровня сохранности, увеличить частоту выполнения резервного копирования и улучшить совокупную стоимость владения развертыванием DPM. Советы и рекомендации в этом документе должны дать вам средства и знания для настройки дедупликации хранилища DPM и продемонстрировать преимущества на примере вашего собственного развертывания.

Часто задаваемые вопросы

Вопрос. VHDX-файлы DPM должны иметь размер 1 ТБ. Означает ли это, что DPM не может создать резервную копию виртуальной машины, SharePoint, базы данных SQL или файлового тома размером менее 1 ТБ?

Ответ. Нет. DPM объединяет несколько томов в один для хранения резервных копий. Таким образом, размер файла в 1 ТБ не имеет никаких последствий для размеров источников данных, которые DPM может создать резервную копию.

Вопрос. Создается впечатление, что VHDX-файлы хранилища DPM могут быть развернуты только на удаленных файловых ресурсах SMB. Что произойдет, если сохранить VHDX-файлы резервных копий на томах с включенной дедупликацией на той же системе, где запущена виртуальная машина DPM?

Ответ. Как описано выше, DPM, Hyper-V и дедупликация являются операциями, требующими большого объема хранения и вычислительных ресурсов. Объединение всех трех из них в одной системе может привести к операциям с интенсивным вводом-выводом и процессом, которые могут привести к нехватке Hyper-V и ее виртуальных машин. Если вы решите поэкспериментировать настройку DPM на виртуальной машине с томами хранилища резервных копий на одном компьютере, необходимо тщательно отслеживать производительность, чтобы обеспечить достаточную пропускную способность ввода-вывода и вычислительные ресурсы для поддержания всех трех операций на одном компьютере.

Вопрос. Вы рекомендуете определить отдельные специальные окна для дедупликации и для резервного копирования. Почему я не могу включить дедупликацию при резервном копировании DPM? Мне нужно создать резервную копию базы данных SQL каждые 15 минут.

Ответ. Дедупция и DPM — это операции с большим объемом хранилища и одновременное выполнение обоих из них может быть неэффективным и привести к нехватке операций ввода-вывода. Таким образом, чтобы защитить рабочие нагрузки более одного раза в день (например, SQL Server каждые 15 минут) и включить дедупликацию одновременно, убедитесь, что достаточно пропускной способности ввода-вывода и емкости компьютера, чтобы избежать нехватки ресурсов.

Вопрос. Согласно описанной конфигурации DPM должен быть запущен на виртуальной машине. Почему невозможно включить дедупликацию на томе реплики и томе теневого копирования напрямую, а не на VHDX-файлах?

Ответ. Дедупликация выполняется по каждому тому с обработкой отдельных файлов. Так как дедупп оптимизируется на уровне файла, он не предназначен для поддержки технологии VolSnap, которую DPM использует для хранения данных резервного копирования. При работе DPM на виртуальной машине Hyper-V сопоставляет операции с томами DPM на уровне VHDX-файлов, что позволяет оптимизировать резервные копии данных и получать больше экономии пространства хранения при дедупликации.

Вопрос. Приведенный выше пример конфигурации создал только тома 7,2 ТБ. Можно ли создавать тома большего или меньшего размера?

A: Дедуп запускает один поток на каждый том. По мере увеличения размера тома дедупликация требует больше времени для завершения оптимизации. С другой стороны, при небольших объемах данных меньше возможностей найти повторяющиеся блоки, что может уменьшить экономию. Поэтому рекомендуется точно настроить размер тома на основе общих возможностей обработки и системного оборудования для оптимальной экономии. Более подробные сведения об определении размера тома, используемого при дедупликации, можно найти в разделе «Определение размеров томов для дедупликации в Windows Server». Дополнительные сведения об определении размеров томов, используемых с дедупликацией, см. в разделе "Изменение размера томов для дедупликации данных".

Поделиться через