Optimalizace úložiště s využitím odstranění duplicitních dat ReFS a komprese v Azure Local

Platí pro: Azure Local 2311.2 a novější

Tento článek popisuje funkci odstranění duplicitních dat odolného systému souborů (ReFS) a funkci komprese a způsob použití této funkce v Azure Local k optimalizaci úložiště.

Co je odstranění duplicitních dat a komprese ReFS?

Odstranění duplicitních dat a komprese ReFS je funkce optimalizace úložiště, která pomáhá optimalizovat využití úložiště a snížit náklady na úložiště. Odstranění duplicitních dat používejte speciálně pro aktivní úlohy citlivé na výkon nebo úlohy náročné na čtení, jako je infrastruktura virtuálních klientských počítačů Azure (VDI) v Azure Local. U méně náročných úloh na výkon můžete použít kombinaci odstranění duplicitních dat a komprese nebo pouze komprese.

Tato funkce používá klonování bloků ReFS k omezení přesunu dat a povolení operací pouze s metadaty. Funkce funguje na úrovni datového bloku a v závislosti na velikosti systému používá pevnou velikost bloku. Komprimační modul vygeneruje heat mapu, která identifikuje, jestli má blok nárok na kompresi a optimalizuje využití procesoru.

Odstranění duplicitních dat a kompresi ReFS můžete spustit jako jednorázovou úlohu nebo ji automatizovat s naplánovanými úlohami. Tato funkce funguje se systémy all-flash i hybridními systémy a podporuje různá nastavení odolnosti, jako je dvoucestné zrcadlo, vnořené dvoucestné zrcadlo, trojcestné zrcadlení a akcelerovaná parita zrcadlení.

Zaměstnanecké výhody

Tady jsou výhody použití odstranění duplicitních dat a komprese ReFS:

• Úspora úložiště pro aktivní úlohy Navržené pro aktivní úlohy, jako je VDI, zajišťují efektivní výkon v náročných prostředích.
• Více režimů. Funguje ve třech režimech: pouze odstranění duplicitních dat (výchozí režim), pouze komprese a odstranění duplicit a komprese, což umožňuje optimalizaci na základě vašich potřeb.
• Přírůstková deduplikace Deduplikuje pouze nová nebo změněná data, místo aby pokaždé prohledával celý svazek, což optimalizuje dobu trvání úlohy a snižuje dopad na výkon systému.

Požadavky

Než začnete, ujistěte se, že jsou splněné následující požadavky:

• Máte přístup k místní instanci Azure, která je nasazená a zaregistrovaná.
• Máte sdílený svazek clusteru (CSV) vytvořený v instanci a máte k němu přístup.
• CSV soubor nemá funkci Odstranění duplicitních dat ve Windows již povolenou.

Použití deduplikace a komprese ReFS

Odstranění duplicitních dat a kompresi ReFS můžete použít přes Windows Admin Center nebo PowerShell. PowerShell umožňuje ruční i automatizované úlohy, zatímco Windows Admin Center podporuje pouze naplánované úlohy. Bez ohledu na metodu můžete přizpůsobit nastavení úlohy a využít sledování změn souborů k rychlejším následným spuštěním.

Poznámka:

Pro úlohy, u kterých je potřeba zvážit výkon, doporučujeme používat pouze odstranění duplicitních dat, nikoli kompresi nebo kombinaci obojího.

Povolení a spuštění odstranění duplicitních dat a komprese ReFS

Centrum pro správu Windows

Ve Windows Admin Center můžete vytvořit plán pro odstranění duplicitních dat ReFS, který se bude spouštět na existujícím svazku nebo na novém svazku během vytváření svazku. Povolení komprese se ale podporuje jenom prostřednictvím PowerShellu.

Pokud chcete povolit odstranění duplicitních dat ReFS přes Windows Admin Center a nastavit plán, kdy se má spustit, postupujte takto:

1. Připojte se k systému a v podokně Nástroje vlevo vyberte Svazky.

2. Na stránce Svazky vyberte kartu Inventář, vyberte příslušný svazek a pak vyberte Nastavení. Pokud chcete pro nový svazek zapnout odstranění duplicitních dat ReFS, vyberte + Vytvořit.

3. V podokně Nastavení svazku vpravo v rozevíracím seznamu Další možnosti zaškrtněte políčko Použít odstranění duplicitních dat ReFS.

4. Vyberte dny v týdnu, kdy se má odstranění duplicitních dat reFS spustit, čas spuštění úlohy a maximální doba trvání (výchozí hodnota je neomezená) a pak vyberte Uložit.

   Následující snímek obrazovky ukazuje, že deduplikace ReFS se spustí v pátek a sobotu ve 22:00 hodin večer s maximální dobou trvání 2 hodiny, počínaje pátkem 27. 9. 2024. Pokud bylo datum zahájení změněno na pondělí 30. 9. 2024, první spuštění bude 4. 10. 2024 ve 22:00, protože to je první pátek po 30. 9. 2024.

   

5. Ověřte změny v části Vlastnosti svazku. Plán se zobrazí v části Vlastnosti a zobrazí rozpis úspor a další naplánovaný čas spuštění. Tyto úspory se aktualizují po každém spuštění a v grafech v části Výkon můžete sledovat dopad na výkon. Pokud je komprese povolená přes PowerShell, jeho úspory se zobrazí také v části Vlastnosti .

   

PowerShell

Pokud chcete používat odstranění duplicitních dat a kompresi ReFS prostřednictvím PowerShellu, nejprve tuto funkci povolíte a pak ji spustíte jako jednorázovou ruční úlohu nebo ji zautomatizujete tak, aby se spouštěla jako naplánované úlohy. Úlohy jsou nastavené na úrovni sdíleného svazku clusteru pro každý systém a lze je přizpůsobit na základě režimů, doby trvání, využití systémových prostředků a dalších.

Povolení odstranění duplicitních dat a komprese ReFS

Pokud chcete povolit odstranění duplicitních dat a kompresi ReFS přes PowerShell, postupujte takto:

1. Připojte se k místní instanci Azure a spusťte PowerShell jako správce.

2. Abyste změnili nastavení příslušného svazku na vlastnickém uzlu, musíte spustit všechny příkazy. Spusťte následující cmdlet pro zobrazení všech uzlů vlastníka sdíleného svazku clusteru (CSV) a cesty ke svazku.

   Get-ClusterSharedVolume | FT Name, OwnerNode, SharedVolumeInfo
   

   Tady je ukázkový výstup použití cmdletu:

   Name                           OwnerNode   SharedVolumeInfo
   ----                           ---------   ----------------
   Cluster Virtual Disk (Volume1) hci-server1 {C:\ClusterStorage\Volume1}
   

3. Spuštěním následující rutiny povolte odstranění duplicitních dat a kompresi ReFS na konkrétním svazku:

   Enable-ReFSDedup -Volume <path> -Type <Dedup | DedupAndCompress | Compress> 
   

   kde: Type je povinný parametr a může mít jednu z následujících hodnot:

   • Dedup: Povolí pouze deduplikaci. Toto je výchozí možnost.
   • DedupAndCompress: Povolí odstranění duplicitních dat i kompresi.
   • Komprese: Povoluje pouze kompresi.

   Pokud chcete parametr změnit Type , musíte nejprve zakázat odstranění duplicitních dat ReFS a kompresi a pak ho znovu povolit pomocí nového Type parametru.

   Spuštěním následující rutiny například povolte odstranění duplicitních dat i kompresi svazku:

   PS C:\Users\hciuser> Enable-ReFSDedup -Volume "C:\ClusterStorage\Volume1" -Type DedupAndCompress
   

4. Po povolení deduplikace a komprese systému ReFS, ověřte jeho stav na CSV. Spusťte následující rutinu a ujistěte se, že Enabled se pole ve výstupu zobrazí jako True a Type pole zobrazí zadaný režim.

   Get-ReFSDedupStatus -Volume <path> | FL
   

   Tady je ukázkový výstup Get-ReFSDedupStatus rutiny, kde se Enabled pole zobrazuje jako True a Type pole se zobrazuje takto DedupAndCompress:

   PS C:\Users\hciuser> Get-ReFSDedupStatus -Volume "C:\ClusterStorage\Volume1" | FL
   Volume                                    : C:\ClusterStorage\Volume1
   Enabled                                   : True
   Type                                      : DedupAndCompress
   Status                                    : --
   Used                                      : 1.4 TiB
   Deduped                                   : 0 B
   Compressed                                : 0 B
   ScannedOnLastRun                          : 0 B
   DedupedOnLastRun                          : 0 B
   LastRunTime                               : N/A
   LastRunDuration                           : N/A
   MextRunTime                               : N/A
   CompressionFormat                         : Uncompressed
   CompressionLevel                          : 0
   CompressionChunkSize                      : 0 B
   VolumeClusterSizeBytes                    : 4 KiB
   VolumeTotale lusters                      : 805289984
   VolumeTotalAllocatedelusters              : 353850628
   VolumeTotalAllocatedCompressibleClusters  : 0
   VolumeTota1InUseCompressibleClusters      : 0
   VolumeTota1Compressedelusters             : 0
   

Spuštění odstranění duplicitních dat a komprese ReFS

Po povolení této funkce můžete jednorázovou úlohu spustit ručně nebo podle potřeby naplánovat opakované úlohy.

Než začnete, měli byste také zvážit tyto další aspekty:

• Pokud nezadáte formát komprese, výchozí algoritmus je LZ4. Algoritmus můžete podle potřeby změnit z jednoho spuštění na druhý.
• Pro složitější případy použití můžete zadat více parametrů. Cmdlet použitý v této části je určený pro nejjednodušší případ použití.
• Filtry vyloučených složek, vyloučených přípon souborů a minimální doby poslední úpravy se použijí jenom při spuštění odstranění duplicitních dat a při spuštění komprese se nevztahují.

Ruční spuštění úloh odstranění duplicitních dat a komprese ReFS

• Pokud chcete úlohu spustit okamžitě, spusťte následující cmdlet. Jakmile začnete úlohu, State se může zobrazit jako NotStarted, protože může být stále ve fázi inicializace.

  Start-ReFSDedupJob -Volume <path> -Duration <TimeSpan> -CompressionFormat <LZ4 | ZSTD> 
  

  Například následující rutina spustí úlohu okamžitě po dobu 5 hodin pomocí formátu komprese LZ4:

  PS C:\Users\hciuser> $Start = “10/31/2023 08:30:00”
  PS C:\Users\hciuser> $Duration = New-Timespan -Hours 5
  PS C:\Users\hciuser> Start-ReFSDedupJob -Volume "C:\ClusterStorage\Volume1" -Duration $Duration -CompressionFormat LZ4
  
  Id     Name            PSJobTypeName   State         HasMoreData     Location             Command
  --     ----            -------------   -----         -----------     --------             -------
  12     Job12                           NotStarted    True                                 Start-Re...
  

• Pokud chcete zastavit spuštěnou úlohu, spusťte následující příkaz. Tento cmdlet funguje také pro probíhající naplánované úlohy.

  Stop-ReFSDedupJob -Volume <path>
  

  Například následující rutina zastaví úlohu, kterou jste spustili v předchozím příkladu:

  PS C:\Users\hciuser> Stop-ReFSDedupJob -Volume "C:\ClusterStorage\Volume1"
  

• Pokud chcete zobrazit průběh, úspory a stav úlohy, spusťte následující příkaz:

  Get-ReFSDedupStatus -Volume <path> | FL
  

  Například následující rutina zobrazí stav úlohy:

  PS C:\Users\hciuser> Get-ReFSDedupStatus -Volume "C:\ClusterStorage\Volume1"
  
  Volume                                            Type             Used     Deduped Compressed Format
  ------                                            ----             ----     ------- ---------- ------
  C:\ClusterStorage\Volume1 DedupAndCompress 1.38 TiB 0 B     0 B        Unc...
  

Naplánování opakovaných úloh odstranění duplicitních dat ReFS a komprese

Nastavte plán opakovaného spuštění optimalizace úložiště pro svazek. Pak můžete zobrazit, nastavit nebo upravit, pozastavit, obnovit nebo vymazat plán úlohy.

• Pokud chcete nastavit nebo upravit plán, spusťte následující cmdlet:

  Set-ReFSDedupSchedule -Volume <Path> -Start <DateTime> -Days <DayOfWeek[]> -Duration <TimeSpan> -CompressionFormat <LZ4 | ZSTD> -CompressionLevel <UInt16> -CompressionChunkSize <UInt32> 
  

  Pokud chcete například nastavit opakující se úlohu naplánovanou tak, aby se spouštěla každou čtvrtek v 8:30 po dobu 5 hodin ve formátu LZ4, spusťte následující rutinu. Použijte -Days EveryDay , pokud chcete úlohu spouštět každý den.

  PS C:\Users\hciuser> $Start = “10/31/2023 08:30:00”
  PS C:\Users\hciuser> $Duration = New-Timespan -Hours 5
  PS C:\Users\hciuser> Set-ReFSDedupSchedule -Volume C:\ClusterStorage\Volume1 -Start $Start Days "Thursday" -Duration $Duration -CompressionFormat LZ4
  

• Pokud chcete zobrazit plán úlohy, spusťte následující cmdlet:

  Get-ReFSDedupSchedule -Volume <path> | FL
  

  Tady je výstup úlohy naplánované v předchozím příkladu:

  PS C:\Users\hciuser> Get-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1" | FL
  
  Volume                       : C:\ClusterStorage\Volume1
  Enabled                      : True
  Type                         : DedupAndCompress
  CpuPercentage                : Automatic
  ConcurrentOpenFiles          : Automatic
  MinimumLastModifiedTimeHours : 0
  ExcludeFileExtension         : {}
  ExcludeFolder                : {}
  CpuPercentage                : 0
  CompressionFormat            : LZ4
  CompressionLevel             : 1
  CompressionChunkSize         : 4 B
  CompressionTuning            : 70
  RecompressionTuning          : 40
  DecompressionTuning          : 30
  Start                        : 8:30:00 AM
  Duration                     : 00m:00.000s
  Days                         : Thursday
  Suspended                    : False
  

Pozastavení naplánovaných úloh

Pozastavení plánu zruší všechny probíhající úlohy a zabrání budoucím naplánovaným spuštěním. Tato možnost zachovává odstranění duplicitních dat ReFS a metadata související s kompresí a nadále sleduje změny souborů pro optimalizovaná budoucí spuštění. Plán můžete kdykoli obnovit se zachováním nastavení plánu.

Centrum pro správu Windows

Pokud chcete pozastavit naplánované úlohy pomocí Centra pro správu Windows, postupujte takto:

1. Připojte se k systému a v Podokně Nástroje vlevo vyberte Svazky.

2. Na stránce Svazky vyberte kartu Inventář, vyberte příslušný svazek a pak vyberte Nastavení.

3. Na panelu nastavení Hlasitosti na pravé straně, v rozevíracím seznamu Další možnosti, zrušte zaškrtnutí Nastavit plán a poté vyberte Uložit.

PowerShell

Pomocí následující rutiny pozastavte naplánovanou úlohu a pomocí PowerShellu zkontrolujte stav:

Suspend-ReFSDedupSchedule -Volume <path> 

Zde je ukázkový výstup použití cmdletu. Pole Suspended se zobrazí jako True.

PS C:\Users\hciuser> Suspend-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1"
PS C:\Users\user> Get-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1" | FL


Volume                       : C:\ClusterStorage\Volume1
Enabled                      : True
Type                         : DedupAndCompress
CpuPercentage                : Automatic
ConcurrentOpenFiles          : Automatic
MinimumLastModifiedTimeHours : 0
ExcludeFileExtension         : {}
ExcludeFolder                : {}
CpuPercentage                : 0
CompressionFormat            : LZ4
CompressionLevel             : 1
CompressionChunkSize         : 4 B
CompressionTuning            : 70
RecompressionTuning          : 40
DecompressionTuning          : 30
Start                        : 8:30:00 AM
Duration                     : 00m:00.000s
Days                         : Thursday
Suspended                    : True

Zakázat deduplikaci a kompresi ReFS na svazku

Zakázání deduplikace a komprese na svazku ReFS zastaví všechny probíhající procesy a zruší budoucí naplánované úlohy. Kromě toho se související metadata svazku nezachovají a sledování změn souborů se zastaví.

Poznámka:

Když tuto funkci zakážete, neodebere odstranění duplicit ani kompresi, protože všechny operace probíhají ve vrstvě metadat. V průběhu času se deduplikovaná data vrátí do původního stavu, jakmile svazek provede čtení a zápisy. Pokud chcete data dekomprimovat, ujistěte se, že je k dispozici dostatek kapacity, a pomocí nástroje ReFSUtil proveďte následující operaci.

refsutil compression /c /f NONE <vol>

Centrum pro správu Windows

Pokud chcete funkci zakázat pomocí Centra pro správu Windows, postupujte takto:

1. Připojte se k systému a v podokně Nástroje vlevo vyberte Svazky.

2. Na stránce Svazky vyberte kartu Inventář, vyberte příslušný svazek a pak vyberte Nastavení.

3. Na podokně Nastavení svazku vpravo, v rozbalovacím seznamu Další možnosti, zrušte zaškrtnutí políčka Použít ReFS pro odstranění duplicitních dat a pak klikněte na Uložit.

PowerShell

Pomocí následující rutiny pozastavte naplánovanou úlohu a zkontrolujte stav:

Disable-ReFSDedup -Volume <path>

Tady je ukázkový výstup použití cmdletu. Pole Enabled se zobrazí jako False a Type pole se zobrazí jako prázdné.

PS C:\Users\hciuser> Disable-ReFSDedup -Volume "C:\ClusterStorage\Volume1"
PS C:\Users\hciuser> Get-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1" | FL


Volume                       : C:\ClusterStorage\Volume1
Enabled                      : False
Type                         :
CpuPercentage                : Automatic
ConcurrentOpenFiles          : Automatic
MinimumLastModifiedTimeHours : 0
ExcludeFileExtension         : {}
ExcludeFolder                : {}
CpuPercentage                : 0
CompressionFormat            : LZ4
CompressionLevel             : 0
CompressionChunkSize         : 0 B
CompressionTuning            : 70
RecompressionTuning          : 40
DecompressionTuning          : 30
Start                        : N/A
Duration                     : N/A
Days                         : None
Suspended                    : False

Nejčastější dotazy

Tato část odpovídá na nejčastější dotazy týkající se odstranění duplicitních dat a komprese ReFS.

Liší se funkce odstranění duplicitních dat a komprese ReFS od Odstranění duplicitních dat windows?

Ano, tato funkce se zcela liší od funkce Odstranění duplicitních dat systému Windows.

Důležité

Nepodporujeme současné povolení deduplikace a komprese ReFS a současně deduplikace dat systému Windows.

Odstranění duplicitních dat a komprese ReFS je navržené pro aktivní úlohy a zaměřuje se na minimalizaci dopadu na výkon po optimalizaci. Na rozdíl od odstranění duplicitních dat systému Windows nepoužívá ReFS odstranění duplicitních dat a komprese úložiště fragmentů k ukládání deduplikovaných dat a nedochází k žádnému fyzickému přesunu dat. Tato funkce spoléhá na klonování bloků ReFS k povolení operací jen s metadaty. Odstranění duplicitních dat windows může lépe ušetřit úložiště díky použití proměnných velikostí bloků, je také vhodné pro širší škálu typů úloh, jako jsou souborové servery pro obecné účely (GPFS), cíle zálohování a další.

Jaké jsou fáze odstranění duplicitních dat a komprese ReFS?

Proces optimalizace se skládá z následujících fází, které probíhají postupně a závisí na zadaném režimu. Pokud optimalizační spuštění dosáhne časového limitu, nemusí se komprese spustit.

• Inicializace. V této fázi se svazek úložiště zkontroluje a identifikuje redundantní bloky dat.

• Odstranění duplicitních dat V této fázi jsou redundantní bloky zpracovány na úrovni jediné instance a jejich sledování je prováděno pomocí klonování bloků ReFS.

• Komprese. V této fázi se vygeneruje teplotní mapa, která identifikuje, zda by měl být blok zkomprimován. Výchozí nastavení komprimují zřídka daná nebo studená data, aby se snížila jejich velikost. Úrovně komprese můžete změnit a upravit rozsah bloků způsobilých ke kompresi.

Co se stane, když se dosáhne limitu doby trvání, než se svazek plně optimalizuje?

Limit doby trvání je zaveden, aby se zabránilo jakémukoli dopadu na výkon úloh zákazníků způsobených úlohou optimalizace během pracovní doby. Služba odstranění duplicitních dat monitoruje optimalizované části svazku a úpravy příchozích souborů. Tato data se využívají v budoucích úlohách, aby se zkrátila doba optimalizace. Pokud je například svazek při prvním spuštění z důvodu limitu doby trvání zpracován pouze z 30 %, následné spuštění řeší zbývajících 70 % a všechny nové údaje.

Známé problémy

Následující část uvádí známé problémy, které aktuálně existují s odstraněním duplicitních dat a kompresí ReFS.

Pokud je povolená komprese, může použití parametru -FullRun u úloh po prvním spuštění optimalizace způsobit zablokování v systému.

Stav: Otevřená.

-FullRun nepoužívejte v ručně spuštěných úlohách, pokud není TypeDedup.

Pokud chcete tento problém zmírnit, postupujte podle těchto kroků jako dočasné alternativní řešení:

1. Zakažte odstranění duplicitních dat ReFS a kompresi svazku:

   Disable-ReFSDedup -Volume <path>
   

2. Dekomprimujte svazek pomocí refsutil:

   refsutil compression /c /f NONE <vol>
   

3. V případě potřeby znovu povolte odstranění duplicitních dat ReFS a kompresi jediným režimem Dedup :

   Enable-ReFSDedup -Volume <path> -Type Dedup
   

Plánování úloh pro souběžné spouštění na více sdílených svazcích clusteru v jednom systému může potenciálně aktivovat pohyby CSV a negativně ovlivnit výkon.

Stav: Otevřená.

Jako doporučený osvědčený postup zvažte rozvržení času zahájení úloh, abyste se vyhnuli překrývání. Pokud ale všechny úlohy musí běžet současně, upravte přidělení procesoru na každou úlohu u všech CSV tak, aby bylo nižší než 50 % celkového využití procesoru systému. Mějte na paměti, že uložení omezení procesoru může vést k delší době provádění úloh.

Deduplikace a komprese ReFS byly dokončeny (buď úspěšně, nebo byly zrušeny), a úspory úložiště nejsou zobrazeny v Get-ReFSDedupStatus ani v centru Windows Admin Center.

Stav: Vyřešeno.

Dočasným alternativním řešením tohoto problému je inicializovat jednorázovou úlohu a okamžitě aktualizovat výsledky.

Start-ReFSDedupJob -Volume <path>

Zasílání přestalo sledovat události Event Tracing for Windows (ETW) po zakázání deduplikace a komprese ReFS na svazku.

Stav: Vyřešeno.

Jakmile je odstranění duplicitních dat a komprese ReFS na svazku zakázané, kanál ETW pro protokoly odstranění duplicitních dat ReFS opakovaně zastavil monitorování událostí. Kvůli tomuto problému ale neočekáváme významný dopad na využití.

Událost selhání úlohy se nezaprotokoluje, pokud se svazek během komprese přesune do jiného uzlu.

Stav: Vyřešeno.

Pokud se CSV přesune na jiný počítač systému během probíhající komprese, událost selhání úlohy se nezaprotokoluje v kanálu deduplikace ReFS. Kvůli tomuto problému ale neočekáváme významný dopad na využití.

Další kroky

• Správa objemu