Optimalizace úložiště s využitím odstranění duplicitních dat ReFS a komprese v Azure Local

Platí pro: Azure Local 2311.2 a novější

Tento článek popisuje funkci odstranění duplicitních dat odolného systému souborů (ReFS) a funkci komprese a způsob použití této funkce v Azure Local k optimalizaci úložiště.

Co je odstranění duplicitních dat a komprese ReFS?

Odstranění duplicitních dat a komprese ReFS je funkce optimalizace úložiště, která pomáhá optimalizovat využití úložiště a snížit náklady na úložiště. Odstranění duplicitních dat používejte speciálně pro aktivní úlohy citlivé na výkon nebo úlohy náročné na čtení, jako je infrastruktura virtuálních klientských počítačů Azure (VDI) v Azure Local. U méně náročných úloh na výkon můžete použít kombinaci odstranění duplicitních dat a komprese nebo pouze komprese.

Tato funkce používá klonování bloků ReFS k omezení přesunu dat a povolení operací pouze s metadaty. Funkce funguje na úrovni datového bloku a v závislosti na velikosti systému používá pevnou velikost bloku. Komprimační modul vygeneruje heat mapu, která identifikuje, jestli má blok nárok na kompresi a optimalizuje využití procesoru.

Odstranění duplicitních dat a kompresi ReFS můžete spustit jako jednorázovou úlohu nebo ji automatizovat s naplánovanými úlohami. Tato funkce funguje se systémy all-flash i hybridními systémy a podporuje různá nastavení odolnosti, jako je dvoucestné zrcadlo, vnořené dvoucestné zrcadlo, trojcestné zrcadlení a akcelerovaná parita zrcadlení.

Zaměstnanecké výhody

Tady jsou výhody použití odstranění duplicitních dat a komprese ReFS:

• Úspora úložiště pro aktivní úlohy Navržené pro aktivní úlohy, jako je VDI, zajišťují efektivní výkon v náročných prostředích.
• Více režimů. Funguje ve třech režimech: pouze odstranění duplicitních dat (výchozí režim), pouze komprese a odstranění duplicit a komprese, což umožňuje optimalizaci na základě vašich potřeb.
• Přírůstkové odstranění duplicitních dat Odstranění duplicitních dat vytváří pouze nová nebo změněná data na rozdíl od kontroly celého svazku pokaždé, optimalizaci doby trvání úlohy a snížení dopadu na výkon systému.

Požadavky

Než začnete, ujistěte se, že jsou splněné následující požadavky:

• Máte přístup k místní instanci Azure, která je nasazená a zaregistrovaná.
• Máte sdílený svazek clusteru (CSV) vytvořený v instanci a máte k němu přístup.
• Sdílený svazek clusteru ještě nemá povolenou funkci Odstranění duplicitních dat windows.

Použití odstranění duplicitních dat a komprese ReFS

Odstranění duplicitních dat a kompresi ReFS můžete použít přes Windows Admin Center nebo PowerShell. PowerShell umožňuje ruční i automatizované úlohy, zatímco Windows Admin Center podporuje pouze naplánované úlohy. Bez ohledu na metodu můžete přizpůsobit nastavení úlohy a využít sledování změn souborů k rychlejším následným spuštěním.

Poznámka:

Pro úlohy, u kterých je potřeba zvážit výkon, doporučujeme používat pouze odstranění duplicitních dat, nikoli kompresi nebo kombinaci obojího.

Povolení a spuštění odstranění duplicitních dat a komprese ReFS

Centrum pro správu Windows

Ve Windows Admin Center můžete vytvořit plán pro odstranění duplicitních dat ReFS, který se bude spouštět na existujícím svazku nebo na novém svazku během vytváření svazku. Povolení komprese se ale podporuje jenom prostřednictvím PowerShellu.

Pokud chcete povolit odstranění duplicitních dat ReFS přes Windows Admin Center a nastavit plán, kdy se má spustit, postupujte takto:

1. Připojte se k systému a v podokně Nástroje vlevo vyberte Svazky.

2. Na stránce Svazky vyberte kartu Inventář, vyberte příslušný svazek a pak vyberte Nastavení. Pokud chcete pro nový svazek zapnout odstranění duplicitních dat ReFS, vyberte + Vytvořit.

3. V podokně Nastavení svazku vpravo v rozevíracím seznamu Další možnosti zaškrtněte políčko Použít odstranění duplicitních dat ReFS.

4. Vyberte dny v týdnu, kdy se má odstranění duplicitních dat reFS spustit, čas spuštění úlohy a maximální doba trvání (výchozí hodnota je neomezená) a pak vyberte Uložit.

   Následující snímek obrazovky ukazuje, že odstranění duplicitních dat ReFS se spustí v pátek a sobotu v 10:00 s maximální dobou trvání 2 hodiny od 27. 9. 2024. Pokud se datum zahájení změnilo na pondělí 30. 9. 2024, první spuštění bude 10.4.2024 10:00, protože první pátek po 30. 9. 2024.

   

5. Ověřte změny v části Vlastnosti svazku. Plán se zobrazí v části Vlastnosti a zobrazí rozpis úspor a další naplánovaný čas spuštění. Tyto úspory se aktualizují po každém spuštění a v grafech v části Výkon můžete sledovat dopad na výkon. Pokud je komprese povolená přes PowerShell, jeho úspory se zobrazí také v části Vlastnosti .

   

PowerShell

Pokud chcete používat odstranění duplicitních dat a kompresi ReFS prostřednictvím PowerShellu, nejprve tuto funkci povolíte a pak ji spustíte jako jednorázovou ruční úlohu nebo ji zautomatizujete tak, aby se spouštěla jako naplánované úlohy. Úlohy jsou nastavené na úrovni sdíleného svazku clusteru pro každý systém a lze je přizpůsobit na základě režimů, doby trvání, využití systémových prostředků a dalších.

Povolení odstranění duplicitních dat a komprese ReFS

Pokud chcete povolit odstranění duplicitních dat a kompresi ReFS přes PowerShell, postupujte takto:

1. Připojte se k místní instanci Azure a spusťte PowerShell jako správce.

2. Pokud chcete změnit nastavení daného svazku na uzlu vlastníka, musíte spustit všechny příkazy. Spuštěním následující rutiny zobrazte všechny uzly vlastníka sdíleného svazku clusteru a cestu ke svazku:

   Get-ClusterSharedVolume | FT Name, OwnerNode, SharedVolumeInfo
   

   Tady je ukázkový výstup použití rutiny:

   Name                           OwnerNode   SharedVolumeInfo
   ----                           ---------   ----------------
   Cluster Virtual Disk (Volume1) hci-server1 {C:\ClusterStorage\Volume1}
   

3. Spuštěním následující rutiny povolte odstranění duplicitních dat a kompresi ReFS na konkrétním svazku:

   Enable-ReFSDedup -Volume <path> -Type <Dedup | DedupAndCompress | Compress> 
   

   kde: Type je povinný parametr a může mít jednu z následujících hodnot:

   • Odstranění duplicitních dat: Povolí jenom odstranění duplicitních dat. Toto je výchozí možnost.
   • DedupAndCompress: Povolí odstranění duplicitních dat i kompresi.
   • Komprese: Povoluje pouze kompresi.

   Pokud chcete parametr změnit Type , musíte nejprve zakázat odstranění duplicitních dat ReFS a kompresi a pak ho znovu povolit pomocí nového Type parametru.

   Spuštěním následující rutiny například povolte odstranění duplicitních dat i kompresi svazku:

   PS C:\Users\hciuser> Enable-ReFSDedup -Volume "C:\ClusterStorage\Volume1" -Type DedupAndCompress
   

4. Po povolení odstranění duplicitních dat a komprese ReFS ověřte jeho stav ve sdíleném svazku clusteru. Spusťte následující rutinu a ujistěte se, že Enabled se pole ve výstupu zobrazí jako True a Type pole zobrazí zadaný režim.

   Get-ReFSDedupStatus -Volume <path> | FL
   

   Tady je ukázkový výstup Get-ReFSDedupStatus rutiny, kde se Enabled pole zobrazuje jako True a Type pole se zobrazuje takto DedupAndCompress:

   PS C:\Users\hciuser> Get-ReFSDedupStatus -Volume "C:\ClusterStorage\Volume1" | FL
   Volume                                    : C:\ClusterStorage\Volume1
   Enabled                                   : True
   Type                                      : DedupAndCompress
   Status                                    : --
   Used                                      : 1.4 TiB
   Deduped                                   : 0 B
   Compressed                                : 0 B
   ScannedOnLastRun                          : 0 B
   DedupedOnLastRun                          : 0 B
   LastRunTime                               : N/A
   LastRunDuration                           : N/A
   MextRunTime                               : N/A
   CompressionFormat                         : Uncompressed
   CompressionLevel                          : 0
   CompressionChunkSize                      : 0 B
   VolumeClusterSizeBytes                    : 4 KiB
   VolumeTotale lusters                      : 805289984
   VolumeTotalAllocatedelusters              : 353850628
   VolumeTotalAllocatedCompressibleClusters  : 0
   VolumeTota1InUseCompressibleClusters      : 0
   VolumeTota1Compressedelusters             : 0
   

Spuštění odstranění duplicitních dat a komprese ReFS

Po povolení této funkce můžete jednorázovou úlohu spustit ručně nebo podle potřeby naplánovat opakované úlohy.

Než začnete, měli byste také zvážit tyto další aspekty:

• Pokud nezadáte formát komprese, výchozí algoritmus je LZ4. Algoritmus můžete podle potřeby změnit z jednoho spuštění na druhý.
• Pro složitější případy použití můžete zadat více parametrů. Rutina použitá v této části je určená pro nejjednodušší případ použití.
• Filtry vyloučených složek, vyloučených přípon souborů a minimální doby poslední úpravy se použijí jenom při spuštění odstranění duplicitních dat a při spuštění komprese se nevztahují.

Ruční spuštění úloh odstranění duplicitních dat a komprese ReFS

• Pokud chcete úlohu spustit okamžitě, spusťte následující rutinu. Jakmile úlohu spustíte, může se zobrazit State , jako NotStarted by mohla být ve fázi inicializace.

  Start-ReFSDedupJob -Volume <path> -Duration <TimeSpan> -CompressionFormat <LZ4 | ZSTD> 
  

  Například následující rutina spustí úlohu okamžitě po dobu 5 hodin pomocí formátu komprese LZ4:

  PS C:\Users\hciuser> $Start = “10/31/2023 08:30:00”
  PS C:\Users\hciuser> $Duration = New-Timespan -Hours 5
  PS C:\Users\hciuser> Start-ReFSDedupJob -Volume "C:\ClusterStorage\Volume1" -Duration $Duration -CompressionFormat LZ4
  
  Id     Name            PSJobTypeName   State         HasMoreData     Location             Command
  --     ----            -------------   -----         -----------     --------             -------
  12     Job12                           NotStarted    True                                 Start-Re...
  

• Pokud chcete zastavit spuštěnou úlohu, spusťte následující rutinu. Tato rutina funguje i pro probíhající naplánované úlohy.

  Stop-ReFSDedupJob -Volume <path>
  

  Například následující rutina zastaví úlohu, kterou jste spustili v předchozím příkladu:

  PS C:\Users\hciuser> Stop-ReFSDedupJob -Volume "C:\ClusterStorage\Volume1"
  

• Pokud chcete zobrazit průběh, úspory a stav úlohy, spusťte následující rutinu:

  Get-ReFSDedupStatus -Volume <path> | FL
  

  Například následující rutina zobrazí stav úlohy:

  PS C:\Users\hciuser> Get-ReFSDedupStatus -Volume "C:\ClusterStorage\Volume1"
  
  Volume                                            Type             Used     Deduped Compressed Format
  ------                                            ----             ----     ------- ---------- ------
  C:\ClusterStorage\Volume1 DedupAndCompress 1.38 TiB 0 B     0 B        Unc...
  

Naplánování opakovaných úloh odstranění duplicitních dat ReFS a komprese

Nastavte plán opakovaného spuštění optimalizace úložiště pro svazek. Pak můžete zobrazit, nastavit nebo upravit, pozastavit, obnovit nebo vymazat plán úlohy.

• Pokud chcete nastavit nebo upravit plán, spusťte následující rutinu:

  Set-ReFSDedupSchedule -Volume <Path> -Start <DateTime> -Days <DayOfWeek[]> -Duration <TimeSpan> -CompressionFormat <LZ4 | ZSTD> -CompressionLevel <UInt16> -CompressionChunkSize <UInt32> 
  

  Pokud chcete například nastavit opakující se úlohu naplánovanou tak, aby se spouštěla každou čtvrtek v 8:30 po dobu 5 hodin ve formátu LZ4, spusťte následující rutinu. Použijte -Days EveryDay , pokud chcete úlohu spouštět každý den.

  PS C:\Users\hciuser> $Start = “10/31/2023 08:30:00”
  PS C:\Users\hciuser> $Duration = New-Timespan -Hours 5
  PS C:\Users\hciuser> Set-ReFSDedupSchedule -Volume C:\ClusterStorage\Volume1 -Start $Start Days "Thursday" -Duration $Duration -CompressionFormat LZ4
  

• Pokud chcete zobrazit plán úlohy, spusťte následující rutinu:

  Get-ReFSDedupSchedule -Volume <path> | FL
  

  Tady je výstup úlohy naplánované v předchozím příkladu:

  PS C:\Users\hciuser> Get-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1" | FL
  
  Volume                       : C:\ClusterStorage\Volume1
  Enabled                      : True
  Type                         : DedupAndCompress
  CpuPercentage                : Automatic
  ConcurrentOpenFiles          : Automatic
  MinimumLastModifiedTimeHours : 0
  ExcludeFileExtension         : {}
  ExcludeFolder                : {}
  CpuPercentage                : 0
  CompressionFormat            : LZ4
  CompressionLevel             : 1
  CompressionChunkSize         : 4 B
  CompressionTuning            : 70
  RecompressionTuning          : 40
  DecompressionTuning          : 30
  Start                        : 8:30:00 AM
  Duration                     : 00m:00.000s
  Days                         : Thursday
  Suspended                    : False
  

Pozastavení naplánovaných úloh

Pozastavení plánu zruší všechny spuštěné úlohy a v budoucnu zastaví naplánovaná spuštění. Tato možnost zachovává odstranění duplicitních dat ReFS a metadata související s kompresí a nadále sleduje změny souborů pro optimalizovaná budoucí spuštění. Plán můžete kdykoli obnovit se zachováním nastavení plánu.

Centrum pro správu Windows

Pokud chcete pozastavit naplánované úlohy pomocí Centra pro správu Windows, postupujte takto:

1. Připojte se k systému a v podokně Nástroje vlevo vyberte Svazky.

2. Na stránce Svazky vyberte kartu Inventář, vyberte příslušný svazek a pak vyberte Nastavení.

3. V podokně Nastavení svazku vpravo v rozevíracím seznamu Další možnosti zrušte zaškrtnutí políčka Nastavit plán a pak vyberte Uložit.

PowerShell

Pomocí následující rutiny pozastavte naplánovanou úlohu a pomocí PowerShellu zkontrolujte stav:

Suspend-ReFSDedupSchedule -Volume <path> 

Tady je ukázkový výstup použití rutiny. Pole Suspended se zobrazí jako True.

PS C:\Users\hciuser> Suspend-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1"
PS C:\Users\user> Get-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1" | FL


Volume                       : C:\ClusterStorage\Volume1
Enabled                      : True
Type                         : DedupAndCompress
CpuPercentage                : Automatic
ConcurrentOpenFiles          : Automatic
MinimumLastModifiedTimeHours : 0
ExcludeFileExtension         : {}
ExcludeFolder                : {}
CpuPercentage                : 0
CompressionFormat            : LZ4
CompressionLevel             : 1
CompressionChunkSize         : 4 B
CompressionTuning            : 70
RecompressionTuning          : 40
DecompressionTuning          : 30
Start                        : 8:30:00 AM
Duration                     : 00m:00.000s
Days                         : Thursday
Suspended                    : True

Zakázání odstranění duplicitních dat ReFS a komprese svazku

Zakázání odstranění duplicitních dat ReFS a komprese svazku zastaví všechna probíhající spuštění a zruší budoucí naplánované úlohy. Kromě toho se související metadata svazku nezachovají a sledování změn souborů se zastaví.

Poznámka:

Když tuto funkci zakážete, neodebere odstranění duplicit ani kompresi, protože všechny operace probíhají ve vrstvě metadat. V průběhu času se odstraněná data vrátí do původního stavu, protože svazek způsobuje čtení a zápisy. Pokud chcete data dekomprimovat, ujistěte se, že je k dispozici dostatek kapacity, a pomocí nástroje ReFSUtil proveďte následující operaci.

refsutil compression /c /f NONE <vol>

Centrum pro správu Windows

Pokud chcete funkci zakázat pomocí Centra pro správu Windows, postupujte takto:

1. Připojte se k systému a v podokně Nástroje vlevo vyberte Svazky.

2. Na stránce Svazky vyberte kartu Inventář, vyberte příslušný svazek a pak vyberte Nastavení.

3. V podokně Nastavení svazku vpravo v rozevíracím seznamu Další možnosti zrušte zaškrtnutí políčka Použít odstranění duplicitních dat ReFS a pak vyberte Uložit.

PowerShell

Pomocí následující rutiny pozastavte naplánovanou úlohu a zkontrolujte stav:

Disable-ReFSDedup -Volume <path>

Tady je ukázkový výstup použití rutiny. Pole Enabled se zobrazí jako False a Type pole se zobrazí jako prázdné.

PS C:\Users\hciuser> Disable-ReFSDedup -Volume "C:\ClusterStorage\Volume1"
PS C:\Users\hciuser> Get-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1" | FL


Volume                       : C:\ClusterStorage\Volume1
Enabled                      : False
Type                         :
CpuPercentage                : Automatic
ConcurrentOpenFiles          : Automatic
MinimumLastModifiedTimeHours : 0
ExcludeFileExtension         : {}
ExcludeFolder                : {}
CpuPercentage                : 0
CompressionFormat            : LZ4
CompressionLevel             : 0
CompressionChunkSize         : 0 B
CompressionTuning            : 70
RecompressionTuning          : 40
DecompressionTuning          : 30
Start                        : N/A
Duration                     : N/A
Days                         : None
Suspended                    : False

Nejčastější dotazy

Tato část odpovídá na nejčastější dotazy týkající se odstranění duplicitních dat a komprese ReFS.

Liší se funkce odstranění duplicitních dat a komprese ReFS od Odstranění duplicitních dat windows?

Ano, tato funkce se zcela liší od funkce Odstranění duplicitních dat systému Windows.

Důležité

Nepodporujeme současné povolení odstranění duplicitních dat ReFS i komprese i Odstranění duplicitních dat Windows.

Odstranění duplicitních dat a komprese ReFS je navržené pro aktivní úlohy a zaměřuje se na minimalizaci dopadu na výkon po optimalizaci. Na rozdíl od Odstranění duplicitních dat systému Windows nepoužívá odstranění duplicitních dat ReFS a komprese úložiště bloků dat k ukládání odstraněných dat a není zahrnuté žádné fyzické přesuny dat. Tato funkce spoléhá na klonování bloků ReFS k povolení operací jen s metadaty. Odstranění duplicitních dat windows může lépe ušetřit úložiště díky použití proměnných velikostí bloků, je také vhodné pro širší škálu typů úloh, jako jsou souborové servery pro obecné účely (GPFS), cíle zálohování a další.

Jaké jsou fáze odstranění duplicitních dat a komprese ReFS?

Proces optimalizace se skládá z následujících fází, které probíhají postupně a závisí na zadaném režimu. Pokud optimalizační spuštění dosáhne limitu doby trvání, nemusí se komprese spustit.

• Inicializace. V této fázi se svazek úložiště zkontroluje a identifikuje redundantní bloky dat.

• Odstranění duplicitních dat V této fázi jsou redundantní bloky s jednou instancí a sledovány pomocí klonování bloků ReFS.

• Komprese. V této fázi se vygeneruje heat mapa, která identifikuje, jestli má blok nárok na kompresi. Výchozí nastavení komprimují zřídka daná nebo studená data, aby se snížila jejich velikost. Úrovně komprese můžete změnit a upravit rozsah bloků způsobilých ke kompresi.

Co se stane, když se dosáhne limitu doby trvání, než se svazek plně optimalizuje?

Limit doby trvání je zaveden, aby se zabránilo jakémukoli dopadu na výkon úloh zákazníků způsobených úlohou optimalizace během pracovní doby. Služba odstranění duplicitních dat monitoruje optimalizované části svazku a úpravy příchozích souborů. Tato data se využívají v budoucích úlohách, aby se zkrátila doba optimalizace. Pokud je například svazek zpracován pouze 30 % při prvním spuštění z důvodu limitu doby trvání, následné spuštění řeší zbývající 70 % a všechna nová data.

Známé problémy

Následující část uvádí známé problémy, které aktuálně existují s odstraněním duplicitních dat a kompresí ReFS.

Pokud je povolená komprese, může použití parametru -FullRun u úloh po prvním spuštění optimalizace způsobit zablokování v systému.

Stav: Otevřená.

-FullRun Nepoužívejte v ručně spuštěných úlohách, pokud není Type.Dedup

Pokud chcete tento problém zmírnit, postupujte podle těchto kroků jako dočasné alternativní řešení:

1. Zakažte odstranění duplicitních dat ReFS a kompresi svazku:

   Disable-ReFSDedup -Volume <path>
   

2. Dekomprese svazku pomocí refsutil:

   refsutil compression /c /f NONE <vol>
   

3. V případě potřeby znovu povolte odstranění duplicitních dat ReFS a kompresi jediným režimem Dedup :

   Enable-ReFSDedup -Volume <path> -Type Dedup
   

Plánování úloh pro souběžné spouštění na více sdílených svazcích clusteru v jednom systému může potenciálně aktivovat pohyby csv a negativně ovlivnit výkon.

Stav: Otevřená.

Jako doporučený osvědčený postup zvažte vytvoření počátečního času úloh, abyste se vyhnuli překrývání. Pokud ale všechny úlohy musí běžet současně, upravte přidělení procesoru na každou úlohu napříč všemi sdílené svazky clusteru tak, aby bylo nižší než 50 % celkového využití procesoru systému. Mějte na paměti, že uložení omezení procesoru může vést k delší době provádění úloh.

Odstranění duplicitních dat reFS a úloha komprese se dokončila (úspěšně nebo byla zrušena) a úspory úložiště nejsou uvedené v Get-ReFSDedupStatus centru Windows Admin Center.

Stav: Vyřešeno.

Dočasným alternativním řešením tohoto problému je inicializovat jednorázovou úlohu a okamžitě aktualizovat výsledky.

Start-ReFSDedupJob -Volume <path>

Odesílání událostí sledování událostí pro Windows (ETW) přestalo monitorovat po zakázání odstranění duplicit ReFS a kompresi svazku.

Stav: Vyřešeno.

Jakmile je odstranění duplicitních dat a komprese ReFS na svazku zakázané, kanál ETW pro protokoly odstranění duplicitních dat ReFS opakovaně zastavil monitorování událostí. Kvůli tomuto problému ale neočekáváme významný dopad na využití.

Událost selhání úlohy se nezaprotokoluje, pokud se svazek během komprese přesune do jiného uzlu.

Stav: Vyřešeno.

Pokud se sdílený svazek clusteru přesune do jiného počítače systému, zatímco probíhá komprese, úloha se nezdaří, do kanálu odstranění duplicitních dat ReFS se nezaprotokoluje. Kvůli tomuto problému ale neočekáváme významný dopad na využití.

Další kroky

• Správa svazku