Udostępnij za pośrednictwem


Optymalizowanie magazynu za pomocą deduplikacji i kompresji systemu plików ReFS w środowisku lokalnym platformy Azure

Dotyczy: Azure Local 2311.2 i nowsze

W tym artykule opisano funkcję deduplikacji i kompresji systemu plików ReFS (Resilient File System) oraz sposób używania tej funkcji w usłudze Azure Local do optymalizacji magazynu.

Co to jest deduplikacja i kompresja systemu plików ReFS?

Deduplikacja i kompresja systemu plików ReFS to funkcja optymalizacji magazynu, która pomaga zoptymalizować użycie magazynu i zmniejszyć koszty magazynowania. Użyj deduplikacji specjalnie dla aktywnych, wrażliwych na wydajność lub dużych obciążeń odczytu, takich jak infrastruktura pulpitu wirtualnego Azure (VDI) na platformie Azure lokalnie. W przypadku obciążeń o mniejszej wydajności można użyć kombinacji deduplikacji i kompresji lub tylko kompresji.

Ta funkcja używa klonowania bloków systemu plików ReFS w celu zmniejszenia przenoszenia danych i włączenia operacji tylko metadanych. Funkcja działa na poziomie bloku danych i używa stałego rozmiaru bloku w zależności od rozmiaru systemu. Aparat kompresji generuje mapę cieplną w celu określenia, czy blok powinien kwalifikować się do kompresji, optymalizując użycie procesora CPU.

Możesz uruchomić deduplikację systemu plików ReFS i kompresję jako jednorazowe zadanie lub zautomatyzować je za pomocą zaplanowanych zadań. Ta funkcja działa zarówno z systemami all-flash, jak i hybrydowymi i obsługuje różne ustawienia odporności, takie jak dublowanie dwukierunkowe, zagnieżdżone dublowanie dwukierunkowe, dublowanie trójdrożne i przyspieszona parzystość dublowania.

Świadczenia

Poniżej przedstawiono zalety korzystania z deduplikacji i kompresji systemu plików ReFS:

  • Oszczędności przechowywania dla aktywnych obciążeń. Zaprojektowana pod kątem aktywnych obciążeń, takich jak VDI, zapewniając efektywną pracę w wymagających środowiskach.
  • Wiele trybów. Działa w trzech trybach: tylko deduplikacja (tryb domyślny), tylko kompresja oraz deduplikacja i kompresja, co pozwala na optymalizację procesu w zależności od potrzeb.
  • Deduplikacja przyrostowa. Deduplikuje tylko nowe lub zmienione dane, zamiast skanować cały wolumin za każdym razem, co optymalizuje czas trwania zadania i zmniejsza wpływ na wydajność systemu.

Wymagania wstępne

Przed rozpoczęciem upewnij się, że zostały spełnione następujące wymagania wstępne:

  • Masz dostęp do lokalnej instancji Azure, która jest wdrożona i zarejestrowana.
  • Udostępniony wolumin klastra (CSV) został utworzony w wystąpieniu i masz do niego dostęp.
  • CSV nie ma jeszcze włączonej funkcji deduplikacji danych systemu Windows.

Używanie deduplikacji i kompresji systemu plików ReFS

Można użyć deduplikacji i kompresji systemu plików ReFS za pośrednictwem Centrum administracyjnego systemu Windows lub programu PowerShell. Program PowerShell umożliwia wykonywanie zadań ręcznych i automatycznych, natomiast program Windows Admin Center obsługuje tylko zaplanowane zadania. Niezależnie od metody można dostosować ustawienia zadania i użyć śledzenia zmian plików dla szybszych kolejnych przebiegów.

Uwaga

Zalecamy używanie tylko deduplikacji dla obciążeń, w których wydajność jest kwestią, zamiast korzystania z kompresji lub kombinacji obu tych elementów.

Włączanie i uruchamianie deduplikacji i kompresji systemu plików ReFS

W centrum administracyjnym systemu Windows można utworzyć harmonogram deduplikacji systemu plików ReFS do uruchomienia na istniejącym woluminie lub nowym woluminie podczas tworzenia woluminu. Jednak włączenie kompresji jest obsługiwane tylko za pośrednictwem programu PowerShell.

Wykonaj następujące kroki, aby włączyć deduplikację systemu plików ReFS za pośrednictwem Centrum administracyjnego systemu Windows i ustawić harmonogram, kiedy ma zostać uruchomiony:

  1. Połącz się z systemem, a następnie w okienku Narzędzia po lewej stronie wybierz pozycję Woluminy.

  2. Na stronie Woluminy wybierz kartę Spis , wybierz odpowiedni wolumin, a następnie wybierz pozycję Ustawienia. Aby włączyć deduplikację systemu plików ReFS dla nowego woluminu, wybierz pozycję + Utwórz.

  3. W okienku Ustawienia woluminu po prawej stronie, w obszarze listy rozwijanej Więcej opcji, zaznacz pole wyboru 'Użyj deduplikacji systemu plików ReFS'.

  4. Wybierz dni tygodnia, w których ma zostać uruchomiona deduplikacja systemu plików ReFS, czas rozpoczęcia działania zadania i maksymalny czas trwania (wartość domyślna jest nieograniczona), a następnie wybierz pozycję Zapisz.

    Poniższy zrzut ekranu pokazuje, że deduplikacja ReFS będzie działać w piątek i sobotę o godzinie 22:00 z maksymalnym czasem trwania 2 godzin, rozpocznie się w piątek, 27 września 2024 roku. Jeśli data rozpoczęcia została zmieniona na poniedziałek 30.09.2024, pierwsze uruchomienie będzie 4.10.2024 o 10:00 PM, ponieważ jest to pierwszy piątek po 30.09.2024.

    Zrzut ekranu przedstawiający okienko Ustawienia woluminu z ustawieniami deduplikacji systemu plików ReFS.

  5. Sprawdź zmiany w sekcji Właściwości woluminu. Harmonogram jest wyświetlany w sekcji Właściwości i pokazuje rozbicie oszczędności oraz następną zaplanowaną godzinę uruchomienia. Te oszczędności są aktualizowane po każdym uruchomieniu i można obserwować wpływ na wydajność na wykresach w sekcji Wydajność . Jeśli kompresja jest włączona za pośrednictwem programu PowerShell, oszczędności będą również wyświetlane w sekcji Właściwości .

    Zrzut ekranu przedstawiający sekcję właściwości wolumenu z rozbiciem oszczędności i następnym zaplanowanym czasem uruchomienia.

Wstrzymywanie zaplanowanych zadań

Wstrzymanie harmonogramu powoduje anulowanie wszystkich uruchomionych zadań i zatrzymanie zaplanowanego wykonywania w przyszłości. Ta opcja zachowuje deduplikację ReFS i metadane związane z kompresją i nadal śledzi zmiany plików pod kątem zoptymalizowanych przyszłych wykonywań. Harmonogram można wznowić w dowolnym momencie z zachowaniem ustawień harmonogramu.

Wykonaj następujące kroki, aby wstrzymać zaplanowane zadania przy użyciu Centrum administracyjnego systemu Windows:

  1. Połącz się z systemem, a następnie w okienku Narzędzia po lewej stronie wybierz pozycję Woluminy.

  2. Na stronie Woluminy wybierz kartę Spis , wybierz odpowiedni wolumin, a następnie wybierz pozycję Ustawienia.

  3. Na panelu Ustawienia woluminu po prawej stronie, pod listą rozwijaną Więcej opcji, usuń zaznaczenie pola wyboru Ustaw harmonogram, a następnie wybierz Zapisz.

Wyłącz deduplikację i kompresję w systemie plików ReFS na woluminie

Wyłączenie deduplikacji i kompresji w systemie plików ReFS na woluminie przerywa trwające operacje i anuluje przyszłe zaplanowane zadania. Ponadto powiązane metadane woluminu nie są zachowywane, a śledzenie zmian plików zostało zatrzymane.

Uwaga

Wyłączenie tej funkcji nie powoduje cofnięcia deduplikacji ani kompresji, ponieważ wszystkie operacje są wykonywane w warstwie metadanych. W miarę upływu czasu deduplikowane dane wracają do pierwotnego stanu, gdy w woluminie są dokonywane odczyty i zapisy. Aby zdekompresować dane, upewnij się, że jest wystarczająca pojemność i użyj narzędzia ReFSUtil , aby wykonać następującą operację.

refsutil compression /c /f NONE <vol>

Wykonaj następujące kroki, aby wyłączyć funkcję przy użyciu Centrum administracyjnego systemu Windows:

  1. Połącz się z systemem, a następnie w okienku Narzędzia po lewej stronie wybierz pozycję Woluminy.

  2. Na stronie Woluminy wybierz kartę Spis , wybierz odpowiedni wolumin, a następnie wybierz pozycję Ustawienia.

  3. W okienku Ustawienia woluminu po prawej stronie w obszarze Listy rozwijanej Więcej opcji usuń zaznaczenie pola wyboru Użyj deduplikacji systemu plików ReFS, a następnie wybierz pozycję Zapisz.

Często zadawane pytania (FAQ)

Ta sekcja zawiera odpowiedzi na często zadawane pytania dotyczące deduplikacji i kompresji systemu plików ReFS.

Czy funkcja deduplikacji i kompresji systemu plików ReFS różni się od deduplikacji danych systemu Windows?

Tak, ta funkcja różni się zupełnie od funkcji deduplikacji danych systemu Windows.

Ważne

Nie obsługujemy jednoczesnego włączania deduplikacji i kompresji systemu plików ReFS oraz deduplikacji danych systemu Windows.

Deduplikacja i kompresja systemu plików ReFS są przeznaczone dla aktywnych obciążeń, koncentrując się na zminimalizowaniu wpływu na wydajność po optymalizacji. W przeciwieństwie do deduplikacji danych systemu Windows deduplikacja i kompresja systemu plików ReFS nie używa magazynu fragmentów do przechowywania deduplikowanych danych i nie wiąże się z fizycznym przenoszeniem danych. Funkcja opiera się na klonowaniu bloków przez system plików ReFS, aby umożliwić operacje ograniczone do metadanych. Deduplikacja danych systemu Windows może zapewnić lepsze oszczędności magazynowania ze względu na użycie zmiennych rozmiarów bloków, jest również odpowiednia dla szerszego zakresu typów obciążeń, takich jak serwery plików ogólnego przeznaczenia (GPFS), obiekty docelowe kopii zapasowych i inne.

Jakie są fazy deduplikacji i kompresji systemu plików ReFS?

Proces optymalizacji obejmuje następujące fazy, które występują sekwencyjnie i zależą od określonego trybu. Jeśli przebieg optymalizacji osiągnie limit czasu trwania, kompresja może nie zostać uruchomiona.

  • Inicjalizacja. W tej fazie wolumin magazynu jest skanowany w celu zidentyfikowania nadmiarowych bloków danych.

  • Deduplikacja danych. W tej fazie nadmiarowe bloki są zredukowane do pojedynczych instancji i śledzone za pomocą klonowania bloków w systemie plików ReFS.

  • Kompresja. W tej fazie generowana jest mapa cieplna w celu określenia, czy blok powinien kwalifikować się do kompresji. Ustawienia domyślne kompresują rzadko używane lub zimne dane, aby zmniejszyć ich rozmiar. Możesz zmienić poziomy kompresji, aby dostosować zakres bloków kwalifikujących się do kompresji.

Co się stanie, gdy osiągnięty zostanie limit czasu, zanim głośność zostanie w pełni zoptymalizowana?

Limit czasu trwania jest obowiązujący, aby zapobiec wpływowi na wydajność obciążeń klientów spowodowanych przez zadanie optymalizacji w godzinach pracy. Usługa deduplikacji monitoruje zoptymalizowane części wolumenu i modyfikacje przychodzących plików. Te dane są wykorzystywane w przyszłych zadaniach w celu skrócenia czasu optymalizacji. Na przykład, jeśli wolumin jest przetworzony tylko w 30% w pierwszym uruchomieniu ze względu na ograniczenie czasu trwania, kolejne uruchomienie zajmuje się pozostałymi 70% i wszystkimi nowymi danymi.

Znane problemy

W poniższej sekcji wymieniono znane problemy, które obecnie istnieją z deduplikacją i kompresją systemu plików ReFS.

Gdy kompresja jest włączona, użycie parametru -FullRun w zadaniach po pierwszym uruchomieniu optymalizacji może spowodować zakleszczenie w systemie.

Stan: Otwórz.

Unikaj używania -FullRun w ręcznie uruchamianych zadaniach, chyba że Type jest Dedup.

Wykonaj następujące kroki jako tymczasowe obejście, aby złagodzić ten problem:

  1. Wyłącz deduplikację systemu plików ReFS i kompresję na woluminie:

    Disable-ReFSDedup -Volume <path>
    
  2. Dekompresuj wolumin przy użyciu polecenia refsutil:

    refsutil compression /c /f NONE <vol>
    
  3. Aby włączyć ponownie deduplikację i kompresję ReFS w trybie tylko, jeśli to konieczne, użyj Dedup.

    Enable-ReFSDedup -Volume <path> -Type Dedup
    

Planowanie zadań do uruchamiania jednocześnie na wielu woluminach CSV w ramach jednego systemu może potencjalnie wyzwalać ruchy woluminów CSV i negatywnie wpływać na wydajność.

Stan: Otwarty.

Zalecane najlepsze rozwiązanie pozwala rozważyć rozłożenie czasu rozpoczęcia zadań, aby uniknąć nakładania się. Jeśli jednak wszystkie zadania muszą być uruchamiane jednocześnie, dostosuj alokację procesora CPU dla wszystkich woluminów CSV, aby wynosiło mniej niż 50% ogólnego wykorzystania procesora CPU systemu. Należy pamiętać, że nakładanie ograniczeń procesora CPU może spowodować wydłużenie czasu wykonywania zadania.

Ukończono zadanie deduplikacji i kompresji systemu plików ReFS (pomyślnie lub zostało anulowane), a oszczędności w zakresie magazynowania nie są wymienione w Get-ReFSDedupStatus lub w Centrum administracyjnym systemu Windows.

Stan: Rozwiązano problem.

Tymczasowym obejściem tego problemu jest natychmiastowe zainicjowanie zadania jednorazowego i natychmiastowe zaktualizowanie wyników.

Start-ReFSDedupJob -Volume <path>

Przestało monitorować śledzenie zdarzeń systemu Windows (ETW) po wyłączeniu deduplikacji i kompresji ReFS na woluminie.

Stan: Rozwiązano problem.

Po wyłączeniu deduplikacji i kompresji na woluminie systemu plików ReFS, kanał ETW dla dzienników deduplikacji ReFS wielokrotnie rejestruje zatrzymanie zdarzeń monitorowania. Nie przewidujemy jednak znaczącego wpływu na użycie z powodu tego problemu.

Nie zarejestrowano niepowodzenia zadania, jeśli wolumin został przeniesiony do innego węzła podczas kompresji.

Stan: Rozwiązano problem.

Jeśli wolumin CSV zostanie przeniesiony na inną maszynę systemu, gdy kompresja jest w toku, zdarzenie niepowodzenia zadania nie jest rejestrowane w kanale deduplikacji systemu plików ReFS. Nie przewidujemy jednak znaczącego wpływu na użycie z powodu tego problemu.

Następne kroki