Udostępnij za pośrednictwem


Optymalizowanie magazynu za pomocą deduplikacji i kompresji systemu plików ReFS w środowisku lokalnym platformy Azure

Dotyczy: Azure Local 2311.2 i nowsze

W tym artykule opisano funkcję deduplikacji i kompresji systemu plików ReFS (Resilient File System) oraz sposób używania tej funkcji w usłudze Azure Local do optymalizacji magazynu.

Co to jest deduplikacja i kompresja systemu plików ReFS?

Deduplikacja i kompresja systemu plików ReFS to funkcja optymalizacji magazynu, która pomaga zoptymalizować użycie magazynu i zmniejszyć koszty magazynowania. Użyj deduplikacji specjalnie w przypadku aktywnych, wrażliwych na wydajność lub dużych obciążeń odczytu, takich jak infrastruktura pulpitu wirtualnego platformy Azure (VDI) w lokalnejplatformy Azure. W przypadku obciążeń o mniejszej wydajności można użyć kombinacji deduplikacji i kompresji lub tylko kompresji.

Ta funkcja używa klonowania bloków systemu plików ReFS w celu zmniejszenia przenoszenia danych i włączenia operacji tylko metadanych. Funkcja działa na poziomie bloku danych i używa stałego rozmiaru bloku w zależności od rozmiaru systemu. Aparat kompresji generuje mapę cieplną w celu określenia, czy blok powinien kwalifikować się do kompresji, optymalizując użycie procesora CPU.

Możesz uruchomić deduplikację systemu plików ReFS i kompresję jako jednorazowe zadanie lub zautomatyzować je za pomocą zaplanowanych zadań. Ta funkcja działa zarówno z systemami all-flash, jak i hybrydowymi i obsługuje różne ustawienia odporności, takie jak dublowanie dwukierunkowe, zagnieżdżone dublowanie dwukierunkowe, dublowanie trójstopniowe i parzystość przyspieszona dublowanie.

Świadczenia

Poniżej przedstawiono zalety korzystania z deduplikacji i kompresji systemu plików ReFS:

  • Oszczędności magazynu dla aktywnych obciążeń. Zaprojektowana pod kątem aktywnych obciążeń, takich jak VDI, zapewniając wydajną wydajność w wymagających środowiskach.
  • Wiele trybów. Działa w trzech trybach: tylko deduplikacja (tryb domyślny), tylko kompresja oraz deduplikacja i kompresja, co pozwala na optymalizację procesu w zależności od potrzeb.
  • Deduplikacja przyrostowa. Deduplikuje tylko nowe lub zmienione dane, w przeciwieństwie do skanowania całego woluminu za każdym razem, optymalizacji czasu trwania zadania i zmniejszenia wpływu na wydajność systemu.

Wymagania wstępne

Przed rozpoczęciem upewnij się, że zostały spełnione następujące wymagania wstępne:

  • Masz dostęp do lokalnego wystąpienia platformy Azure, które jest wdrożone i zarejestrowane.
  • Udostępniony wolumin klastra (CSV) został utworzony w wystąpieniu i masz do niego dostęp.
  • Wolumin CSV nie ma już włączonej funkcji deduplikacji danych systemu Windows.

Używanie deduplikacji i kompresji systemu plików ReFS

Można użyć deduplikacji i kompresji systemu plików ReFS za pośrednictwem Centrum administracyjnego systemu Windows lub programu PowerShell. Program PowerShell umożliwia wykonywanie zadań ręcznych i automatycznych, natomiast program Windows Admin Center obsługuje tylko zaplanowane zadania. Niezależnie od metody można dostosować ustawienia zadania i użyć śledzenia zmian plików w celu szybszego kolejnych przebiegów.

Uwaga

Zalecamy używanie tylko deduplikacji dla obciążeń, w których wydajność jest kwestią, zamiast korzystania z kompresji lub kombinacji obu tych elementów.

Włączanie i uruchamianie deduplikacji i kompresji systemu plików ReFS

W centrum administracyjnym systemu Windows można utworzyć harmonogram deduplikacji systemu plików ReFS do uruchomienia na istniejącym woluminie lub nowym woluminie podczas tworzenia woluminu. Jednak włączenie kompresji jest obsługiwane tylko za pośrednictwem programu PowerShell.

Wykonaj następujące kroki, aby włączyć deduplikację systemu plików ReFS za pośrednictwem Centrum administracyjnego systemu Windows i ustawić harmonogram, kiedy ma zostać uruchomiony:

  1. Połącz się z systemem, a następnie w okienku Narzędzia po lewej stronie wybierz pozycję Woluminy.

  2. Na stronie Woluminy wybierz kartę Spis , wybierz odpowiedni wolumin, a następnie wybierz pozycję Ustawienia. Aby włączyć deduplikację systemu plików ReFS dla nowego woluminu, wybierz pozycję + Utwórz.

  3. W okienku Ustawienia woluminu po prawej stronie w obszarze Listy rozwijanej Więcej opcji zaznacz pole wyboru Użyj deduplikacji systemu plików ReFS.

  4. Wybierz dni tygodnia, w których ma zostać uruchomiona deduplikacja systemu plików ReFS, czas rozpoczęcia działania zadania i maksymalny czas trwania (wartość domyślna jest nieograniczona), a następnie wybierz pozycję Zapisz.

    Poniższy zrzut ekranu pokazuje, że deduplikacja systemu plików ReFS będzie działać w piątek i sobotę o godzinie 10:00 z maksymalnym czasem trwania 2 godzin, począwszy od piątku 27.00.2024. Jeśli data rozpoczęcia została zmieniona na poniedziałek 30.09.2024, pierwszy przebieg będzie 10/4/2024 10:00, ponieważ jest to pierwszy piątek po 30.09.2024.

    Zrzut ekranu przedstawiający okienko Ustawienia woluminu z ustawieniami deduplikacji systemu plików ReFS.

  5. Sprawdź zmiany w sekcji Właściwości woluminu. Harmonogram jest wyświetlany w sekcji Właściwości i wyświetla podział oszczędności i następny zaplanowany czas wykonywania. Te oszczędności są aktualizowane po każdym uruchomieniu i można obserwować wpływ na wydajność na wykresach w sekcji Wydajność . Jeśli kompresja jest włączona za pośrednictwem programu PowerShell, oszczędności będą również wyświetlane w sekcji Właściwości .

    Zrzut ekranu przedstawiający sekcję właściwości woluminu z podziałem oszczędności i następnym zaplanowanym czasem wykonywania.

Wstrzymywanie zaplanowanych zadań

Wstrzymanie harmonogramu powoduje anulowanie wszystkich uruchomionych zadań i zatrzymanie zaplanowanych przebiegów w przyszłości. Ta opcja zachowuje deduplikację systemu plików ReFS i metadane związane z kompresją i nadal śledzi zmiany plików pod kątem zoptymalizowanych przyszłych przebiegów. Harmonogram można wznowić w dowolnym momencie z zachowaniem ustawień harmonogramu.

Wykonaj następujące kroki, aby wstrzymać zaplanowane zadania przy użyciu Centrum administracyjnego systemu Windows:

  1. Połącz się z systemem, a następnie w okienku Narzędzia po lewej stronie wybierz pozycję Woluminy.

  2. Na stronie Woluminy wybierz kartę Spis , wybierz odpowiedni wolumin, a następnie wybierz pozycję Ustawienia.

  3. W okienku Ustawienia woluminu po prawej stronie w obszarze Listy rozwijanej Więcej opcji usuń zaznaczenie pola wyboru Ustaw harmonogram, a następnie wybierz pozycję Zapisz.

Wyłączanie deduplikacji systemu plików ReFS i kompresji na woluminie

Wyłączenie deduplikacji systemu plików ReFS i kompresji na woluminie zatrzymuje wszystkie przebiegi, które są w toku i anuluje przyszłe zaplanowane zadania. Ponadto powiązane metadane woluminu nie są zachowywane, a śledzenie zmian plików zostało zatrzymane.

Uwaga

Wyłączenie tej funkcji nie powoduje cofnięcia deduplikacji ani kompresji, ponieważ wszystkie operacje są wykonywane w warstwie metadanych. W miarę upływu czasu deduplikowane dane wracają do pierwotnego stanu, ponieważ wolumin generuje odczyty i zapisy. Aby zdekompresować dane, upewnij się, że jest wystarczająca pojemność i użyj narzędzia ReFSUtil , aby wykonać następującą operację.

refsutil compression /c /f NONE <vol>

Wykonaj następujące kroki, aby wyłączyć funkcję przy użyciu Centrum administracyjnego systemu Windows:

  1. Połącz się z systemem, a następnie w okienku Narzędzia po lewej stronie wybierz pozycję Woluminy.

  2. Na stronie Woluminy wybierz kartę Spis , wybierz odpowiedni wolumin, a następnie wybierz pozycję Ustawienia.

  3. W okienku Ustawienia woluminu po prawej stronie w obszarze Listy rozwijanej Więcej opcji usuń zaznaczenie pola wyboru Użyj deduplikacji systemu plików ReFS, a następnie wybierz pozycję Zapisz.

Często zadawane pytania (FAQ)

Ta sekcja zawiera odpowiedzi na często zadawane pytania dotyczące deduplikacji i kompresji systemu plików ReFS.

Czy funkcja deduplikacji i kompresji systemu plików ReFS różni się od deduplikacji danych systemu Windows?

Tak, ta funkcja różni się zupełnie od funkcji deduplikacji danych systemu Windows.

Ważne

Nie obsługujemy jednoczesnego włączania deduplikacji i kompresji systemu plików ReFS oraz deduplikacji danych systemu Windows.

Deduplikacja i kompresja systemu plików ReFS są przeznaczone dla aktywnych obciążeń, koncentrując się na zminimalizowaniu wpływu na wydajność po optymalizacji. W przeciwieństwie do deduplikacji danych systemu Windows deduplikacja i kompresja systemu plików ReFS nie używa magazynu fragmentów do przechowywania deduplikowanych danych i nie ma żadnego fizycznego przenoszenia danych. Funkcja opiera się na klonowaniu bloków systemu plików ReFS w celu włączenia operacji tylko metadanych. Deduplikacja danych systemu Windows może zapewnić lepsze oszczędności magazynowania ze względu na użycie zmiennych rozmiarów bloków, jest również odpowiednia dla szerszego zakresu typów obciążeń, takich jak serwery plików ogólnego przeznaczenia (GPFS), obiekty docelowe kopii zapasowych i inne.

Jakie są fazy deduplikacji i kompresji systemu plików ReFS?

Proces optymalizacji obejmuje następujące fazy, które występują sekwencyjnie i zależą od określonego trybu. Jeśli przebieg optymalizacji osiągnie limit czasu trwania, kompresja może nie zostać uruchomiona.

  • Inicjowania. W tej fazie wolumin magazynu jest skanowany w celu zidentyfikowania nadmiarowych bloków danych.

  • Deduplikacja danych. W tej fazie nadmiarowe bloki są pojedyncze wystąpienia i śledzone przy użyciu klonowania bloków systemu plików ReFS.

  • Kompresja. W tej fazie generowana jest mapa cieplna w celu określenia, czy blok powinien kwalifikować się do kompresji. Ustawienia domyślne kompresują rzadko używane lub zimne dane, aby zmniejszyć ich rozmiar. Możesz zmienić poziomy kompresji, aby dostosować zakres bloków kwalifikujących się do kompresji.

Co się stanie po osiągnięciu limitu czasu trwania przed pełnym zoptymalizowanym woluminem?

Limit czasu trwania jest obowiązujący, aby zapobiec wpływowi na wydajność obciążeń klientów spowodowanych przez zadanie optymalizacji w godzinach pracy. Usługa deduplikacji monitoruje zoptymalizowane części woluminu i przychodzących modyfikacji plików. Te dane są wykorzystywane w przyszłych zadaniach w celu skrócenia czasu optymalizacji. Jeśli na przykład wolumin jest przetwarzany tylko 30% w pierwszym uruchomieniu z powodu limitu czasu trwania, kolejne uruchomienia adresuje pozostałe 70% i wszystkie nowe dane.

Znane problemy

W poniższej sekcji wymieniono znane problemy, które obecnie istnieją z deduplikacją i kompresją systemu plików ReFS.

Gdy kompresja jest włączona, użycie parametru -FullRun w zadaniach po pierwszym uruchomieniu optymalizacji może spowodować zakleszczenie w systemie.

Stan: Otwórz.

Unikaj używania polecenia -FullRun w zadaniach uruchomionych ręcznie, chyba że Type element ma wartość Dedup.

Wykonaj następujące kroki jako tymczasowe obejście, aby rozwiązać ten problem:

  1. Wyłącz deduplikację systemu plików ReFS i kompresję na woluminie:

    Disable-ReFSDedup -Volume <path>
    
  2. Dekompresuj wolumin przy użyciu polecenia refsutil:

    refsutil compression /c /f NONE <vol>
    
  3. Włącz ponownie deduplikację systemu plików ReFS i kompresję tylko w Dedup razie potrzeby:

    Enable-ReFSDedup -Volume <path> -Type Dedup
    

Planowanie zadań do uruchamiania jednocześnie na wielu woluminach CSV w ramach jednego systemu może potencjalnie wyzwalać ruchy woluminów CSV i negatywnie wpływać na wydajność.

Stan: Otwórz.

Zalecane najlepsze rozwiązanie pozwala rozważyć rozłożenie czasu rozpoczęcia zadań, aby uniknąć nakładania się. Jeśli jednak wszystkie zadania muszą być uruchamiane jednocześnie, dostosuj alokację procesora CPU dla wszystkich woluminów CSV, aby wynosiło mniej niż 50% ogólnego wykorzystania procesora CPU systemu. Należy pamiętać, że nakładanie ograniczeń procesora CPU może spowodować wydłużenie czasu wykonywania zadania.

Ukończono zadanie deduplikacji i kompresji systemu plików ReFS (pomyślnie lub zostało anulowane), a oszczędności magazynu nie są wymienione w ani w Get-ReFSDedupStatus Centrum administracyjnym systemu Windows.

Stan: Rozwiązano problem.

Tymczasowym obejściem tego problemu jest natychmiastowe zainicjowanie zadania jednorazowego i natychmiastowe zaktualizowanie wyników.

Start-ReFSDedupJob -Volume <path>

Wysyłanie zatrzymanego monitorowania zdarzeń śledzenia zdarzeń systemu Windows (ETW) po wyłączeniu deduplikacji i kompresji systemu plików ReFS na woluminie.

Stan: Rozwiązano problem.

Po wyłączeniu deduplikacji i kompresji systemu plików ReFS na woluminie kanał ETW dla dzienników deduplikacji systemu plików ReFS powtarzane zatrzymane zdarzenia monitorowania. Nie przewidujemy jednak znaczącego wpływu na użycie z powodu tego problemu.

Zdarzenie nie powiodło się, jeśli wolumin jest przenoszony do innego węzła podczas kompresji.

Stan: Rozwiązano problem.

Jeśli wolumin CSV zostanie przeniesiony na inną maszynę systemu, gdy kompresja jest w toku, zdarzenie niepowodzenia zadania nie jest rejestrowane w kanale deduplikacji systemu plików ReFS. Nie przewidujemy jednak znaczącego wpływu na użycie z powodu tego problemu.

Następne kroki