Optimieren des Speichers mit ReFS-Deduplizierung und Komprimierung in Azure Local
Gilt für: Azure Local, Version 23H2
In diesem Artikel werden die ReFS-Deduplizierungs- und Komprimierungsfunktion (Resilient File System) und die Verwendung dieses Features in Azure Local zum Optimieren des Speichers beschrieben.
Was ist ReFS-Deduplizierung und -komprimierung?
ReFS-Deduplizierung und -komprimierung ist ein Feature zur Speicheroptimierung, das speziell für aktive Workloads entwickelt wurde, z . B. Azure Virtual Desktop Infrastructure (VDI) auf Azure Local. Dieses Feature trägt dazu bei, die Speichernutzung zu optimieren und die Speicherkosten zu senken.
Dieses Feature verwendet ReFS-Block-Kloning , um die Datenverschiebung zu reduzieren und nur Metadatenvorgänge zu aktivieren. Das Feature wird auf Datenblockebene ausgeführt und verwendet abhängig von der Systemgröße eine feste Blockgröße. Das Komprimierungsmodul generiert eine Grafik, um zu ermitteln, ob ein Block für die Komprimierung geeignet sein soll, um die CPU-Auslastung zu optimieren.
Sie können reFS-Deduplizierung und -komprimierung als einmaligen Auftrag ausführen oder mit geplanten Aufträgen automatisieren. Dieses Feature funktioniert sowohl mit All-Flash- als auch hybriden Systemen und unterstützt verschiedene Resilienzeinstellungen, z. B. Bidirektionale Spiegelung, geschachtelte bidirektionale Spiegelung, dreiseitige Spiegelung und beschleunigte Spiegelung.
Vorteile
Hier sind die Vorteile der Verwendung von ReFS-Deduplizierung und -komprimierung:
- Speichereinsparungen für aktive Workloads. Entwickelt für aktive Workloads, z. B. VDI, um eine effiziente Leistung in anspruchsvollen Umgebungen sicherzustellen.
- Mehrere Modi. Arbeitet in drei Modi: Deduplizierung nur, Komprimierung nur und Deduplizierung und Komprimierung (Standardmodus), sodass die Optimierung basierend auf Ihren Anforderungen möglich ist.
- Inkrementelle Deduplizierung. Dedupliziert nur neue oder geänderte Daten, anstatt das gesamte Volume jedes Mal zu scannen, die Auftragsdauer zu optimieren und die Auswirkungen auf die Systemleistung zu verringern.
Voraussetzungen
Bevor Sie beginnen, stellen Sie sicher, dass die folgenden Voraussetzungen abgeschlossen sind:
- Sie haben Zugriff auf eine lokale Azure-Instanz, die bereitgestellt und registriert ist.
- Sie haben das freigegebene Clustervolume (CSV) für die Instanz erstellt, und Sie haben Zugriff darauf.
- Die CSV verfügt nicht über bereits aktivierte Windows-Datendeduplizierungsfunktion.
Verwenden der ReFS-Deduplizierung und -Komprimierung
Sie können reFS-Deduplizierung und -komprimierung über Windows Admin Center oder PowerShell verwenden. PowerShell ermöglicht manuelle und automatisierte Aufträge, während Windows Admin Center nur geplante Aufträge unterstützt. Unabhängig von der Methode können Sie Auftragseinstellungen anpassen und die Dateiänderungsnachverfolgung für schnellere nachfolgende Ausführungen nutzen.
Aktivieren und Ausführen der ReFS-Deduplizierung und -Komprimierung
In Windows Admin Center können Sie einen Zeitplan für die ReFS-Deduplizierung erstellen, um auf einem vorhandenen Volume oder einem neuen Volume während der Volumeerstellung ausgeführt zu werden. Die Aktivierung der Komprimierung wird jedoch nur über PowerShell unterstützt.
Führen Sie die folgenden Schritte aus, um die ReFS-Deduplizierung über Windows Admin Center zu aktivieren und einen Zeitplan festzulegen, wann er ausgeführt werden soll:
Stellen Sie eine Verbindung mit einem System her, und wählen Sie dann im Bereich "Extras" auf der linken Seite "Volumes" aus.
Wählen Sie auf der Seite "Volumes" die Registerkarte "Bestand" aus, wählen Sie das entsprechende Volume und dann "Einstellungen" aus. Um die ReFS-Deduplizierung für ein neues Volume zu aktivieren, wählen Sie +Erstellen aus.
Aktivieren Sie im Bereich "Volumeeinstellungen" auf der rechten Seite unter dropdown "Weitere Optionen" das Kontrollkästchen "ReFS-Deduplizierung verwenden".
Wählen Sie die Wochentage aus, an denen die ReFS-Deduplizierung ausgeführt werden soll, die Zeit für einen Auftrag, um mit der Ausführung zu beginnen, und die maximale Dauer (Standard ist unbegrenzt), und wählen Sie dann "Speichern" aus.
Der folgende Screenshot zeigt, dass die ReFS-Deduplizierung am Freitag und Samstag um 10:00 Uhr mit einer maximalen Dauer von 2 Stunden ab Freitag, 27.09.2024, ausgeführt wird. Wenn das Startdatum am Montag um den 30.09.2024 geändert wurde, ist die erste Ausführung 10.04.2024 10:00 Uhr, da dies der erste Freitag nach dem 30.09.2024 ist.
Überprüfen Sie die Änderungen im Abschnitt "Eigenschaften" des Volumes. Der Zeitplan wird im Abschnitt "Eigenschaften" angezeigt und zeigt die Aufschlüsselung der Einsparungen und die nächste geplante Laufzeit an. Diese Einsparungen werden nach jeder Ausführung aktualisiert, und Sie können die Auswirkungen auf die Leistung in den Diagrammen im Abschnitt "Leistung " beobachten. Wenn die Komprimierung über PowerShell aktiviert ist, werden die Einsparungen auch im Abschnitt "Eigenschaften" angezeigt.
Anhalten geplanter Aufträge
Durch das Anhalten des Zeitplans werden alle laufenden Aufträge abgebrochen und geplante Ausführungen in Zukunft beendet. Diese Option behält reFS-Deduplizierungs- und Komprimierungsmetadaten bei und verfolgt weiterhin Dateiänderungen für optimierte zukünftige Ausführungen. Sie können den Zeitplan jederzeit fortsetzen, wobei die Zeitplaneinstellungen erhalten bleiben.
Führen Sie die folgenden Schritte aus, um geplante Aufträge mit Windows Admin Center anzusetzen:
Stellen Sie eine Verbindung mit einem System her, und wählen Sie dann im Bereich "Extras" auf der linken Seite "Volumes" aus.
Wählen Sie auf der Seite "Volumes" die Registerkarte "Bestand" aus, wählen Sie das entsprechende Volume und dann "Einstellungen" aus.
Deaktivieren Sie im Bereich "Volumeeinstellungen" auf der rechten Seite unter dropdown "Weitere Optionen" das Kontrollkästchen "Zeitplan festlegen", und wählen Sie dann "Speichern" aus.
Deaktivieren der ReFS-Deduplizierung und Komprimierung auf einem Volume
Durch Deaktivieren der ReFS-Deduplizierung und Komprimierung auf einem Volume werden alle laufenden Läufe beendet und zukünftige geplante Aufträge abgebrochen. Darüber hinaus werden verwandte Volumemetadaten nicht beibehalten, und die Nachverfolgung von Dateiänderungen wird beendet.
Hinweis
Wenn Sie dieses Feature deaktivieren, wird die Deduplizierung oder Komprimierung nicht rückgängig, da alle Vorgänge auf der Metadatenebene ausgeführt werden. Im Laufe der Zeit werden deduplizierte Daten in den ursprünglichen Zustand zurückgesetzt, da das Volume Lese- und Schreibvorgänge eingibt. Um die Daten zu dekomprimieren, stellen Sie sicher, dass genügend Kapazität verfügbar ist, und verwenden Sie ReFSUtil , um den folgenden Vorgang auszuführen.
refsutil compression /c /f NONE <vol>
Führen Sie die folgenden Schritte aus, um das Feature mithilfe von Windows Admin Center zu deaktivieren:
Stellen Sie eine Verbindung mit einem System her, und wählen Sie dann im Bereich "Extras" auf der linken Seite "Volumes" aus.
Wählen Sie auf der Seite "Volumes" die Registerkarte "Bestand" aus, wählen Sie das entsprechende Volume und dann "Einstellungen" aus.
Deaktivieren Sie im Bereich "Volumeeinstellungen" auf der rechten Seite unter dropdown "Weitere Optionen" das Kontrollkästchen "ReFS-Deduplizierung verwenden", und wählen Sie dann "Speichern" aus.
Häufig gestellte Fragen (FAQs)
In diesem Abschnitt werden häufig gestellte Fragen zur ReFS-Deduplizierung und -komprimierung beantwortet.
Unterscheidet sich das ReFS-Deduplizierungs- und Komprimierungsfeature von der Windows-Datendeduplizierung?
Ja, dieses Feature unterscheidet sich vollständig von der Windows-Datendeduplizierungsfunktion .
Wichtig
Es wird nicht unterstützt, sowohl die ReFS-Deduplizierung als auch die Windows-Datendeduplizierung gleichzeitig zu aktivieren.
ReFS-Deduplizierung und -komprimierung wurde für aktive Workloads entwickelt und konzentriert sich auf die Minimierung der Leistungseinbußen nach der Optimierung. Im Gegensatz zur Windows-Datendeduplizierung verwendet ReFS-Deduplizierung und -komprimierung keinen Blockspeicher, um dedupede Daten zu speichern, und es sind keine physischen Datenbewegungen beteiligt. Das Feature basiert auf ReFS-Block-Kloning, um nur Metadatenvorgänge zu aktivieren. Die Windows-Datendeduplizierung kann aufgrund der Verwendung variabler Blockgrößen eine bessere Speichereinsparung bieten, sie eignet sich auch für eine breitere Palette von Workloadtypen, z. B. GPFS (General-Purpose File Servers), Sicherungsziele und vieles mehr.
Was sind die Phasen der ReFS-Deduplizierung und -komprimierung?
Der Optimierungsprozess umfasst die folgenden Phasen, die sequenziell auftreten und vom angegebenen Modus abhängen. Wenn eine Optimierungsausführung ein Dauerlimit erreicht, wird die Komprimierung möglicherweise nicht ausgeführt.
Initialisierung. In dieser Phase wird das Speichervolume gescannt, um redundante Datenblöcke zu identifizieren.
Datendeduplizierung. In dieser Phase werden die redundanten Blöcke einzeln instanziert und mithilfe von ReFS-Block-Klonen nachverfolgt.
Komprimierung. In dieser Phase wird eine Ransomware generiert, um zu ermitteln, ob ein Block zur Komprimierung berechtigt sein soll. Die Standardeinstellungen komprimieren selten zugegriffene oder kalte Daten, um ihre Größe zu verringern. Sie können die Komprimierungsebenen ändern, um den Für die Komprimierung geeigneten Blockbereich anzupassen.
Was geschieht, wenn die Dauergrenze erreicht wird, bevor das Volume vollständig optimiert wird?
Die Dauerbeschränkung ist vorhanden, um leistungsbedingte Auswirkungen auf Kundenarbeitslasten zu verhindern, die durch den Optimierungsauftrag während der Geschäftszeiten verursacht werden. Ein Deduplizierungsdienst überwacht die optimierten Teile eines Volumes und eingehende Dateiänderungen. Diese Daten werden in zukünftigen Aufträgen verwendet, um die Optimierungszeit zu reduzieren. Wenn ein Volume beispielsweise aufgrund des Grenzwerts für die Dauer nur 30 % verarbeitet wird, werden bei der nachfolgenden Ausführung die verbleibenden 70 % und alle neuen Daten berücksichtigt.
Bekannte Probleme
Im folgenden Abschnitt werden die bekannten Probleme aufgeführt, die derzeit mit reFS-Deduplizierung und -komprimierung vorhanden sind.
Wenn die Komprimierung aktiviert ist, kann die Verwendung des -FullRun
Parameters für Aufträge nach der ersten Optimierungsausführung zu einem Deadlock im System führen.
Status: Öffnen.
Vermeiden Sie die Verwendung -FullRun
in manuell gestarteten Aufträgen, es sei denn, dies ist Dedup
.Type
Führen Sie die folgenden Schritte als temporäre Problemumgehung aus, um dieses Problem zu beheben:
ReFS-Deduplizierung und Komprimierung auf dem Volume deaktivieren:
Disable-ReFSDedup -Volume <path>
Dekomprimieren Sie das Volume mit
refsutil
:refsutil compression /c /f NONE <vol>
ReFS-Deduplizierung und Komprimierung mit dem
Dedup
einzigen Modus erneut aktivieren, falls erforderlich:Enable-ReFSDedup -Volume <path> -Type Dedup
Das Planen von Aufträgen, die gleichzeitig auf mehreren CSVs innerhalb eines einzelnen Systems ausgeführt werden, kann potenziell CSV-Bewegungen auslösen und sich negativ auf die Leistung auswirken.
Status: Öffnen.
Als empfohlene bewährte Methode empfiehlt es sich, die Startzeit der Aufträge zu überschneiden, um Überlappungen zu vermeiden. Wenn jedoch alle Aufträge gleichzeitig ausgeführt werden müssen, passen Sie die CPU-Zuordnung pro Auftrag für alle CSVs so an, dass sie weniger als 50 % der gesamten Cpu-Auslastung des Systems beträgt. Beachten Sie, dass das Erzwingen von CPU-Einschränkungen zu längeren Ausführungszeiten führen kann.
ReFS-Deduplizierungs- und Komprimierungsauftrag wurde abgeschlossen (entweder erfolgreich oder abgebrochen), und Speichereinsparungen werden nicht im Get-ReFSDedupStatus
oder Windows Admin Center aufgeführt.
Status: Gelöst.
Die temporäre Problemumgehung für dieses Problem besteht darin, einen einmaligen Auftrag zu initiieren und die Ergebnisse sofort zu aktualisieren.
Start-ReFSDedupJob -Volume <path>
Das Senden der Überwachung von Ereignisablaufverfolgungsereignissen für Windows (ETW)-Ereignisse nach dem Deaktivieren der ReFS-Deduplizierung und -Komprimierung auf einem Volume wurde beendet.
Status: Gelöst.
Sobald die ReFS-Deduplizierung und -komprimierung auf einem Volume deaktiviert ist, wiederholt der ETW-Kanal für ReFS-Deduplizierungsprotokolle, die überwachungsereignisse wiederholt beendet haben. Aufgrund dieses Problems rechnen wir jedoch nicht mit erheblichen Auswirkungen auf die Nutzung.
Fehler beim Auftragsereignis, wenn das Volume während der Komprimierung in einen anderen Knoten verschoben wird.
Status: Gelöst.
Wenn die CSV-Datei auf einen anderen Computer des Systems verschoben wird, während die Komprimierung ausgeführt wird, wird das Auftragsfehlerereignis nicht im ReFS-Deduplizierungskanal protokolliert. Aufgrund dieses Problems rechnen wir jedoch nicht mit erheblichen Auswirkungen auf die Nutzung.