Elastische Datenzuordnung in Microsoft Purview
Die Microsoft Purview Data Map bildet die Grundlage für die Datenermittlung und Datengovernance. Es erfasst Metadaten zu Daten, die in Analysen, Software-as-a-Service (SaaS) und Betriebssystemen in Hybrid-, lokalen und Multicloudumgebungen vorhanden sind. Die Data Map bleibt mit dem integrierten Scan- und Klassifizierungssystem auf dem neuesten Stand.
Alle Microsoft Purview-Konten verfügen über eine Datenzuordnung, die bei einer Kapazitätseinheit beginnt und elastisch wachsen kann. Sie werden basierend auf der Anforderungslast und den in der Data Map gespeicherten Metadaten hoch- und herunterskaliert.
Data Map-Kapazitätseinheit
Die elastische Data Map verfügt über zwei Komponenten: Metadatenspeicher und Vorgangsdurchsatz, die als Kapazitätseinheit (Capacity Unit, CU) dargestellt werden. Alle Microsoft Purview-Konten beginnen standardmäßig mit einer Kapazitätseinheit und wachsen je nach Nutzung elastisch. Jede Data Map-Kapazitätseinheit umfasst einen Durchsatz von 25 Vorgängen/Sekunde und einen Grenzwert von 10 GB Metadatenspeicher.
Vorgänge
Vorgänge sind das Durchsatzmeasure des Microsoft Purview Data Map. Sie umfassen alle Vorgänge zum Erstellen, Lesen, Schreiben, Aktualisieren und Löschen von Metadaten, die in der Data Map gespeichert sind. Beispiele für Vorgänge sind:
- Erstellen einer Ressource in Data Map
- Fügen Sie einer Ressource eine Beziehung hinzu, z. B. Besitzer, Steward, Übergeordnetes Element, Herkunft usw.
- Bearbeiten Sie eine Ressource, um Geschäftsmetadaten wie Eine Beschreibung, einen Glossarbegriff usw. hinzuzufügen.
- Stichwortsuche, die Ergebnisse auf der Suchergebnisseite zurückgibt.
Speicher
Storage ist die zweite Komponente von Data Map und umfasst die Speicherung von technischen, geschäftlichen, operativen und semantischen Metadaten.
Die technischen Metadaten umfassen Schema, Datentyp, Spalten usw., die während der Microsoft Purview-Überprüfung ermittelt werden. Die Geschäftsmetadaten umfassen automatisierte (z. B. höhergestufte Power BI-Datasets oder Beschreibungen aus SQL-Tabellen) und manuelles Markieren von Beschreibungen, Glossarbegriffen usw. Beispiele für semantische Metadaten sind die Sammlungszuordnung zu Datenquellen oder Klassifizierungen. Die Betriebsmetadaten umfassen den Ausführungsstatus der Data Factory-Kopier- und Datenflussaktivität sowie die Ausführungszeit.
Arbeiten mit elastischen Datenzuordnungen
Elastische Data Map mit automatischer Skalierung : Sie beginnen mit einer Data Map mit einer Kapazitätseinheit, die basierend auf der Last automatisch skaliert werden kann. Für die meisten Organisationen führt dieses Feature zu höheren Einsparungen und einem niedrigeren Preispunkt für das Starten von Datengovernanceprojekten. Dieses Feature wirkt sich auf die Preise aus.
Erweiterte Überprüfung & Erfassung : Sie können die Auffüllung der Datenressourcen, die Klassifizierung und die Herkunft sowohl im Scan- als auch im Erfassungsprozess nachverfolgen und steuern. Dieses Feature wirkt sich auf die Preise aus.
Szenario
Claudia ist Azure-Administratorin bei Contoso, die ein neues Microsoft Purview-Konto aus Azure-Portal erstellen möchte. Sie kennt nicht die erforderliche Größe der Microsoft Purview Data Map, um den zukünftigen Zustand der Plattform zu unterstützen. Sie weiß jedoch, dass die Microsoft Purview Data Map mit Kapazitätseinheiten abgerechnet werden, die vom Speicher- und Betriebsdurchsatz betroffen sind. Sie möchte die kleinste Data Map erstellen, um die Kosten gering zu halten und die Data Map-Größe elastisch basierend auf dem Verbrauch zu vergrößern.
Claudia kann ein Microsoft Purview-Konto mit der Data Map-Standardgröße einer Kapazitätseinheit erstellen, die automatisch hoch- und herunterskaliert werden kann. Das Feature für die automatische Skalierung ermöglicht auch die Anpassung der Kapazität basierend auf zeitweiligen oder geplanten Datenspitzen während bestimmter Zeiträume. Claudia führt die nächsten Schritte in der Erstellungsumgebung aus, um die Netzwerkkonfiguration einzurichten, und schließt die Erstellung ab.
Im Azure-Portal kann Claudia auf der Registerkarte "Metriken" für das Microsoft Purview-Konto den Verbrauch des Data Map-Speicher- und Betriebsdurchsatzes anzeigen. Sie kann außerdem eine Warnung einrichten, wenn der Speicher- oder Betriebsdurchsatz ein bestimmtes Limit erreicht, um den Verbrauch und die Abrechnung des neuen Microsoft Purview-Kontos zu überwachen.
Data Map-Abrechnung
Kunden wird eine Kapazitätseinheit (25 Ops/s und 10 GB) in Rechnung gestellt, und die zusätzliche Abrechnung basiert auf dem Verbrauch jeder zusätzlichen Kapazitätseinheit, die auf die Stunde hochgezogen wird. Die Data Map-Vorgänge werden in Schritten von 25 Vorgängen/s skaliert, und der Metadatenspeicher wird in Schritten von 10 GB skaliert. Microsoft Purview Data Map können innerhalb des Elastizitätsfensters automatisch hoch- und herunterskaliert werden (aktuelle Grenzwerte überprüfen). Um jedoch das nächste Elastizitätsfenster zu erhalten, muss ein Supportticket erstellt werden.
Data Map-Kapazitätseinheiten haben eine Obergrenze für den Durchsatz und speicher von Vorgängen. Wenn der Speicher die aktuelle Kapazitätseinheit überschreitet, wird kunden die nächste Kapazitätseinheit in Rechnung gestellt, auch wenn der Betriebsdurchsatz nicht verwendet wird. In der folgenden Tabelle sind die Data Map-Kapazitätseinheitsbereiche aufgeführt. Wenden Sie sich an den Support, wenn die Data Map-Kapazitätseinheit über 100 Kapazitätseinheiten hinausgeht.
| Data Map Capacity Unit | Vorgänge/Sek. Durchsatz | Speicherkapazität in GB |
|---|---|---|
| 1 | 25 | 10 |
| 2 | 50 | 20 |
| 3 | 75 | 30 |
| 4 | 100 | 40 |
| 5 | 125 | 50 |
| 6 | 150 | 60 |
| 7 | 175 | 70 |
| 8 | 200 | 80 |
| 9 | 225 | 90 |
| 10 | 250 | 100 |
| .. | .. | .. |
| 100 | 2500 | 1000 |
Abrechnungsbeispiele
Microsoft Purview Data Map vorgangsdurchsatz für die angegebene Stunde ist kleiner oder gleich 25 Ops/Sek. und die Speichergröße beträgt 1 GB. Kunden wird eine Kapazitätseinheit in Rechnung gestellt.
Microsoft Purview Data Map vorgangsdurchsatz für die angegebene Stunde ist kleiner oder gleich 25 Ops/s und die Speichergröße beträgt 15 GB. Kunden werden zwei Kapazitätseinheiten in Rechnung gestellt.
Microsoft Purview Data Map vorgangsdurchsatz für die angegebene Stunde beträgt 50 Ops/s und die Speichergröße 15 GB. Kunden werden zwei Kapazitätseinheiten in Rechnung gestellt.
Microsoft Purview Data Map vorgangsdurchsatz für die angegebene Stunde beträgt 50 Ops/s und die Speichergröße 25 GB. Kunden werden drei Kapazitätseinheiten in Rechnung gestellt.
Microsoft Purview Data Map vorgangsdurchsatz für die angegebene Stunde beträgt 250 Ops/s und die Speichergröße 15 GB. Kunden werden 10 Kapazitätseinheiten in Rechnung gestellt.
Detailliertes Abrechnungsbeispiel
Das Data Map-Abrechnungsbeispiel zeigt eine Data Map mit wachsendem Metadatenspeicher und Variablenvorgängen pro Sekunde über ein Sechs-Stunden-Zeitfenster von 12:00 bis 18:00 Uhr. Die rote Linie im Diagramm ist der Verbrauch von Vorgängen pro Sekunde, und die blaue gepunktete Linie ist der Metadatenspeicherverbrauch in diesem Sechs-Stunden-Fenster:
Jede Data Map-Kapazitätseinheit unterstützt 25 Vorgänge/Sekunde und 10 GB Metadatenspeicher. Die Data Map wird stündlich abgerechnet. Es werden die maximal benötigten Data Map-Kapazitätseinheiten innerhalb der Stunde mit mindestens einer Kapazitätseinheit in Rechnung gestellt. Manchmal benötigen Sie möglicherweise mehr Vorgänge/Sekunde innerhalb der Stunde, und mehr Vorgänge erhöhen die Anzahl der erforderlichen Kapazitätseinheiten innerhalb dieser Stunde. In anderen Zeiten ist die Auslastung Ihrer Vorgänge/Sekunde möglicherweise gering, aber Sie benötigen möglicherweise immer noch eine große Menge an Metadatenspeicher. Der Metadatenspeicher bestimmt, wie viele Kapazitätseinheiten Sie innerhalb der Stunde benötigen.
Die Tabelle zeigt die maximale Anzahl von Vorgängen/Sekunde und metadatenbasierten Speicher pro Stunde für dieses Abrechnungsbeispiel:
Basierend auf den Data Map-Vorgängen/Sekunde und dem Metadatenspeicherverbrauch in diesem Zeitraum würden für diese Data Map 22 Kapazitätseinheitenstunden über diesen Zeitraum von sechs Stunden abgerechnet (1 + 3 + 4 + 5 + 6 + 3):
Wichtig
Microsoft Purview Data Map können innerhalb des Elastizitätsfensters automatisch hoch- und herunterskaliert werden (aktuelle Grenzwerte überprüfen). Um die nächste Ebene des Elastizitätsfensters zu erhalten, muss ein Supportticket erstellt werden.
Erhöhen des Durchsatzlimits für Vorgänge
Der Standardgrenzwert für maximale Vorgänge pro Sekunde beträgt 10 Kapazitätseinheiten. Wenn Sie mit einer großen Microsoft Purview-Umgebung arbeiten und einen höheren Durchsatz benötigen, können Sie ein größeres Elastizitätsfenster anfordern, indem Sie eine Kontingentanforderung erstellen. Wählen Sie "Data Map Capacity Unit" als Kontingenttyp aus. Geben Sie so viele relevante Informationen wie möglich über Ihre Umgebung und die zusätzliche Kapazität an, die Sie anfordern möchten.
Wichtig
Es gibt keine Standardbeschränkung für den Metadatenspeicher. Wenn Sie Ihrer Datenzuordnung weitere Metadaten hinzufügen, nimmt sie elastisch zu.
Durch das Erhöhen des Operations-Durchsatzlimits wird auch die Mindestanzahl von Kapazitätseinheiten erhöht. Wenn Sie das Durchsatzlimit auf 20 erhöhen, werden Ihnen mindestens 2 CUs in Rechnung gestellt. Die folgende Tabelle veranschaulicht die möglichen Durchsatzoptionen. Die Zahl, die Sie in die Kontingentanforderung eingeben, ist die Mindestanzahl von Kapazitätseinheiten für das Konto.
| Mindestkapazitätseinheiten | Operations-Durchsatzlimit |
|---|---|
| 1 | 10 (Standard) |
| 2 | 20 |
| 3 | 30 |
| 4 | 40 |
| 5 | 50 |
| 6 | 60 |
| 7 | 70 |
| 8 | 80 |
| 9 | 90 |
| 10 | 100 |
Überwachen der elastischen Datenzuordnung
Die Kapazitätseinheiten der Metrikdatenzuordnung und die Speichergröße der Datenzuordnung können überwacht werden, um die Größe des Datenbestands und die Abrechnung zu verstehen.
Navigieren Sie zum Azure-Portal, navigieren Sie zur Seite Microsoft Purview-Konten, und wählen Sie Ihr Purview-Konto aus.
Wählen Sie Übersicht aus, und scrollen Sie nach unten, um den Abschnitt Überwachung für Data Map-Kapazitätseinheiten und Data Map Storage Size-Metriken über verschiedene Zeiträume anzuzeigen.
Navigieren Sie für andere Einstellungen zu Überwachung –> Metriken , um die Data Map-Kapazitätseinheiten und die Data Map-Speichergröße zu beobachten.
Wählen Sie Data Map Capacity Units aus, um die Nutzung der Data Map-Kapazitätseinheiten in den letzten 24 Stunden anzuzeigen. Beachten Sie, dass das Zeigen mit dem Mauszeiger über das Liniendiagramm angibt, welche Data Map-Kapazitätseinheiten zu dieser bestimmten Zeit am jeweiligen Tag verbraucht wurden.
Wählen Sie oben rechts auf dem Bildschirm die Option Ortszeit: Letzte 24 Stunden (Automatisch – 1 Stunde) aus, um den für das Diagramm angezeigten Zeitbereich zu ändern.
Passen Sie den Diagrammtyp an, indem Sie die Option auswählen:
Wählen Sie das Neue Diagramm aus, um das Diagramm für das Diagramm Data Map Storage Size hinzuzufügen.
Zusammenfassung
Mit der elastischen Data Map bietet Microsoft Purview Kunden eine kostengünstige Barriere, um ihre Datengovernance-Journey zu starten. Microsoft Purview Data Map können mit einem Modell mit nutzungsbasierter Bezahlung ab einer Kapazitätseinheit elastisch wachsen. Kunden müssen sich keine Gedanken über die Auswahl der richtigen Data Map-Größe für ihren Datenbestand zum Zeitpunkt der Erstellung machen.