Überwachen der Datenzuordnungsauffüllung in Microsoft Purview
In Microsoft Purview können Sie verschiedene Arten von Datenquellen überprüfen und die überprüfungs-status im Laufe der Zeit anzeigen. Sie können auch andere Dienste mit Microsoft Purview verbinden und die Trends der erfassten Ressourcen/Beziehung anzeigen. In diesem Artikel wird beschrieben, wie Sie die Datenzuordnungspopulation aus der Vogelperspektive überwachen und erhalten.
Überwachen von Scanausführungen
Öffnen Sie das Microsoft Purview-Governanceportal wie folgt:
- Navigieren Sie direkt zu https://web.purview.azure.com Ihrem Microsoft Purview-Konto, und wählen Sie es aus.
- Öffnen Sie die Azure-Portal, suchen Sie nach dem Microsoft Purview-Konto, und wählen Sie es aus. Wählen Sie die Schaltfläche Microsoft Purview-Governanceportal aus.
Öffnen Sie Ihr Microsoft Purview-Konto, und wählen Sie Data map ->Überwachung aus. Sie müssen über die Rolle Datenquellenadministrator für jede Sammlung verfügen, um auf diese Seite zugreifen zu können. Außerdem können Sie die Überprüfungsausführungen sehen, die zu den Sammlungen gehören, für die Sie über Datenquellenadministratorrechte verfügen.
Die allgemeinen KPIs zeigen die Gesamtanzahl der Scanausführungen innerhalb eines Zeitraums an. Der Zeitraum ist standardmäßig auf die letzten 30 Tage festgelegt. Sie können auch die letzten sieben Tage auswählen. Basierend auf dem ausgewählten Zeitfilter können Sie die Verteilung von erfolgreichen, abgeschlossenen, fehlgeschlagenen, abgebrochenen und ausgeführten Scanausführungen nach Woche oder Tag im Diagramm anzeigen. Dies ist die End-to-End-status einschließlich der Ermittlungs- und Erfassungsphasen. Weitere Informationen zum status Details finden Sie im Abschnitt Details zur Überprüfungsausführung.
Am unteren Rand des Diagramms finden Sie einen Link Mehr anzeigen , den Sie genauer untersuchen können. Über den Link wird die Seite scan status geöffnet. Hier sehen Sie einen Scannamen und die Anzahl der Status erfolgreich, mit Ausnahmen abgeschlossen, fehlgeschlagen oder abgebrochen im Zeitraum. Sie können die Liste auch nach Quelltypen filtern.
Sie können eine bestimmte Überprüfung weiter untersuchen, indem Sie den Scannamen auswählen. Es verbindet Sie mit der Seite "Scanverlauf", auf der Sie die Liste der Scanausführungen mit weiteren Ausführungsdetails finden.
Sie können in die Ausführungs-ID klicken, um mehr über die Details der Überprüfungsausführung zu überprüfen.
Bekannte Einschränkungen:
Derzeit enthält diese Überwachungsumgebung nicht die folgenden Informationen. Sie können die details der entsprechenden Überprüfungsausführung überprüfen.
- Überprüfungsausführungen der Herkunftsextrahierung für Azure SQL-Datenbank werden nicht abgedeckt.
- Bei Überprüfungen von Azure Synapse Analytics-Arbeitsbereich, Azure-Abonnement/-Ressourcengruppe und AWS-Konto werden nur die status/Anzahl untergeordneter Überprüfungsausführungen pro Ressource erfasst.
Details zur Überprüfungsausführung
Sie können von verschiedenen Orten aus zum Scanausführungsverlauf für eine bestimmte Überprüfung navigieren:
- Navigieren Sie wie im Abschnitt Überwachen von Scanausführungen beschrieben zu Data Map ->Überwachung.
- Wechseln Sie zu Data Map ->Quellen –> wählen Sie die gewünschte Datenquelle aus.> Weitere Informationen finden Sie unter Scans, Zuletzt durchgeführte Überprüfungen oder Zuletzt fehlgeschlagene Überprüfungen.
- Wechseln Sie zu Data Map ->Sammlungen -> wählen Sie die gewünschte Sammlung ->Scans -> wählen Sie den Scannamen aus, den Sie mehr anzeigen möchten.
Die Aufbewahrungsdauer des Scanausführungsverlaufs beträgt 90 Tage.
Sie können auf die Ausführungs-ID klicken, um mehr über die Details der Überprüfungsausführung zu überprüfen:
Der Abschnitt oben bietet eine Übersicht über die Überprüfungsausführung, einschließlich der folgenden Informationen:
- Ausführungs-ID: Eine GUID, die verwendet wird, um diese bestimmte Überprüfungsausführung zu identifizieren.
- Scantyp: Manuelle oder geplante Überprüfung.
- Ausführungstyp: Vollständige oder inkrementelle Überprüfung.
- Überprüfungsregelsatz: Der in der Ausführung verwendete Überprüfungsregelsatz, falls zutreffend.
- Überprüfungsausführung status: Gesamtscan-status. Es kombiniert die status der Metadatenermittlungs- und Erfassungsphasen.
- Dauer der Überprüfungsausführung: Die End-to-End-Ausführungsdauer und die Start-/Endzeit.
Der Abschnitt zur Metadatenermittlung fasst die Metriken für die Ermittlungsphase zusammen, die Purview mit der Quelle verbindet, extrahiert die Metadaten/Herkunft und klassifiziert die Daten.
Ermittlungs-status:
Status Beschreibung Abgeschlossen Die Metadatenermittlung ist erfolgreich. Abgeschlossen mit Ausnahmen Die Metadatenermittlung wird abgeschlossen, während bei einem zugrunde liegenden Vorgang ein Fehler auftritt, der dazu führen kann, dass Ressourcen, Metadaten oder Klassifizierungen im Scanergebnis fehlen. Sie können Details in den Ausnahmeprotokollen anzeigen. Fehlgeschlagen Die Metadatenermittlung schlägt fehl. Sie können die Fehlerdetails überprüfen, indem Sie daneben auf den Link "Weitere Informationen" klicken. Abgebrochen Die Überprüfungsausführung wird vom Benutzer abgebrochen. Im Gange Die Metadatenermittlung wird ausgeführt. In Warteschlange eingereiht Die Metadatenermittlung wartet auf die verfügbare Integration Runtime-Ressource.
Wenn Sie eine selbstgehostete Integration Runtime verwenden, beachten Sie, dass jeder Knoten abhängig von Ihrer Computerspezifikation (CPU und Arbeitsspeicher) mehrere gleichzeitige Überprüfungen gleichzeitig ausführen kann. Weitere Überprüfungen befinden sich in der status in der Warteschlange.Drosselte Die Metadatenermittlung wird gedrosselt. Dies bedeutet, dass dieses Microsoft Purview-Konto derzeit mehr laufende Überprüfungsausführungen aufweist als die zulässige maximale gleichzeitige Anzahl. Weitere Informationen zum Grenzwert finden Sie hier. Diese bestimmte Überprüfungsausführung wartet und wird ausgeführt, sobald Ihre anderen laufenden Überprüfungen abgeschlossen sind. Die Überprüfungsausführung wird während der status "Gedrosselt" oder "In die Warteschlange eingereiht" nicht berechnet.
Ermittelte Ressourcen: Die Anzahl der ressourcen, die aus der Quelle aufgezählt wurden. Sowohl für vollständige als auch für inkrementelle Überprüfungen werden alle Ressourcen im konfigurierten Bereich eingeschlossen, unabhängig davon, ob es sich um vorhandene oder neu erstellte/aktualisierte Ressourcen seit der letzten Überprüfung handelt. Während für die inkrementelle Überprüfung werden detaillierte Metadaten nur für neu erstellte oder aktualisierte Ressourcen zusätzlich extrahiert.
Klassifizierte Ressourcen: Die Anzahl der Ressourcen, die zur Klassifizierung der Daten in die Stichprobe einbezogen wurden, unabhängig davon, ob die Ressourcen eine übereinstimmende Klassifizierung aufweisen oder nicht. Es handelt sich um eine Teilmenge der ermittelten Ressourcen, die auf dem Samplingmechanismus basieren. Für die inkrementelle Überprüfung können nur neu erstellte oder aktualisierte Ressourcen für die Klassifizierung ausgewählt werden.
Dauer: Die Dauer der Ermittlungsphase und die Start-/Endzeit.
Der Abschnitt "Metadatenerfassung" fasst die Metriken für die Erfassungsphase zusammen, in der Purview die Datenzuordnung mit den identifizierten Metadaten und der identifizierten Beziehung auffüllt.
Erfassungs-status:
Status Beschreibung Abgeschlossen Alle Ressourcen und Beziehungen werden erfolgreich in der Data Map erfasst. Abgeschlossen mit Ausnahmen (vorheriges "Teilweise abgeschlossen") Ein Teil der Ressourcen und Beziehungen wird erfolgreich in der Datenzuordnung erfasst, während einige fehlschlagen. Sie können Details in den Ausnahmeprotokollen anzeigen. Fehlgeschlagen Die Erfassungsphase schlägt fehl. Abgebrochen Die Überprüfungsausführung wird vom Benutzer abgebrochen, sodass die Erfassung abgebrochen wird. Im Gange Die Erfassung wird ausgeführt. In Warteschlange eingereiht Die Erfassung wartet auf die verfügbare Dienstressource oder auf die Überprüfung, um Metadaten zu ermitteln. Erfasste Ressourcen: Die Anzahl der in der Datenzuordnung erfassten Ressourcen. Für die inkrementelle Überprüfung enthält sie nur die neu erstellten oder aktualisierten Ressourcen. In diesem Fall kann es sein, dass die Anzahl der ermittelten Objekte kleiner ist als die Anzahl der ermittelten Objekte. Beim Überprüfen einer dateibasierten Quelle ist dies die Anzahl der rohen Ressourcen vor der Aggregation von Ressourcengruppen.
Erfasste Beziehungen: Die Anzahl der in der Datenzuordnung erfassten Beziehungen. Sie umfasst die Herkunft und andere Beziehungen wie Fremdschlüsselbeziehungen.
Dauer: Die Erfassungsdauer und die Start-/Endzeit.
Anzeigen des Ausnahmeprotokolls (Vorschau)
Wichtig
Dieses Feature ist derzeit in der Vorschau. Die zusätzlichen Nutzungsbedingungen für Microsoft Azure Previews enthalten zusätzliche rechtliche Bestimmungen, die für Azure-Features gelten, die sich in der Betaversion, in der Vorschau oder anderweitig noch nicht in der allgemeinen Verfügbarkeit befinden.
Wenn einige Ressourcen oder Beziehungen nicht aus der Quelle ermittelt werden oder während der Überprüfung nicht in data map erfasst werden können. Status beispielsweise mit Ausnahmen als abgeschlossen endet, haben Sie folgende Möglichkeiten:
- Wählen Sie die Überprüfung aus.
- Wählen Sie die Ausführungs-ID einer Überprüfung mit Fehlern oder Ausnahmen aus.
- Wählen Sie im Detailbereich der Scanausführung die Schaltfläche Protokoll herunterladen aus. Es stellt Ihnen die Ausnahmeprotokolldateien bereit, die die Details der Fehler erfassen.
Protokoll der Ermittlungsphase
Die folgende Tabelle zeigt das Schema einer Protokolldatei für die Ermittlungsphase.
| Spalte | Beschreibung |
|---|---|
| TimeStamp | Der UTC-Zeitstempel, wenn der Ermittlungsvorgang ausgeführt wird. |
| ErrorCode | Fehlercode der Ausnahme. |
| OperationName | Sie enthält die folgenden Werte: - Aufzählen: Gibt den Vorgang zum Auflisten der untergeordneten Objekte unter einem bestimmten Bereich an, z. B. Auflisten der Ordner/Dateien unter einem Container und Auflisten der Tabellen unter einer Datenbank. Wenn ein Fehler auftritt, werden die untergeordneten Objekte des Vorgangselements nicht in das Überprüfungsergebnis einbezogen. - GetMetadata: Gibt den Vorgang zum Extrahieren der Metadaten für ein Objekt an, z. B. Tabelle, Datei usw. Wenn ein Fehler auftritt, enthält das Objekt des Vorgangselements möglicherweise keine vollständigen Metadaten. - SampleResourceSet: Gibt den Vorgang zum Sampling der neuesten Datei an, die dem Ressourcensatzmuster entspricht, wenn Sie dateibasierte Datenquellen überprüfen. Wenn ein Fehler auftritt, kann die Klassifizierung/das Schema für den Ressourcensatz, zu dem das Vorgangselement gehört, fehlen. - ReadData: Gibt den Vorgang zum Abrufen von Beispieldaten aus der Quelle an. Wenn ein Fehler auftritt, wird das Vorgangselement nicht klassifiziert. Wenn es sich um eine dateibasierte Quelle handelt, kann auch das Schema fehlen. - Klassifizieren: Gibt den Vorgang zum Anwenden der Klassifizierungen an. Wenn ein Fehler auftritt, kann die Klassifizierung für das Vorgangselement fehlschlagen. - GenerateAsset: Gibt den Vorgang zum Konvertieren der ermittelten Metadaten in das Microsoft Purview-Medienobjekt an. Wenn ein Fehler auftritt, normalerweise aufgrund eines Systemfehlers, wird die Ressource des Vorgangselements nicht zuletzt in der Datenzuordnung angezeigt. |
| OperationItem | Bezeichner für das fehlerhafte Objekt/die fehlerhafte Beziehung, in der Regel mit dem vollqualifizierten Namen. |
| Nachricht | Weitere Informationen dazu, welches Objekt/welche Beziehung aus welchem Grund nicht ermittelt werden konnte. |
Bekannte Einschränkungen:
- Das Ermittlungsphasesprotokoll wird unterstützt, wenn Sie Azure Integration Runtime oder Managed Virtual Network Integration Runtime für die Überprüfung verwenden.
- Das Ermittlungsphasesprotokoll wird unterstützt, wenn Sie Azure- oder Power BI-Datenquellen überprüfen.
- Derzeit werden möglicherweise nicht alle Ausnahmen erfasst, die während der Überprüfungsausführung aufgetreten sind.
Erfassungsphaseprotokoll
Die folgende Tabelle zeigt das Schema einer Protokolldatei für die Erfassungsphase.
| Spalte | Beschreibung |
|---|---|
| TimeStamp | Der UTC-Zeitstempel, wenn der Erfassungsvorgang erfolgt. |
| ErrorCode | Fehlercode der Ausnahme. |
| OperationItem | Bezeichner für das fehlerhafte Objekt/die fehlerhafte Beziehung, in der Regel mit dem vollqualifizierten Namen. |
| Nachricht | Weitere Informationen dazu, welche Ressource/Beziehung aus welchem Grund nicht erfasst werden konnte. Wenn ein Erfassungsfehler für den Ressourcensatz auftritt, kann dies für mehrere Ressourcen gelten, die demselben Benennungsmuster entsprechen, und die Meldung enthält die betroffene Anzahl. |
Links überwachen
Sie können andere Dienste mit Microsoft Purview verbinden, um einen "Link" herzustellen, der die Metadaten und die Herkunft der Ressourcen dieses Diensts für Microsoft Purview verfügbar macht. Derzeit wird Link für Azure Data Factory und Azure Synapse Analytics unterstützt.
So überwachen Sie die über die Links erfassten Ressourcen und Beziehungen:
Wechseln Sie zu Ihrem Microsoft Purview-Konto.> Öffnen Sie das Microsoft Purview-Governanceportal Data>map ->Monitoring ->Links. Sie müssen über die Rolle Datenquellenadministrator für jede Sammlung verfügen, um auf die Registerkarte Überwachung zugreifen zu können. Außerdem können Sie die Ergebnisse sehen, die zu den Sammlungen gehören, für die Sie über Datenquellenadministratorrechte verfügen. Die Berechtigung für die Stammsammlung ist erforderlich, um Azure Data Factory und Azure Synapse Analytics-Links zu überwachen.
Sie können die allgemeinen KPIs anzeigen, einschließlich der Gesamtzahl der Quellen, der Anzahl der erfassten Ressourcen und der Beziehung (Herkunft), gefolgt von Trenddiagrammen im Laufe der Zeit. Sie können weitere Filter auf folgendes anwenden, um die Ergebnisse einzugrenzen:
- Quelltyp
- Quellname
- Datumsbereich: Der Standardwert ist 30 Tage. Sie können auch die letzten sieben Tage oder einen benutzerdefinierten Datumsbereich auswählen. Die Aufbewahrungsdauer beträgt 45 Tage.
Die Metriken werden bis zu dem Datum gemeldet, das in der oberen rechten Ecke angezeigt wird. Die Aggregation erfolgt stündlich.
Am unteren Rand des Diagramms finden Sie einen Link Mehr anzeigen , den Sie genauer untersuchen können. Auf der Seite Link status können Sie eine Liste der Quellnamen zusammen mit dem Quelltyp, den erfassten Ressourcen, der erfassten Beziehung und der letzten Laufzeitzeit anzeigen. Die Filter auf der vorherigen Seite werden übernommen, und Sie können die Liste nach Quelltyp, Quellname und Datumsbereich weiter filtern.
Sie können einen Drilldown zu jeder Quelle ausführen, um die Details der nächsten Ebene anzuzeigen, indem Sie auf den Quellnamen klicken. Für Azure Data Factory wird beispielsweise gezeigt, wie jede Pipelineaktivität die Ressourcen und die Beziehung zu Microsoft Purview mit dem Namen im Format meldet
<pipeline_name>/<activity_name>.
Bekannte Einschränkungen
- Für Azure Data Factory und Azure Synapse Analytics erfasst diese Linküberwachung derzeit die Ressourcen und Beziehungen, die aus der Kopieraktivität generiert wurden, aber nicht den Datenfluss und SSIS-Aktivitäten.
- Die Aggregation und der Datumsfilter liegen in UTC-Zeit vor.
Scans werden nicht mehr ausgeführt
Wenn Ihre Microsoft Purview-Überprüfung früher erfolgreich ausgeführt wurde, aber jetzt fehlschlägt, überprüfen Sie folgendes:
- Überprüfen Sie zuerst die Fehlermeldung, um die Fehlerdetails anzuzeigen.
- Wurden die Anmeldeinformationen für Ihre Ressource geändert oder rotiert? Wenn ja, müssen Sie aktualisieren, damit ihre Überprüfung die richtigen Anmeldeinformationen verwendet.
- Verhindert ein Azure PolicyUpdates für Speicherkonten? Wenn ja, befolgen Sie die Anleitung zu Microsoft Purview-Ausnahmetags , um eine Ausnahme für Microsoft Purview-Konten zu erstellen.
- Verwenden Sie eine selbstgehostete Integration Runtime? Überprüfen Sie, ob sie mit der neuesten Software auf dem neuesten Stand ist und mit Ihrem Netzwerk verbunden ist.