Überwachen von Azure Data Factory
Dieser Artikel beschreibt Folgendes:
- Die Arten von Überwachungsdaten, die Sie für diesen Dienst sammeln können
- Möglichkeiten zum Analysieren dieser Daten.
Hinweis
Wenn Sie bereits mit diesem Dienst und/oder Azure Monitor vertraut sind und nur wissen möchten, wie Überwachungsdaten analysiert werden, lesen Sie den Abschnitt Analysieren am Ende dieses Artikels.
Wenn Sie über unternehmenskritische Anwendungen und Geschäftsprozesse verfügen, die auf Azure-Ressourcen basieren, müssen Sie diese überwachen und Warnungen für Ihr System abrufen. Der Azure Monitor-Dienst sammelt und aggregiert Metriken und Protokolle aus jeder Komponente Ihres Systems. Azure Monitor bietet Ihnen eine Übersicht über Verfügbarkeit, Leistung und Resilienz und benachrichtigt Sie über Probleme. Sie können das Azure-Portal, PowerShell, die Azure CLI, die REST-API oder Clientbibliotheken verwenden, um Überwachungsdaten einzurichten und anzuzeigen.
- Weitere Informationen zu Azure Monitor finden Sie unter Azure Monitor – Übersicht.
- Weitere Informationen zum Überwachen von Azure-Ressourcen im Allgemeinen finden Sie unter Überwachen von Azure-Ressourcen mit Azure Monitor.
Überwachungsmethoden
Azure Data Factory kann auf verschiedene Arten überwacht werden.
Azure Data Factory Studio
Sie können Ihre gesamten Data Factory-Pipelineausführungen nativ in Azure Data Factory Studio überwachen. Um die Überwachungsumgebung zu öffnen, wählen Sie Studio starten auf Ihrer Data Factory-Seite im Azure-Portal aus. Wählen Sie dann in Azure Data Factory Studio im linken Menü Überwachen aus.
Weitere Informationen zur Überwachung von Azure Data Factory Studio finden Sie in den folgenden Artikeln:
- Visuelles Überwachen von Azure Data Factory
- Datenflussüberwachung
- Überwachen der Copy-Aktivität
- Sitzungsprotokoll in einer Copy-Aktivität
Azure-Portal
Sie können Azure Data Factory auch direkt über das Azure-Portal überwachen. Im Azure-Portal werden auf der Seite Übersicht mehrere Metrikdiagramme für Ihre Data Factory angezeigt. Im linken Seitenleistenmenü können Sie auf das Azure-Aktivitätsprotokollzugreifen oder Warnungen, Metriken, Diagnoseeinstellungenoder Protokolle im Abschnitt Überwachung auswählen.
Programmgesteuerte Überwachung
Sie können Data Factory-Pipelines programmgesteuert mithilfe von .NET, PowerShell, Python oder der REST-API überwachen. Weitere Informationen finden Sie in den folgenden Artikeln:
- Programmgesteuertes Überwachen der Azure Data Factory
- Einrichten von Diagnoseprotokollen über die Azure Monitor-REST-API
Ressourcentypen
Azure verwendet das Konzept von Ressourcentypen und IDs, um alles in einem Abonnement zu identifizieren. Ressourcentypen sind auch Teil der Ressourcen-IDs für jede Ressource, die in Azure ausgeführt wird. Beispiel: Ein Ressourcentyp für eine VM ist Microsoft.Compute/virtualMachines
. Eine Liste der Dienste und ihrer zugehörigen Ressourcentypen finden Sie unter Ressourcenanbieter.
Ähnliche organisiert Azure Monitor die Kernüberwachungsdaten in Metriken und Protokollen basierend auf Ressourcentypen, die auch als Namespaces bezeichnet werden. Für unterschiedliche Ressourcentypen stehen unterschiedliche Metriken und Protokolle zur Verfügung. Ihr Dienst ist möglicherweise mehr als einem Ressourcentyp zugeordnet.
Weitere Informationen zu den Ressourcentypen für Azure Data Factory finden Sie unter Data Factory-Überwachungsdatenreferenz.
Datenspeicher
For Azure Monitor:
- Metrikdaten werden in der Azure Monitor-Metrikendatenbank gespeichert.
- Protokolldaten werden im Azure Monitor-Protokollspeicher gespeichert. Log Analytics ist ein Tool im Azure-Portal zum Abfragen dieses Speichers.
- Das Azure-Aktivitätsprotokoll ist ein separater Speicher mit eigener Schnittstelle im Azure-Portal.
Optional können Sie Metrik- und Aktivitätsprotokolldaten an den Azure Monitor-Protokollspeicher weiterleiten. Anschließend können Sie Log Analytics verwenden, um die Daten abzufragen und mit anderen Protokolldaten zu korrelieren.
Viele Dienste können Diagnoseeinstellungen verwenden, um Metrik- und Protokolldaten an andere Speicherorte außerhalb von Azure Monitor zu senden. Beispiele umfassen Azure Storage, gehostete Partnersysteme und Nicht-Azure-Partnersysteme, die Event Hubs verwenden.
Detaillierte Informationen dazu, wie Azure Monitor Daten speichert, finden Sie unter Azure Monitor-Datenplattform.
Speichern von Data Factory-Pipelineausführungsdaten
Data Factory speichert Pipelineausführungsdaten nur 45 Tage lang. Verwenden Sie Azure Monitor, um Diagnoseprotokolle weiterzuleiten, wenn Sie die Daten länger aufbewahren möchten.
Leiten Sie Daten an Log Analytics weiter, wenn Sie sie mithilfe komplexer Abfragen analysieren, benutzerdefinierte Warnungen erstellen oder über Data Factorys hinweg überwachen möchten. Sie können Daten aus mehreren Data Factorys an einen einzigen Log Analytics-Arbeitsbereich weiterleiten.
Sie können ein Speicherkonto oder einen Event Hub-Namespace verwenden, der sich nicht im Abonnement der Ressource befindet, die Protokolle ausgibt. Der Benutzer, der die Einstellung konfiguriert, benötigt entsprechenden Zugriff gemäß der rollenbasierten Zugriffssteuerung in Azure (Azure RBAC) auf beide Abonnements.
Azure Monitor-Plattformmetriken
Azure Monitor stellt Plattformmetriken für die meisten Dienste bereit. Diese Metriken sind:
- Einzeln für jeden Namespace definiert.
- In der Azure Monitor-Datenbank für Zeitreihenmetriken gespeichert.
- Einfach strukturiert und in der Lage, Warnmeldungen in Quasi-Echtzeit zu unterstützen.
- Verwendet zum Nachverfolgen der Leistung einer Ressource im Zeitverlauf.
Erfassung: Azure Monitor sammelt Plattformmetriken automatisch. Es ist keine Konfiguration erforderlich.
Routing: Sie können einige Plattformmetriken auch an Azure Monitor-Protokolle/Log Analytics weiterleiten, damit Sie diese mit anderen Protokolldaten abfragen können. Überprüfen Sie anhand der Einstellung DS-Export für die einzelnen Metriken, ob Sie eine Diagnoseeinstellung zum Weiterleiten der jeweiligen Metrik an Azure Monitor-Protokolle/Log Analytics verwenden können.
- Weitere Informationen finden Sie in der Diagnoseeinstellung „Metriken“.
- Informationen zum Konfigurieren von Diagnoseeinstellungen für einen Dienst finden Sie unter Erstellen von Diagnoseeinstellungen in Azure Monitor.
Eine Liste aller Metriken, die für alle Ressourcen in Azure Monitor gesammelt werden können, finden Sie unter Unterstützte Metriken in Azure Monitor.
Eine Liste der verfügbaren Metriken für Data Factory finden Sie unter Data Factory-Überwachungsdatenreferenz.
Azure Monitor-Ressourcenprotokolle
Ressourcenprotokolle bieten Einblicke in Vorgänge, die von einer Azure-Ressourcen ausgeführt wurden. Protokolle werden automatisch generiert, aber Sie müssen sie an Azure Monitor-Protokolle weiterleiten, um sie zu speichern oder abzufragen. Protokolle sind in Kategorien organisiert. Ein bestimmter Namespace verfügt möglicherweise über mehrere Ressourcenprotokollkategorien.
Sammlung: Ressourcenprotokolle werden erst gesammelt und gespeichert, nachdem Sie eine Diagnoseeinstellung erstellt und die Protokolle an mindestens einen Speicherort weitergeleitet haben. Wenn Sie eine Diagnoseeinstellung erstellen, legen Sie fest, welche Kategorien von Protokollen gesammelt werden sollen. Es gibt mehrere Möglichkeiten zum Erstellen und Verwalten von Diagnoseeinstellungen, u. a. das Azure-Portal, programmgesteuert und über Azure Policy.
Routing: Der vorgeschlagene Standard besteht darin, Ressourcenprotokolle an Azure Monitor-Protokolle weiterzuleiten, damit Sie diese mit anderen Protokolldaten abfragen können. Andere Speicherorte wie z. B. Azure Storage, Azure Event Hubs und bestimmte Microsoft-Überwachungspartner sind ebenfalls verfügbar. Weitere Informationen finden Sie unter Azure-Ressourcenprotokolle und Ressourcenprotokollziele.
Ausführliche Informationen zum Sammeln, Speichern und Weiterleiten von Ressourcenprotokollen finden Sie unter Diagnoseeinstellungen in Azure Monitor.
Eine Liste aller verfügbaren Ressourcenprotokollkategorien in Azure Monitor finden Sie unter Unterstützte Ressourcenprotokolle in Azure Monitor.
Alle Ressourcenprotokolle in Azure Monitor enthalten dieselben Headerfelder, gefolgt von dienstspezifischen Feldern. Das allgemeine Schema wird in Azure Monitor-Ressourcenprotokollschema beschrieben.
Die verfügbaren Data Factory-Ressourcenprotokollkategorien, die zugehörigen Log Analytics-Tabellen und die Protokollschemas finden Sie unter Data Factory-Überwachungsdatenreferenz.
Um Diagnoseeinstellungen und einen Log Analytics-Arbeitsbereich zum Überwachen von Azure Data Factory zu konfigurieren, lesen Sie Konfigurieren von Diagnoseeinstellungen und Arbeitsbereich.
Azure-Aktivitätsprotokoll
Das Aktivitätsprotokoll enthält Ereignisse auf Abonnementebene, die Vorgänge für jede Azure-Ressource nachverfolgen, so wie sie von außerhalb dieser Ressource gesehen werden, z. B. das Erstellen einer neuen Ressource oder das Starten einer VM.
Sammlung: Aktivitätsprotokollereignisse werden automatisch generiert und in einem separaten Speicher für die Anzeige im Azure-Portal gesammelt.
Routing: Sie können Aktivitätsprotokolldaten an Azure Monitor-Protokolle senden, damit Sie diese zusammen mit anderen Protokolldaten analysieren können. Andere Speicherorte wie z. B. Azure Storage, Azure Event Hubs und bestimmte Microsoft-Überwachungspartner sind ebenfalls verfügbar. Weitere Informationen zum Weiterleiten von Aktivitätsprotokollen finden Sie unter Übersicht über das Azure-Aktivitätsprotokoll.
Überwachen von Integration Runtimes
Bei der Integration Runtime handelt es sich um die Computeinfrastruktur, mit deren Hilfe Data Factory Datenintegrationsfunktionen übergreifend für verschiedene Netzwerkumgebungen bereitstellt. Data Factory bietet mehrere Arten von Integration Runtimes:
- Azure-Integrationslaufzeit
- Selbstgehostete Integrationslaufzeit
- Azure-SQL Server Integration Services (SSIS) Integration Runtime
- Apache Airflow Integration Runtime
Azure Monitor sammelt Metriken und Diagnoseprotokolle für alle Arten von Integration Runtimes. Ausführliche Anweisungen zur Überwachung von Integration Runtimes finden Sie in den folgenden Artikeln:
- Überwachen einer Integrationslaufzeit in Azure Data Factory
- Überwachen einer Integration Runtime in einem verwalteten virtuellen Netzwerk
- Überwachen einer selbstgehosteten Integration Runtime in Azure
- Konfigurieren einer selbstgehosteten Integration Runtime für die Log Analytics-Sammlung
- Überwachen von SSIS-Vorgängen mit Azure Monitor
- Diagnoseprotokolle und Metriken für Apache Airflow
Analysieren von Überwachungsdaten
Es gibt viele Tools zum Analysieren von Überwachungsdaten.
Azure Monitor-Tools
Azure Monitor unterstützt die folgenden grundlegenden Tools:
Metriken-Explorer, ein Tool im Azure-Portal, mit dem Sie Metriken für Azure-Ressourcen anzeigen und analysieren können. Weitere Informationen finden Sie unter Analysieren von Metriken mit dem Azure Monitor-Metrik-Explorer.
Log Analytics, ein Tool im Azure-Portal, mit dem Sie Protokolldaten mithilfe der KQL-Abfragesprache abfragen und analysieren können. Weitere Informationen finden Sie unter Erste Schritte mit Protokollabfragen in Azure Monitor.
Das Aktivitätsprotokoll, das über eine Benutzeroberfläche im Azure-Portal für die Anzeige und einfache Suchvorgänge verfügt. Um ausführlichere Analysen durchzuführen, müssen Sie die Daten an Azure Monitor-Protokolle weiterleiten und komplexere Abfragen in Log Analytics ausführen.
Zu den Tools, die eine komplexere Visualisierung ermöglichen, gehören:
- Dashboards, mit denen Sie verschiedene Typen von Daten in einen einzelnen Bereich im Azure-Portal kombinieren können.
- Arbeitsmappen, anpassbare Berichte, die Sie im Azure-Portal erstellen können. Arbeitsmappen können Text, Metriken und Protokollabfragen enthalten.
- Grafana, ein Tool auf einer offenen Plattform, das für operationale Dashboards ideal ist. Sie können Grafana verwenden, um Dashboards zu erstellen, die Daten aus mehreren anderen Quellen als Azure Monitor enthalten.
- Power BI ist ein Geschäftsanalysedienst, der interaktive Visualisierungen für verschiedene Datenquellen bereitstellt. Sie können Power BI für den automatischen Import von Protokolldaten aus Azure Monitor konfigurieren, um diese Visualisierungen zu nutzen.
Exporttools für Azure Monitor
Sie können Daten aus Azure Monitor in andere Tools abrufen, indem Sie die folgenden Methoden verwenden:
Metriken: Verwenden Sie die REST-API für Metriken, um Metrikdaten aus der Azure Monitor-Metrikendatenbank zu extrahieren. Die API unterstützt Filterausdrücke, um die abgerufenen Daten zu verfeinern. Weitere Informationen finden Sie in der Referenz zur Azure Monitor-REST-API.
Protokolle: Verwenden Sie die REST-API oder die zugeordneten Clientbibliotheken.
Eine weitere Option ist der Arbeitsbereichsdatenexport.
Informationen zu den ersten Schritten mit der REST-API für Azure Monitor finden Sie in der exemplarischen Vorgehensweise für die Azure-Überwachungs-REST-API.
Ausführliche Anweisungen zum Konfigurieren von Diagnoseprotokollen mithilfe der REST-API finden Sie unter Einrichten von Diagnoseprotokollen über die Azure Monitor-REST-API.
Kusto-Abfragen
Sie können Überwachungsdaten im Azure Monitor Logs / Log Analytics Store mithilfe der Kusto-Abfragesprache (KQL) analysieren.
Wichtig
Wenn Sie Protokolle im Menü des Diensts im Portal auswählen, wird Log Analytics geöffnet, wobei der Abfragebereich auf den aktuellen Dienst festgelegt ist. Dieser Bereich bedeutet, dass Protokollabfragen nur Daten aus diesem Ressourcentyp umfassen. Wenn Sie eine Abfrage durchführen möchten, die Daten aus anderen Azure-Diensten enthält, wählen Sie im Menü Azure Monitor die Option Protokolle aus. Ausführliche Informationen finden Sie unter Protokollabfragebereich und Zeitbereich in Azure Monitor Log Analytics.
Eine Liste häufiger Abfragen für alle Dienste finden Sie unter Log Analytics-Abfrageschnittstelle.
Für Beispielabfragen wählen Sie Protokolle unterÜberwachung im linken Navigationsbereich Ihrer Data Factory-Seite im Azure-Portal und dann die Registerkarte Abfragen aus. Hier sehen Sie einige Beispielabfragen:
Verfügbarkeit von PipelineRuns: Liefert die Verfügbarkeit der Pipelineausführungen.
ADFPipelineRun
| where Status != 'InProgress' and Status != 'Queued'
| where FailureType != 'UserError'
| summarize availability = 100.00 - (100.00*countif(Status != 'Succeeded') / count()) by bin(TimeGenerated, 1h)), _ResourceId
| order by TimeGenerated asc
| render timechart
Die Aktivität führt die fünf häufigsten Fehler aus: Gibt die fünf häufigsten Aktivitäten zurück, die mit Systemfehlern fehlschlagen.
ADFActivityRun
| where TimeGenerated >= ago(24h)
| where Status != 'InProgress' and Status != 'Queued'
| where FailureType != 'UserError'
| where ActivityName in (name)
| summarize failureCount = countif(Status != 'Succeeded') by bin(TimeGenerated, 1h), ActivityName
| top 5 by failureCount desc nulls last
| order by TimeGenerated asc
| render timechart
Aktueller Status der Pipelineausführungen: Gibt den aktuellen Status der Pipelineausführungen zurück.
ADFPipelineRun
| summarize argmax(TimeGenerated, * ) by RunId, Status, _ResourceId
Alerts
Azure Monitor-Warnungen informieren Sie proaktiv, wenn bestimmte Bedingungen in Ihren Überwachungsdaten auftreten. Warnungen ermöglichen Ihnen, Probleme in Ihrem System zu identifizieren und zu beheben, bevor Ihre Kunden sie bemerken. Weitere Informationen finden Sie unter Azure Monitor-Warnungen.
Es gibt viele Quellen allgemeiner Warnungen für Azure-Ressourcen. Beispiele für häufige Warnungen für Azure-Ressourcen finden Sie in den Beispielabfragen für Protokollwarnungen. Die Website Azure Monitor-Baselinewarnungen (Azure Monitor Baseline Alerts, AMBA) stellt eine halbautomatisierte Methode für die Implementierung wichtiger Metrikwarnungen der Plattform, Dashboards und Richtlinien bereit. Die Website gilt für eine fortlaufend erweiterte Teilmenge von Azure-Diensten, einschließlich aller Dienste, die Teil der Azure-Zielzone (Azure Landing Zone, ALZ) sind.
Mit dem allgemeinen Warnungsschema wird die Benutzeroberfläche für Warnungsbenachrichtigungen in Azure Monitor standardisiert. Weitere Informationen finden Sie unter Allgemeines Warnungsschema.
Warnungstypen
Sie können zu jeder Metrik oder Protokolldatenquelle der Azure Monitor-Datenplattform Warnungen erhalten. Es gibt viele verschiedene Typen von Warnungen, abhängig von den Diensten, die Sie überwachen, und den Überwachungsdaten, die Sie sammeln. Verschiedene Typen von Warnungen haben jeweils ihre Vor- und Nachteile. Weitere Informationen finden Sie unter Auswählen des richtigen Warnungsregeltyps.
In der folgenden Liste werden die Typen von Azure Monitor-Warnungen beschrieben, die Sie erstellen können:
- Metrikwarnungen bewerten Ressourcenmetriken in regelmäßigen Abständen. Metriken können Plattformmetriken, benutzerdefinierte Metriken, in Metriken konvertierte Protokolle aus Azure Monitor oder Application Insights-Metriken sein. Metrikwarnungen können auch mehrere Bedingungen und dynamische Schwellwerte anwenden.
- Protokollwarnungen ermöglichen es Benutzern, eine Log Analytics-Abfrage zum Auswerten von Ressourcenprotokollen in vordefinierten Frequenz zu verwenden.
- Aktivitätsprotokollwarnungen werden ausgelöst, wenn ein neues Aktivitätsprotokollereignis eintritt, das definierte Bedingungen erfüllt. Resource Health- und Service Health-Warnungen sind Aktivitätsprotokollwarnungen, die über die Dienst- und Ressourcenintegrität berichten.
Einige Azure-Dienste unterstützen auch intelligente Erkennungswarnungen, Prometheus-Warnungen oder empfohlene Warnungsregeln.
Einige Dienste können Sie im großen Stil überwachen, indem Sie dieselbe Metrikwarnungsregel auf mehrere Ressourcen desselben Typs anwenden, die sich in derselben Azure-Region befinden. Für jede überwachte Ressource werden einzelne Benachrichtigungen gesendet. Unterstützte Azure-Dienste und -Clouds finden Sie unter Überwachen mehrerer Ressourcen mit einer Warnungsregel.
Data Factory-Warnungsregeln
Um Warnungen zu erstellen und zu verwalten, wählen Sie Warnungen unter Überwachung im linken Navigationsbereich Ihrer Data Factory-Seite im Azure-Portal aus.
In der folgenden Tabelle sind einige gängige Warnungsregeln für Data Factory aufgeführt. Dies ist lediglich eine Liste mit Empfehlungen. Sie können Warnungen für alle Metriken, Protokolleinträge oder Aktivitätsprotokolleinträge festlegen, die in der Data Factory-Überwachungsdatenreferenz aufgeführt sind.
Warnungstyp | Bedingung | BESCHREIBUNG |
---|---|---|
Metrik | Metriken zu fehlerhaften Pipelineausführungen | Immer wenn die Gesamtanzahl der fehlgeschlagenen Pipelineausführungen größer als Null ist. |
Metrik | Gesamtzahl von Entitäten | Immer wenn die maximale Anzahl der Entitäten größer als 1.700.000 ist |
Metrik | Anzahl maximal zulässiger Entitäten | Immer wenn die maximale Gesamtgröße der Factory (in GB) größer als sechs ist. |
Benachrichtigungen bieten proaktive Warnungen während oder nach der Ausführung einer Pipeline.
- Senden einer E-Mail mit einer Azure Data Factory-Pipeline zeigt, wie E-Mail-Benachrichtigungen aus Pipelinewarnungen konfiguriert werden.
- Senden von Benachrichtigungen an einen Microsoft Teams-Kanal aus einer Azure Data Factory-Pipeline zeigt, wie Benachrichtigungen von Pipelinewarnungen in Microsoft Teams konfiguriert werden.
Advisor-Empfehlungen
Wenn in einigen Diensten während eines Ressourcenvorgangs kritische Bedingungen oder unmittelbar bevorstehende Änderungen auftreten, wird auf der Dienstseite Übersicht im Portal eine Warnung angezeigt. Weitere Informationen und empfohlene Korrekturen für die Warnung finden Sie in Advisor-Empfehlungen unter Überwachung im linken Menü. Während des normalen Betriebs werden keine Advisor-Empfehlungen angezeigt.
Weitere Informationen zu Azure Advisor finden Sie unter Azure Advisor – Übersicht.
Zugehöriger Inhalt
- Eine Referenz der Metriken, Protokolle und anderer wichtiger Werte, die für Data Factory erstellt wurden, finden Sie unter Data Factory-Überwachungsdatenreferenz.
- Allgemeine Informationen zur Überwachung von Azure-Ressourcen finden Sie unter Überwachen von Azure-Ressourcen mit Azure Monitor.