Visuelles Überwachen von Azure Data Factory
GILT FÜR: Azure Data Factory Azure Synapse Analytics
Tipp
Testen Sie Data Factory in Microsoft Fabric, eine All-in-One-Analyselösung für Unternehmen. Microsoft Fabric deckt alle Aufgaben ab, von der Datenverschiebung bis hin zu Data Science, Echtzeitanalysen, Business Intelligence und Berichterstellung. Erfahren Sie, wie Sie kostenlos eine neue Testversion starten!
Nachdem Sie eine Pipeline in Azure Data Factory erstellt und veröffentlicht haben, können Sie ihr einen Trigger zuordnen oder manuell eine Ad-hoc-Ausführung starten. Sie können Ihre gesamten Pipelineausführungen nativ über die Azure Data Factory-Benutzeroberfläche überwachen. Um die Benutzeroberfläche für die Überwachung zu öffnen, wählen Sie die Kachel Überwachen und verwalten im Blatt „Data Factory“ des Azure-Portals aus. Wenn Sie sich bereits auf der Benutzeroberfläche von ADF befinden, klicken Sie auf der linken Seitenleiste auf das Symbol Überwachen.
Alle Data Factory-Ausführungen werden standardmäßig in der lokalen Zeitzone des Browsers angezeigt. Wenn Sie die Zeitzone ändern, werden alle Datums- und Zeitfelder auf die ausgewählte Zeitzone ausgerichtet.
Überwachen der Pipelineausführungen
Die standardmäßige Überwachungsansicht ist eine Liste der ausgelösten Pipelineausführungen im ausgewählten Zeitraum. Sie können den Zeitbereich ändern und nach Status, Pipelinename oder Anmerkung filtern. Zeigen Sie auf die jeweilige Pipelineausführung, um ausführungsspezifische Aktionen wie das erneute Ausführen und den Verbrauchsbericht anzuzeigen.
Das Raster der Pipelineausführungen enthält die folgenden Spalten:
Spaltenname | Beschreibung |
---|---|
Pipeline Name | Name der Pipeline |
Run Start | Startdatum und -uhrzeit der Pipelineausführung (MM/TT/JJJJ, HH:MM:SS AM/PM) |
Ausführungsende | Enddatum und -uhrzeit der Pipelineausführung (MM/TT/JJJJ, HH:MM:SS AM/PM) |
Duration | Dauer der Ausführung (hh:mm:ss) |
Triggered By | Name des Triggers, der die Pipeline gestartet hat |
Status | Fehlerhaft, Erfolgreich, In Bearbeitung, Abgebrochen oder In Warteschlange |
Anmerkungen | Einer Pipeline zugeordnete filterbare Tags |
Parameter | Parameter für die Pipelineausführung (Name-Wert-Paare) |
Fehler | Bei einem Fehler der Pipeline ist dies der Ausführungsfehler |
Ausführen | Original, Erneut ausführen oder Erneut ausführen (neueste Version) |
Run ID | ID der Pipelineausführung |
Sie müssen die Schaltfläche Aktualisieren manuell auswählen, um die Liste der Pipeline- und Aktivitätsausführungen zu aktualisieren. Eine automatische Aktualisierung wird derzeit nicht unterstützt.
Um die Ergebnisse einer Debugausführung anzuzeigen, wählen Sie die RegisterkarteDebuggen aus.
Überwachung der Aktivitätsausführungen
Um eine ausführliche Ansicht der einzelnen Aktivitätsausführungen einer bestimmten Pipelineausführung anzuzeigen, klicken Sie auf den Namen der Pipeline.
In der Listenansicht werden die Aktivitätsausführungen angezeigt, die den einzelnen Pipelineausführungen entsprechen. Zeigen Sie auf die jeweilige Aktivitätsausführung, um ausführungsspezifische Informationen wie die JSON-Eingabe, die JSON-Ausgabe und detaillierte aktivitätsspezifische Überwachungsfunktionen anzuzeigen.
Spaltenname | Beschreibung |
---|---|
Activity Name | Name der Aktivität innerhalb der Pipeline |
Activity Type | Der Typ der Aktivität, z. B. Copy, ExecuteDataFlow oder AzureMLExecutePipeline |
Aktionen | Symbole, die es Ihnen ermöglichen, JSON-Eingabeinformationen, JSON-Ausgabeinformationen oder detaillierte aktivitätsspezifische Benutzeroberflächen für die Überwachung anzuzeigen. |
Run Start | Startdatum und -uhrzeit der Aktivitätsausführung (MM/TT/JJJJ, HH:MM:SS AM/PM) |
Duration | Dauer der Ausführung (hh:mm:ss) |
Status | Fehlerhaft, Erfolgreich, In Bearbeitung oder Abgebrochen |
Integration Runtime | Für welche Integration Runtime die Aktivität ausgeführt wurde |
Benutzereigenschaften | Benutzerdefinierte Eigenschaften der Aktivität |
Fehler | Bei einer fehlerhaften Aktivität ist dies der Ausführungsfehler |
Run ID | ID der Aktivitätsausführung |
Wenn eine Aktivität fehlerhaft war, können Sie auf das Symbol in der Fehlerspalte klicken, um die ausführliche Fehlermeldung anzuzeigen.
Heraufstufen von Benutzereigenschaften für die Überwachung
Stufen Sie jede Pipelineaktivitätseigenschaft als Benutzereigenschaft höher, sodass sie zu einer von Ihnen überwachten Entität wird. Sie können z. B. die Eigenschaften Quelle und Ziel der Kopieraktivität in der Pipeline als Benutzereigenschaften höher stufen.
Hinweis
Sie können nur bis zu fünf Pipelineaktivitätseigenschaften als Benutzereigenschaften höher stufen.
Nachdem Sie die Benutzereigenschaften erstellt haben, können Sie sie in den Überwachungslistenansichten überwachen.
Wenn ein Tabellenname als Quelle für die Kopieraktivität dient, können Sie den Namen der Quelltabelle als Spalte in der Listenansicht für Aktivitätsausführungen überwachen.
Erneutes Ausführen von Pipelines und Aktivitäten
Das Verhalten beim erneuten Ausführen der Containeraktivitäten lautet wie folgt:
Wait
: Die Aktivität verhält sich wie zuvor.Set Variable
: Die Aktivität verhält sich wie zuvor.Filter
: Die Aktivität verhält sich wie zuvor.- Die
Until
-Aktivität wertet den Ausdruck aus und durchläuft eine Schleife, bis die Bedingung erfüllt ist. Innere Aktivitäten können auf der Grundlage der Regeln für die erneute Ausführung trotzdem übersprungen werden. - Die
Foreach
-Aktivität durchläuft immer eine Schleife für die empfangenen Elemente. Innere Aktivitäten können auf der Grundlage der Regeln für die erneute Ausführung trotzdem übersprungen werden. If and switch
: Bedingungen werden immer ausgewertet. Alle internen Aktivitäten werden ausgewertet. Interne Aktivitäten können basierend auf den Wiederholungsregeln weiterhin übersprungen werden, aber Aktivitäten wie „Pipeline ausführen“ werden erneut ausgeführt.Execute pipeline activity
: Die untergeordnete Pipeline wird ausgelöst, aber alle Aktivitäten in der untergeordneten Pipeline können auf der Grundlage der Regeln für die erneute Ausführung trotzdem übersprungen werden.
Um eine Pipeline, die bereits ausgeführt wurde, von Anfang an erneut auszuführen, zeigen Sie auf die jeweilige Pipelineausführung, und wählen Sie Erneut ausführen aus. Wenn Sie mehrere Pipelines auswählen, können Sie über die Schaltfläche Erneut ausführen alle erneut ausführen.
Wenn Sie die erneute Ausführung an einem bestimmten Punkt starten möchten, können Sie dies über die Ansicht der Aktivitätsausführungen erledigen. Wählen Sie die Aktivität aus, ab der Sie beginnen möchten, und wählen Sie Aktivität erneut ausführen aus.
Sie können auch eine Pipeline erneut ausführen und die Parameter ändern. Wählen Sie die Schaltfläche Neue Parameter aus, um die Parameter zu ändern.
Hinweis
Das erneute Ausführen einer Pipeline mit neuen Parametern wird als neue Pipelineausführung betrachtet, sodass die Gruppen für eine Pipeline-Ausführung nicht angezeigt werden.
Ab fehlgeschlagener Aktivität erneut ausführen
Wenn eine Aktivität fehlschlägt, das Zeitlimit überschritten wird oder die Aktivität abgebrochen wird, können Sie die Pipeline ab der fehlgeschlagenen Aktivität erneut ausführen, indem Sie Ab fehlgeschlagener Aktivität erneut ausführen auswählen.
Anzeigen des Verlaufs für erneute Ausführungen
Der Verlauf für erneute Ausführungen kann für alle Pipelineausführungen in der Listenansicht angezeigt werden.
Sie können aber auch den Verlauf für erneute Ausführungen für eine bestimmte Pipelineausführung anzeigen.
Überwachen des Verbrauchs
Sie können die durch eine Pipelineausführung verbrauchten Ressourcen anzeigen, indem Sie neben der Ausführung auf das Symbol für Verbrauch klicken.
Wenn Sie auf das Symbol klicken, wird ein Verbrauchsbericht zu den durch diese Pipelineausführung genutzten Ressourcen geöffnet.
Sie können diese Werte mit dem Azure-Preisrechner verbinden, um die Kosten für die Pipelineausführung zu schätzen. Weitere Informationen zu Azure Data Factory-Preisen finden Sie unter Grundlegendes zu Preisen.
Hinweis
Diese vom Preisrechner zurückgegebenen Werte sind eine Schätzung. Sie geben nicht den genauen Betrag an, der Ihnen von Azure Data Factory in Rechnung gestellt wird.
Gantt-Ansichten
Ein Gantt-Diagramm ist eine Ansicht, über die Sie den Ausführungsverlauf über einen Zeitraum anzeigen können. Wenn Sie zu einer Gantt-Ansicht wechseln, werden alle Pipelineausführungen gruppiert nach dem Namen als Balken in Bezug auf die Ausführungsdauer dargestellt. Sie können auch nach Anmerkungen/Tags gruppieren, die Sie in Ihrer Pipeline erstellt haben. Die Gantt-Ansicht ist auch auf Ebene der Aktivitätsausführungen verfügbar.
Die Länge des Balkens informiert über die Dauer der Pipeline. Sie können auch den Balken auswählen, um weitere Details anzuzeigen.
Alerts
Sie können Warnungen auf der Grundlage unterstützter Metriken in Data Factory auslösen. Wählen Sie dazu auf der Überwachungsseite von Data Factory die Option Überwachen>Warnungen und Metriken aus.
Das folgende Video enthält eine siebenminütige Einführung und Demonstration dieses Features:
Erstellen von Warnungen
Wählen Sie Neue Warnungsregel aus, um eine neue Warnung zu erstellen.
Geben Sie den Namen der Warnungsregel an, und wählen Sie den Schweregrad der Warnung aus.
Wählen Sie die Warnungskriterien aus.
Sie können Warnungen für verschiedene Metriken erstellen, z. B. für Anzahl und Größe der ADF-Entität, Aktivitäts-, Pipeline- und Triggerausführung, CPU-Auslastung, Speicher, Knotenanzahl und Warteschlange von Integration Runtime (IR) sowie für SSIS-Paketausführungen und Vorgänge zum Starten und Beenden von SSIS IR.
Konfigurieren Sie die Warnungslogik. Sie können eine Warnung für die ausgewählte Metrik für alle Pipelines und entsprechenden Aktivitäten erstellen. Sie können außerdem einen bestimmten Aktivitätstyp, Aktivitätsnamen, Pipelinenamen oder Fehlertyp auswählen.
Konfigurieren Sie E-Mail-, SMS-, Push- und Sprachbenachrichtigungen für die Warnung. Erstellen Sie eine Aktionsgruppe für die Warnungsbenachrichtigungen, oder wählen Sie eine vorhandene Aktionsgruppe aus.
Erstellen Sie die Warnungsregel.
Zugehöriger Inhalt
Im Artikel Programmgesteuertes Überwachen und Verwalten von Pipelines erfahren Sie mehr über das Überwachen und Verwalten von Pipelines.