Überwachung und Beobachtung für Databricks-Aufträge

In diesem Artikel werden die Features beschrieben, die auf der Azure Databricks-Benutzeroberfläche verfügbar sind, um Aufträge, auf die Sie Zugriff haben, einen Ausführungsverlauf für einen Auftrag und Details zu Auftragsausführungen anzuzeigen. Informationen zum Konfigurieren von Benachrichtigungen für Aufträge finden Sie unter Hinzufügen von E-Mail- und Systembenachrichtigungen für Auftragsereignisse.

Um mehr über die Verwendung der Databricks CLI zum Anzeigen von Aufträgen und Ausführen von Aufträgen zu erfahren, führen Sie die CLI-Befehle databricks jobs list -h, databricks jobs get -h und databricks jobs run-now -h aus. Informationen zur Verwendung der Auftrags-API finden Sie unter Auftrags-API.

Wenn Sie Zugriff auf das system.lakeflow Schema haben, können Sie auch Datensätze von Auftragsausführungen und Aufgaben in Ihrem Konto anzeigen und abfragen. Weitere Informationen finden Sie unter Auftragssystemtabellenreferenz.

Anzeigen von Aufträgen

Um die Liste der Aufträge anzuzeigen, auf die Sie Zugriff haben, klicken Sie in der Randleiste auf Workflows. Auf der Registerkarte Aufträge in der Workflows-Benutzeroberfläche werden Informationen zu allen verfügbaren Aufträgen aufgelistet, z. B. der Ersteller des Auftrags, der Trigger für den Auftrag (falls vorhanden) und das Ergebnis der letzten Ausführung.

Um die in der Auftragsliste angezeigten Spalten zu ändern, klicken Sie auf , und wählen Sie die gewünschten Spalten aus, oder heben Sie die Auswahl auf.

Sie können die Aufträge in der Liste wie folgt filtern:

• Verwenden Sie Schlüsselwörter. Wenn Sie das Feature für den erhöhten Grenzwert der Aufträge für diesen Arbeitsbereich aktiviert haben, wird die Suche nach Schlüsselwörtern nur für die Felder „Name“, „Auftrags-ID“ und „Auftragstag“ unterstützt.
• Wählen Sie nur die Aufträge aus, deren Besitzer Sie sind.
• Wählen Sie alle Aufträge aus, für die Sie über Zugriffsberechtigungen verfügen.
• Verwenden Sie Tags. Um nach einem Tag zu suchen, das nur mit einem Schlüssel erstellt wurde, geben Sie den Schlüssel in das Suchfeld ein. Um nach einem Tag zu suchen, das mit einem Schlüssel und einem Wert erstellt wurde, können Sie nach dem Schlüssel und/oder dem Wert suchen. Beispielsweise können Sie für ein Tag mit dem Schlüssel department und dem Wert finance nach department oder finance suchen, um übereinstimmende Aufträgen zu ermitteln. Um nach dem Schlüssel und dem Wert zu suchen, geben Sie beide durch einen Doppelpunkt getrennt ein, z. B. department:finance.

Sie können auch auf eine beliebige Spaltenüberschrift klicken, um die Liste der Aufträge (entweder absteigend oder aufsteigend) nach dieser Spalte zu sortieren. Wenn das Feature für den erhöhten Grenzwert der Aufträge aktiviert ist, können Sie nur nach Name, Job IDoder Created by sortieren. Die Standardsortierung erfolgt nach Name in aufsteigender Reihenfolge.

Klicken Sie auf , um auf Aktionen für den Auftrag zuzugreifen, z. B. um den Auftrag zu löschen.

Anzeigen der Ausführungen eines Auftrags

Sie können eine Liste der aktuell ausgeführten und kürzlich abgeschlossenen Ausführungen für alle Aufträge anzeigen, auf die Sie Zugriff haben. Dies umfasst auch Ausführungen, die von externen Orchestrierungstools wie Apache Airflow oder Azure Data Factory gestartet wurden. So zeigen Sie die Liste der letzten Auftragsausführungen an

1. Klicken Sie in der Randleiste auf Workflows.
2. Klicken Sie in der Spalte Name auf einen Auftragsnamen. Die Registerkarte Ausführungen wird mit Matrix- und Listenansichten aktiver und abgeschlossener Ausführungen angezeigt.

Die Matrixansicht zeigt einen Verlauf der Ausführungen für den Auftrag an, einschließlich aller Auftragsaufgaben.

Die Zeile Ausführungsdauer gesamt in der Matrix enthält die Gesamtdauer und den Status der Ausführung. Um Details der Ausführung anzuzeigen (u. a. Startzeit, Dauer und Status), zeigen Sie auf die Leiste in der Zeile Gesamtdauer der Ausführung.

Jede Zelle in der Zeile Aufgaben stellt eine Aufgabe mit ihrem zugehörigen Status dar. Um Details der einzelnen Aufgaben anzuzeigen (einschließlich Startzeit, Dauer, Cluster und Status), zeigen Sie auf die Zelle der Aufgabe.

Die Leisten für Auftragsausführungen und Aufgabenausführungen sind farbcodiert, um den Status der Ausführung anzugeben. Erfolgreiche Ausführungen sind grün, nicht erfolgreiche Ausführung sind rot, und übersprungene Ausführung sind rosa. Die Höhe der einzelnen Auftrags- und Aufgabenausführungsleisten zeigt die Ausführungsdauer visuell an.

Wenn Sie eine erwartete Abschlusszeit konfiguriert haben, wird in der Matrixansicht eine Warnung angezeigt, wenn die Dauer einer Ausführung die konfigurierte Zeit überschreitet.

Die Ausführungslistenansicht enthält standardmäßig Folgendes:

• Die Startzeit der Ausführung
• Den Ausführungsbezeichner
• Ob die Ausführung durch einen Auftragszeitplan oder eine API-Anforderung ausgelöst oder manuell gestartet wurde
• Die vergangene Zeit für einen aktuell ausgeführten Auftrag oder die Gesamtdauer für eine abgeschlossene Ausführung. Eine Warnung wird angezeigt, wenn die Dauer eine konfigurierte erwartete Abschlusszeit überschreitet.
• Links zu den Spark-Protokollen
• Der Status der Ausführung, entweder Queued, Pending, Running, Skipped, Succeeded, Failed, Terminating, Terminated, Internal Error, Timed Out, Canceled, Canceling oder Waiting for Retry.
• Klicken Sie auf , um auf kontextspezifische Aktionen für die Ausführung zuzugreifen, z. B. um eine aktive Ausführung anzuhalten oder eine abgeschlossene Ausführung zu löschen.

Um die in der Ausführungslistenansicht angezeigten Spalten zu ändern, klicken Sie auf , und wählen Sie die gewünschten Spalten aus, oder heben Sie die Auswahl auf.

Klicken Sie zum Anzeigen von Details zur Ausführung in der Listenansicht der Ausführungen in der Spalte Startzeit auf den Link für die Ausführung. Wenn Sie Details für die neueste erfolgreiche Ausführung dieses Auftrags anzeigen möchten, klicken Sie auf Zur letzten erfolgreichen Ausführung wechseln.

Azure Databricks speichert für bis zu 60 Tage einen Verlauf Ihrer Auftragsausführungen. Wenn Sie Auftragsausführungen aufbewahren müssen, empfiehlt Databricks, die Ergebnisse zu exportieren, bevor sie ablaufen. Weitere Informationen finden Sie unter Exportieren von Auftragsausführungsergebnissen.

Anzeigen von Details zur Auftragsausführung

Die Seite mit den Details zur Auftragsausführung enthält die Auftragsausgabe und Links zu Protokollen, die auch Informationen zur erfolgreichen oder nicht erfolgreichen jeder Aufgabe in der Auftragsausführung liefern. Sie können über die Registerkarte Ausführungen des Auftrags auf die Details der Auftragsausführung zugreifen. Klicken Sie zum Anzeigen von Details zur Auftragsausführung auf der Registerkarte Ausführungen in der Listenansicht der Ausführungen in der Spalte Startzeit auf den Link für die Ausführung. Klicken Sie auf den Wert Auftrags-ID, um zur Registerkarte Ausführungen für den Auftrag zurückzukehren.

Wenn der Auftrag mehrere Aufgaben enthält, klicken Sie auf eine Aufgabe, um die Ausführungsdetails für die Aufgabe anzuzeigen. Dazu gehören:

• Cluster, der die Aufgabe ausgeführt hat
  • Spark-Benutzeroberfläche für die Aufgabe
  • Protokolle für die Aufgabe
  • Metriken für die Aufgabe

Klicken Sie auf den Wert Auftrags-ID, um zur Registerkarte Ausführungen für den Auftrag zurückzukehren.

Wie bestimmt Azure Databricks den Status der Auftragsausführung?

Azure Databricks bestimmt basierend auf dem Ergebnis der Blattaufgaben des Auftrags, ob eine Auftragsausführung erfolgreich war. Eine Blattaufgabe ist eine Aufgabe, die keine Downstreamabhängigkeiten aufweist. Eine Auftragsausführung kann eines von drei Ergebnissen haben:

• Erfolgreich: Alle Aufgaben waren erfolgreich.
• Erfolgreich mit Fehlern: Einige Aufgaben sind fehlgeschlagen, aber alle Blattaufgaben waren erfolgreich.
• Fehler: Ein oder mehrere Blattaufgaben sind fehlgeschlagen.

Anzeigen des Ausführungsverlaufs von Aufgaben

So zeigen Sie den Ausführungsverlauf einer Aufgabe einschließlich erfolgreicher und nicht erfolgreicher Ausführungen an

1. Klicken Sie auf der Seite mit den Details zur Auftragsausführung auf eine Aufgabe. Die Seite mit den Details zur Aufgabenausführung wird angezeigt.
2. Wählen Sie die Aufgabenausführung in der Dropdownliste „Ausführungsverlauf“-Menü aus.

Anzeigen des Aufgabenausführungsverlaufs für eine For each-Aufgabe

Der Zugriff auf den Ausführungsverlauf einer For each-Aufgabe ist identisch mit einer standardmäßigen Azure Databricks-Jobs-Aufgabe. Sie können auf der Seite Job-Ausführungsdetails oder auf der entsprechenden Zelle in der Matrixansicht auf den For each-Aufgabenknoten klicken. Im Gegensatz zu einer Standardaufgabe werden die Ausführungsdetails für eine For each-Aufgabe jedoch als Tabelle der Iterationen der geschachtelten Aufgabe dargestellt.

Klicken Sie auf Nur fehlgeschlagene Iterationen, um nur fehlgeschlagene Iterationen anzuzeigen.

Wenn Sie die Ausgabe einer Iteration anzeigen möchten, klicken Sie auf die Werte für die Startzeit oder die Endzeit der Iteration.

Anzeigen der letzten Auftragsausführungen

Sie können eine Liste der aktuell ausgeführten und kürzlich abgeschlossenen Ausführungen für alle Aufträge in einem Arbeitsbereich anzeigen, auf die Sie Zugriff haben. Dies umfasst auch Ausführungen, die von externen Orchestrierungstools wie Apache Airflow oder Azure Data Factory gestartet wurden. So zeigen Sie die Liste der letzten Auftragsausführungen an

1. Klicken Sie in der Randleiste auf Workflows.
2. Klicken Sie auf die Registerkarte Auftragsausführungen, um die Liste der Auftragsausführungen anzuzeigen.

Das Diagramm Anzahl der abgeschlossenen Ausführungen zeigt die Anzahl der Auftragsausführungen an, die in den letzten 48 Stunden abgeschlossen wurden. Standardmäßig zeigt das Diagramm die fehlgeschlagenen, übersprungenen und erfolgreichen Auftragsausführungen an. Sie können das Diagramm auch filtern, um bestimmte Ausführungsstatus anzuzeigen oder das Diagramm auf einen bestimmten Zeitbereich einzugrenzen. Die Registerkarte Auftragsausführungen enthält auch eine Tabelle mit Auftragsausführungen aus den letzten 67 Tagen. Standardmäßig enthält die Tabelle Details zu fehlgeschlagenen, übersprungenen und erfolgreichen Auftragsausführungen.

Hinweis

Das Diagramm Anzahl der abgeschlossenen Ausführungen wird nur angezeigt, wenn Sie auf In meinem Besitz klicken.

Sie können die Anzahl der abgeschlossenen Ausführungen nach Ausführungsstatus filtern:

• Klicken Sie auf Aktive Ausführungen, um das Diagramm zu aktualisieren, damit Aufträge angezeigt werden, die aktuell ausgeführt werden oder auf die Ausführung warten.
• Klicken Sie auf Abgeschlossene Ausführungen, um das Diagramm zu aktualisieren, damit nur abgeschlossene Ausführungen angezeigt werden, einschließlich fehlgeschlagener, erfolgreicher und übersprungener Ausführungen.
• Klicken Sie auf Erfolgreiche Ausführungen, um das Diagramm zu aktualisieren, damit nur Ausführungen angezeigt werden, die in den letzten 48 Stunden erfolgreich abgeschlossen wurden.
• Um das Diagramm so zu aktualisieren, sodass nur übersprungene Ausführungen angezeigt werden, klicken Sie auf Übersprungene Ausführungen. Ausführungen werden übersprungen, weil Sie die maximale Anzahl gleichzeitiger Ausführungen in Ihrem Arbeitsbereich überschritten haben oder der Auftrag die maximale Anzahl gleichzeitiger Ausführungen überschritten hat, die in der Auftragskonfiguration angegeben ist.
• Um das Diagramm so zu aktualisieren, sodass nur Ausführungen angezeigt werden, die im Fehlerstatus abgeschlossen wurden, klicken Sie auf Fehlerhafte Ausführungen.

Wenn Sie auf eine der Filterschaltflächen klicken, wird auch die Liste der Ausführungen in der Ausführungstabelle aktualisiert, sodass nur Auftragsausführungen angezeigt werden, die dem ausgewählten Status entsprechen.

Um den im Diagramm Anzahl der abgeschlossenen Ausführungen angezeigten Zeitbereich zu begrenzen, klicken und ziehen Sie den Cursor in das Diagramm, um den Zeitbereich auszuwählen. Das Diagramm und die Ausführungstabelle werden aktualisiert, um nur Ausführungen aus dem ausgewählten Zeitbereich anzuzeigen.

Standardmäßig wird in der Liste der Ausführungen in der Ausführungstabelle Folgendes angezeigt:

• Die Startzeit der Ausführung
• Der Name des Auftrags, der der Ausführung zugeordnet ist
• Der Benutzername, unter dem der Auftrag ausgeführt wurde
• Ob die Ausführung durch einen Auftragszeitplan oder eine API-Anforderung ausgelöst oder manuell gestartet wurde
• Die vergangene Zeit für einen aktuell ausgeführten Auftrag oder die Gesamtdauer für eine abgeschlossene Ausführung. Eine Warnung wird angezeigt, wenn die Dauer eine konfigurierte erwartete Abschlusszeit überschreitet.
• Der Status der Ausführung, entweder Queued, Pending, Running, Skipped, Succeeded, Failed, Terminating, Terminated, Internal Error, Timed Out, Canceled, Canceling oder Waiting for Retry.
• Alle Parameter für die Ausführung.
• Klicken Sie auf , um auf kontextspezifische Aktionen für die Ausführung zuzugreifen, z. B. um eine aktive Ausführung anzuhalten oder eine abgeschlossene Ausführung zu löschen.

Um die in der Ausführungsliste angezeigten Spalten zu ändern, klicken Sie auf , und wählen Sie die gewünschten Spalten aus, oder heben Sie die Auswahl auf.

In der Tabelle Wichtigste 5 Fehlertypen wird eine Liste der häufigsten Fehlertypen im ausgewählten Zeitraum angezeigt, sodass Sie schnell die häufigsten Ursachen für Auftragsprobleme in Ihrem Arbeitsbereich erkennen können.

Klicken Sie zum Anzeigen von Details zur Auftragsausführung auf den Link in der Spalte Startzeit für die Ausführung. Klicken Sie zum Anzeigen von Auftragsdetails in der Spalte Auftrag auf den Auftragsnamen.

Anzeigen von Herkunftsinformationen für einen Auftrag

Wenn Unity Catalog in Ihrem Arbeitsbereich aktiviert ist, können Sie Herkunftsinformationen für alle Unity Catalog-Tabellen in Ihrem Workflow anzeigen. Wenn Herkunftsinformationen für Ihren Workflow verfügbar sind, wird im Bereich Auftragsdetails für den Auftrag, im Bereich Auftragsausführungsdetails für eine Auftragsausführung oder im Bereich Aufgabenausführungsdetails für eine Auftragsausführung ein Link mit der Anzahl der Upstream- und Downstreamtabellen angezeigt. Klicken Sie auf den Link, um die Liste der Tabellen anzuzeigen. Klicken Sie auf eine Tabelle, um ausführliche Informationen im Katalog-Explorer anzuzeigen.

Anzeigen und Ausführen eines mit Databricks-Ressourcenbundle erstellten Auftrags

Sie können die Benutzeroberfläche für Azure Databricks-Aufträge verwenden, um Aufträge anzuzeigen und auszuführen, die mit einem Databricks-Ressourcenbundle bereitgestellt wurden. Standardmäßig sind diese Aufträge auf der Auftragsbenutzeroberfläche schreibgeschützt. Wenn Sie einen Auftrag bearbeiten möchten, der mit einem Bundle bereitgestellt wurde, ändern Sie die Konfigurationsdatei des Bundles und stellen den Auftrag erneut bereit. Durch Anwenden von Änderungen ausschließlich auf die Bundlekonfiguration wird sichergestellt, dass die Quelldateien des Bundles immer die aktuelle Auftragskonfiguration widerspiegeln.

Wenn Sie jedoch sofortige Änderungen an einem Auftrag vornehmen müssen, können Sie den Auftrag von der Bundlekonfiguration trennen, um die Bearbeitung der Auftragseinstellungen auf der Benutzeroberfläche zu ermöglichen. Um den Auftrag zu trennen, wählen Sie Von Quelle trennen aus. Wählen Sie im Dialogfeld Von Quelle trennen die Option Trennen aus, um die Auswahl zu bestätigen.

Änderungen, die Sie auf der Benutzeroberfläche an dem Auftrag vornehmen, werden nicht auf die Bundlekonfiguration angewandt. Um Änderungen, die Sie auf der Benutzeroberfläche am Bundle vorgenommen haben, auf das Bundle anzuwenden, müssen Sie die Bundlekonfiguration manuell aktualisieren. Um den Auftrag erneut mit der Bundlekonfiguration zu verbinden, stellen Sie ihn mithilfe des Bundles erneut bereit.

Exportieren von Auftragsausführungsergebnissen

Sie können Notebook-Ausführungsergebnisse und Auftragsausführungsprotokolle für alle Auftragstypen exportieren.

Exportieren von Notebook-Ausführungsergebnissen

Sie können Auftragsausführungen dauerhaft speichern, indem Sie deren Ergebnisse exportieren. Bei Notebook-Auftragsausführungen können Sie ein gerendertes Notebook exportieren, das später in Ihren Azure Databricks-Arbeitsbereich importiert werden kann.

So exportieren Sie Notebook-Ausführungsergebnisse für einen Auftrag mit einer einzelnen Aufgabe

1. Klicken Sie auf der Seite mit den Auftragsdetails in der Tabelle Abgeschlossene Ausführungen (letzte 60 Tage) in der Spalte Ausführung auf den Link Details anzeigen für die Ausführung.
2. Klicken Sie auf Als HTML exportieren.

So exportieren Sie Notebook-Ausführungsergebnisse für einen Auftrag mit mehreren Aufgaben

1. Klicken Sie auf der Seite mit den Auftragsdetails in der Tabelle Abgeschlossene Ausführungen (letzte 60 Tage) in der Spalte Ausführung auf den Link Details anzeigen für die Ausführung.
2. Klicken Sie auf die Notebookaufgabe, die Sie exportieren möchten.
3. Klicken Sie auf Als HTML exportieren.

Exportieren von Auftragsausführungsprotokollen

Sie können auch die Protokolle für Ihre Auftragsausführung exportieren. Sie können Ihren Auftrag so einrichten, dass er über die Auftrags-API automatisch Protokolle an DBFS übermittelt. Sehen Sie sich das new_cluster.cluster_log_conf-Objekt im Anforderungstext an, das an den Vorgang zum Erstellen eines neuen Auftrags (POST /jobs/create) in der Auftrags-API übergeben wird.