Verwenden Sie den Auftragsbrowser und die Auftragsansicht für Azure Data Lake Analytics.

Wichtig

Azure Data Lake Analytics wurde am 29. Februar 2024 eingestellt. Erfahren Sie mehr mit dieser Ankündigung.

Bei Datenanalysen kann Ihre Organisation Azure Synapse Analytics oder Microsoft Fabricverwenden.

Der Azure Data Lake Analytics-Dienst archivierte Aufträge in einem Abfragespeicher. In diesem Artikel erfahren Sie, wie Sie den Auftragsbrowser und die Auftragsansicht in Azure Data Lake Tools für Visual Studio verwenden, um die historischen Auftragsinformationen zu finden.

Standardmäßig archiviert der Data Lake Analytics-Dienst die Aufträge 30 Tage lang. Der Ablaufzeitraum kann über das Azure-Portal konfiguriert werden, indem die angepasste Ablaufrichtlinie konfiguriert wird. Sie können nach Ablauf nicht mehr auf die Auftragsinformationen zugreifen.

Voraussetzungen

Siehe Data Lake Tools für visual Studio-Voraussetzungen.

Öffnen des Auftragsbrowsers

Zugriff auf den Job-Browser über Server-Explorer>Azure>Data Lake Analytics>Jobs in Visual Studio. Mithilfe des Auftragsbrowsers können Sie auf den Abfragespeicher eines Data Lake Analytics-Kontos zugreifen. Der Auftragsbrowser zeigt links den Abfragespeicher mit grundlegenden Auftragsinformationen und rechts die Auftragsansicht mit detaillierten Auftragsinformationen an.

Auftragsansicht

Die Auftragsansicht zeigt die detaillierten Informationen eines Auftrags an. Um einen Auftrag zu öffnen, können Sie im Auftragsbrowser auf einen Auftrag doppelklicken oder im Menü "Data Lake" öffnen, indem Sie auf "Auftragsansicht" klicken. Es sollte ein Dialogfeld angezeigt werden, das mit der Auftrags-URL gefüllt ist.

Die Auftragsansicht enthält:

• Auftragszusammenfassung

  Aktualisieren Sie die Auftragsansicht, um die aktuelleren Informationen zum Ausführen von Aufträgen anzuzeigen.

  • Auftragsstatus (Diagramm):

    Der Auftragsstatus beschreibt die Auftragsphasen:

    

    • Vorbereiten: Laden Sie Ihr Skript in die Cloud hoch, kompilieren und optimieren Sie das Skript mithilfe des Kompilierungsdiensts.

    • In die Warteschlange gestellt: Aufträge werden in die Warteschlange gestellt, wenn sie auf genügend Ressourcen warten oder die Aufträge die maximal gleichzeitigen Aufträge pro Kontoeinschränkung überschreiten. Die Prioritätseinstellung bestimmt die Reihenfolge der in die Warteschlange eingereihten Aufträge – je niedriger die Zahl, desto höher die Priorität.

    • Ausführen: Der Auftrag wird tatsächlich in Ihrem Data Lake Analytics-Konto ausgeführt.

    • Abschluss: Der Auftrag wird abgeschlossen (z. B. Die Datei wird abgeschlossen).

      Der Auftrag kann in jeder Phase fehlschlagen. Kompilierungsfehler in der Vorbereitungsphase, Timeoutfehler in der Warteschlange-Phase und Ausführungsfehler in der Ausführungsphase usw.

  • Basisinformationen

    Die grundlegenden Auftragsinformationen werden im unteren Teil des Bereichs "Auftragszusammenfassung" angezeigt.

    

    • Auftragsergebnis: Erfolgreich oder fehlgeschlagen. Der Auftrag kann in jeder Phase fehlschlagen.
    • Gesamtdauer: Wanduhrzeit (Dauer) zwischen Übermittlungszeit und Endzeit.
    • Gesamtberechnungszeit: Die Summe der Ausführungszeiten aller Knoten können Sie als die Zeit betrachten, zu der der Auftrag nur in einem Knoten ausgeführt wird. Weitere Informationen zu Vertex finden Sie unter "Gesamtvertices".
    • Absenden/Start-/Endzeit: Der Zeitpunkt, zu dem der Data Lake Analytics-Dienst die Auftragsübermittlung erhält/beginnt, den Auftrag auszuführen/den Auftrag erfolgreich auszuführen oder nicht.
    • Kompilierung/Warteschlange/Ausführung: Die Echtzeit, die während der Vorbereitungs-, Warteschlangen- und Ausführungsphase aufgewendet wurde.
    • Konto: Das Data Lake Analytics-Konto, das für die Ausführung des Auftrags verwendet wird.
    • Autor: Der Benutzer, der den Auftrag übermittelt hat, kann es sich um das Konto einer echten Person oder um ein Systemkonto handeln.
    • Priorität: Die Priorität des Auftrags. Je niedriger die Zahl, desto höher die Priorität. Sie wirkt sich nur auf die Reihenfolge der Aufträge in der Warteschlange aus. Das Festlegen einer höheren Priorität unterbricht laufende Aufträge nicht.
    • Parallelität: Die angeforderte maximale Anzahl gleichzeitiger Azure Data Lake Analytics Units (ADLAUs), auch bekannt als Scheitelpunkte. Derzeit entspricht ein Knotenpunkt einem virtuellen Computer mit zwei virtuellen Kernen und sechs GB RAM, obwohl dies in zukünftigen Data Lake Analytics-Updates aktualisiert werden könnte.
    • Verbleibende Bytes: Bytes, die verarbeitet werden müssen, bis der Auftrag abgeschlossen ist.
    • Bytes gelesen/geschrieben: Bytes, die seit dem Ausführen des Auftrags gelesen/geschrieben wurden.
    • Gesamtanzahl der Knoten: Der Auftrag wird in viele Arbeitseinheiten unterteilt, jede Arbeitseinheit wird als Knoten bezeichnet. Dieser Wert beschreibt, aus wie vielen Arbeitsabschnitten der Auftrag besteht. Sie können einen Scheitelpunkt als einfache Prozesseinheit betrachten, auch als Azure Data Lake Analytics Unit (ADLAU) bezeichnet, und Scheitelpunkte können parallel ausgeführt werden.
    • Abgeschlossen/Ausgeführt/Fehlgeschlagen: Die Anzahl der abgeschlossenen/ausgeführten/fehlgeschlagenen Knoten. Verknüpfungen können aufgrund von Benutzercode- und Systemfehlern fehlschlagen, aber das System wiederholt fehlgeschlagene Verknüpfungen automatisch mehrmals. Wenn der Knoten nach dem Wiederholen immer noch fehlschlägt, schlägt der gesamte Auftrag fehl.

• Auftragsdiagramm

  Ein U-SQL-Skript stellt die Logik zum Transformieren von Eingabedaten in Ausgabedaten dar. Das Skript wird in der Vorbereitungsphase kompiliert und auf einen physischen Ausführungsplan optimiert. Der Job Graph zeigt den physischen Ausführungsplan. Das folgende Diagramm veranschaulicht diesen Prozess:

  

  Ein Auftrag ist in viele Arbeitsabschnitte unterteilt. Jeder Arbeitsabschnitt wird als Vertex bezeichnet. Die Knoten werden als Superknoten (auch als Phase bezeichnet) gruppiert und als Jobgraph visualisiert. Die grünen Stufenschilder im Job-Diagramm zeigen die Phasen an.

  Jeder Knoten in einem Abschnitt erledigt die gleiche Art von Arbeit mit verschiedenen Teilen derselben Daten. Wenn Sie beispielsweise eine Datei mit 1 TB Daten haben und Hunderte von Knoten daraus lesen, liest jeder von ihnen einen Block. Diese Scheitelpunkte werden in derselben Phase gruppiert und verrichten dieselbe Arbeit an verschiedenen Teilen derselben Eingabedatei.

  • Phaseninformationen

    In einer bestimmten Phase werden einige Zahlen in der Placard angezeigt.

    

    • SV1 Extract: Der Name einer Stufe, benannt durch eine Zahl und die Vorgangsmethode.

    • 84 Scheitelpunkte: Die Gesamtanzahl der Scheitelpunkte in dieser Phase. Die Abbildung gibt an, wie viele Arbeiten in dieser Phase aufgeteilt sind.

    • 12,90 s/Vertex: Die durchschnittliche Vertex-Ausführungszeit für diese Phase. Diese Zahl wird berechnet als Summe der Ausführungszeiten aller Vertexe geteilt durch die gesamte Anzahl von Vertexen. Das bedeutet, wenn Sie alle Scheitelpunkte, die parallel ausgeführt werden, zuweisen könnten, wird die gesamte Phase in 12,90 s abgeschlossen. Es bedeutet auch, dass alle Arbeiten in dieser Phase seriell durchgeführt werden, die Kosten wären #vertices * AVG-Zeit.

    • 850.895 Zeilen geschrieben: In dieser Phase geschriebene Gesamtzeilenanzahl.

    • R/W: Datenmenge, die in dieser Phase in Bytes gelesen/geschrieben wurde.

    • Farben: Farben werden in der Phase verwendet, um unterschiedliche Vertexstatus anzugeben.

      • Grün zeigt an, dass der Scheitelpunkt erfüllt ist.
      • Orange gibt an, dass der Scheitelpunkt nochmals versucht wird. Der erneut versuchte Vertex schlug fehl, wird jedoch vom System automatisch und erfolgreich wiederholt, und die gesamte Phase wird erfolgreich abgeschlossen. Wenn der Scheitelpunkt erneut versuchte und trotzdem fehlschlug, wird die Farbe rot und der gesamte Auftrag gilt als fehlgeschlagen.
      • Rot gibt einen Fehler an, was bedeutet, dass ein bestimmter Scheitelpunkt ein paar Mal vom System wiederholt wurde, aber dennoch fehlgeschlagen ist. Dieses Szenario bewirkt, dass der gesamte Auftrag fehlschlägt.
      • Blau bedeutet, dass ein bestimmter Scheitelpunkt ausgeführt wird.
      • Weiß gibt an, dass der Scheitelpunkt wartet. Das Vertex könnte darauf warten, geplant zu werden, sobald ein ADLAU verfügbar ist, oder es könnte auf die Eingabe warten, da seine Eingabedaten möglicherweise nicht bereit sind.

      Weitere Details für die Phase finden Sie, indem Sie den Mauszeiger nach einem Zustand bewegen:

      

  • Scheitelpunkte: Beschreibt die Details der Scheitelpunkte, z. B. wie viele Scheitelpunkte insgesamt vorhanden sind, wie viele abgeschlossen wurden, ob sie fehlgeschlagen sind oder noch ausgeführt werden bzw. warten, usw.

  • Datenlese cross/intra pod: Dateien und Daten werden in mehreren Pods im verteilten Dateisystem gespeichert. Der Wert hier beschreibt, wie viele Daten im selben Pod oder übergreifenden Pod gelesen wurde.

  • Gesamtberechnungszeit: Die Summe der Ausführungszeiten aller Vertexe in der Phase kann als die Zeit betrachtet werden, die es dauern würde, wenn alle Arbeiten der Phase in nur einem Vertex ausgeführt werden.

  • Daten und Zeilen, die geschrieben/gelesen wurden: Gibt an, wie viele Daten oder Zeilen gelesen/geschrieben wurden oder gelesen werden müssen.

  • Fehler beim Lesen von Scheitelpunkten: Beschreibt, wie viele Scheitelpunkte beim Lesen von Daten fehlgeschlagen sind.

  • Verwerfen von Vertexduplikaten: Wenn ein Knoten zu langsam ausgeführt wird, kann das System mehrere Knoten veranlassen, dieselbe Arbeit auszuführen. Redundante Scheitelpunkte werden verworfen, wenn einer der Scheitelpunkte erfolgreich abgeschlossen ist. Die Verwerfung von Vertex-Duplikaten verzeichnet die Anzahl der Scheitelpunkte, die in der Phase als Duplikate ausgeschlossen werden.

  • Vertex-Rücknahmen: Der Vertex wurde erfolgreich abgeschlossen, wird jedoch aus bestimmten Gründen später erneut ausgeführt. Zum Beispiel, wenn der nachgelagerte Knoten Zwischen-Eingabedaten verliert, wird der vorgelagerte Knoten aufgefordert, den Vorgang zu wiederholen.

  • Ausführung der Vertex-Zeitpläne: Die Gesamtzeit, in der die Scheitelpunkte eingeplant waren.

  • Min/Durchschnitt/Max Vertex-Daten gelesen: Das Minimum/Durchschnitt/Maximum der gelesenen Daten jedes Vertex.

  • Dauer: Die Dauer, die eine Phase in Anspruch nimmt; Sie müssen das Profil laden, um diesen Wert zu sehen.

  • Job-Wiedergabe

    Data Lake Analytics führt Aufgaben aus und archiviert die Informationen der Knoten zu diesen Aufgaben, z. B. wann die Knoten gestartet, gestoppt oder fehlgeschlagen sind und wie sie gegebenenfalls wiederholt werden. Alle Informationen werden automatisch im Abfragespeicher protokolliert und im Auftragsprofil gespeichert. Sie können das Auftragsprofil über "Profil laden" in der Auftragsansicht herunterladen, und Sie können die Auftragswiedergabe nach dem Herunterladen des Auftragsprofils anzeigen.

    Die Auftragswiedergabe ist eine anschauliche Darstellung dessen, was im Cluster geschehen ist. Es hilft Ihnen, den Fortschritt der Auftragsausführung zu beobachten und Leistungsanomalien und Engpässe in kürzester Zeit zu erkennen (in der Regel weniger als 30s).

  • Anzeige der Auftragswärmekarte

    Das Job Heat Map kann über das Dropdown-Menü "Anzeigen" in der Job-Grafik ausgewählt werden.

    

    Es zeigt die E/A-, Zeit- und Durchsatzwärmekarte eines Auftrags an, über die Sie feststellen können, wo der Auftrag die meiste Zeit verbringt, oder ob Es sich bei Ihrem Auftrag um einen E/A-Grenzauftrag handelt usw.

    

    • Fortschritt: Der Status der Auftragsausführung finden Sie unter Informationen in Phaseninformationen.
    • Lese-/Schreibzugriff: Die Wärmekarte der Gesamtdaten, die in jeder Phase gelesen/geschrieben wurden.
    • Berechnungszeit: Die Heatmap der SUMME (aller Knoten-Ausführungszeiten), können Sie dies betrachten, wie lange es dauern würde, wenn alle Arbeiten in der Phase mit nur einem Knoten ausgeführt werden.
    • Durchschnittliche Ausführungszeit pro Knoten: Die Wärmekarte von SUMME (jede Vertexausführungszeit) / (Vertexnummer). Das bedeutet, wenn Sie alle Scheitelpunkte zuweisen könnten, die im Parallelbetrieb ausgeführt werden, wird die gesamte Phase in diesem Zeitraum abgeschlossen sein.
    • Der Eingabe-/Ausgabedurchsatz: Anhand der Heatmap des Eingabe-/Ausgabedurchsatzes jeder Stufe können Sie feststellen, ob es sich bei Ihrem Auftrag um einen E/A-gebundenen Job handelt.

• Metadaten-Vorgänge

  Sie können einige Metadatenvorgänge in Ihrem U-SQL-Skript ausführen, z. B. eine Datenbank erstellen, eine Tabelle ablegen usw. Diese Vorgänge werden nach der Kompilierung im Metadatenvorgang angezeigt. Hier könnten Sie Behauptungen finden, Entitäten erstellen und Entitäten löschen.

  

• Staatsgeschichte

  Der Statusverlauf wird auch in der Auftragszusammenfassung dargestellt, aber hier finden Sie weitere Details. Sie finden die detaillierten Informationen, z. B. wann der Auftrag vorbereitet, in die Warteschlange eingereiht, gestartet und beendet wurde. Außerdem können Sie feststellen, wie oft der Auftrag kompiliert wurde (die CcsAttempts: 1), wann der Auftrag tatsächlich an den Cluster verteilt wird (Detail: Auftrag wird an den Cluster geleitet), usw.

  

• Diagnostik

  Das Tool diagnoset die Auftragsausführung automatisch. Sie erhalten Benachrichtigungen, wenn einige Fehler oder Leistungsprobleme in Ihren Aufträgen auftreten. Bitte beachten Sie, dass Sie Profile herunterladen müssen, um hier vollständige Informationen zu erhalten.

  

  • Warnungen: Hier wird eine Warnung mit Compilerwarnung angezeigt. Sie können den Link "x Problem(e)" auswählen, um weitere Details anzuzeigen, sobald die Warnung angezeigt wird.
  • Vertex läuft zu lange: Wenn ein Vertex die Zeit überschreitet (z. B., 5 Stunden), werden hier Probleme auftreten.
  • Ressourceneinsatz: Wenn Sie mehr oder nicht genug Parallelität zugewiesen haben, als nötig, finden Sie hier Probleme. Sie können auch die Ressourcennutzung auswählen, um weitere Details anzuzeigen und Was-wäre-wenn-Szenarien durchzuführen, um eine bessere Ressourcenzuordnung zu finden (weitere Details finden Sie in diesem Handbuch).
  • Speicherüberprüfung: Wenn ein Vertex mehr als 5 GB Arbeitsspeicher verwendet, finden Sie hier Probleme. Die Auftragsausführung kann vom System beendet werden, wenn mehr Arbeitsspeicher als die Systemgrenze verwendet wird.

Auftragsdetails

Auftragsdetails zeigt die detaillierten Informationen des Auftrags, einschließlich Skript, Ressourcen und Vertex-Ausführungsansicht.

• Skript

  Das U-SQL-Skript des Auftrags wird im Abfragespeicher gespeichert. Sie können das ursprüngliche U-SQL-Skript anzeigen und bei Bedarf erneut übermitteln.

• Ressourcen

  Sie können die Ausgaben der Jobkompilierung, die im Abfragespeicher gespeichert sind, über Ressourcen finden. Beispielsweise finden Sie "algebra.xml", das zum Anzeigen des Job-Diagramms, der von Ihnen registrierten Assemblys usw. verwendet wird.

• Vertex-Ausführungsansicht

  Es zeigt die Ausführungsdetails an den Eckpunkten an. Das Jobprofil archiviert jedes Ausführungsprotokoll eines Vertex, z. B. Gesamtdaten gelesen/geschrieben, Laufzeit, Zustand usw. In dieser Ansicht können Sie mehr Details darüber erhalten, wie ein Auftrag ausgeführt wurde. Weitere Informationen finden Sie unter Verwenden der Vertexausführungsansicht in Data Lake Tools für Visual Studio.

Nächste Schritte

• Informationen zum Protokollieren von Diagnoseinformationen finden Sie unter Zugreifen auf Diagnoseprotokolle für Azure Data Lake Analytics
• Eine komplexere Abfrage finden Sie unter Analysieren von Websiteprotokollen mithilfe von Azure Data Lake Analytics.
• Informationen zur Verwendung der Vertexausführungsansicht finden Sie unter Verwenden der Vertexausführungsansicht in Data Lake Tools für Visual Studio