Freigeben über

Dataflow: Aktualisierung

  • Artikel

Mit Dataflows können Sie sich mit Daten verbinden, sie umwandeln, kombinieren und in einen Speicher laden, um sie anschließend zu verwenden. Ein Schlüsselelement in Datenflüssen ist der Aktualisierungsprozess, der die bei der Erstellung definierten Transformationsschritte anwendet, um Daten zu extrahieren, zu transformieren und in den Zielspeicher zu laden.

Screenshot mit einem Beispiel für einen Datenfluss.

Eine Datenflussaktualisierung kann auf zwei Arten ausgelöst werden: entweder bei Bedarf oder durch Einrichten eines Aktualisierungszeitplans. Eine geplante Aktualisierung wird an den von Ihnen angegebenen Tagen und Uhrzeiten durchgeführt.

Voraussetzungen

Hier sind die Voraussetzungen für das Aktualisieren eines Datenflusses:

Bedarfsgesteuerte Aktualisierung

Um einen Datenfluss bei Bedarf zu aktualisieren, wählen Sie das Symbol Aktualisieren in der Arbeitsbereich-Liste oder in der Lineage-Ansicht.

Screenshot, der zeigt, wo Sie in der Listenansicht des Arbeitsbereichs Aktualisieren auswählen können.

Es gibt noch andere Möglichkeiten, wie eine bedarfsgesteuerte Datenflussaktualisierung ausgelöst werden kann. Wenn eine Datenflussveröffentlichung erfolgreich abgeschlossen ist, wird eine bedarfsgesteuerte Aktualisierung gestartet. Die bedarfsgesteuerte Aktualisierung kann auch über eine Pipeline ausgelöst werden, die eine Datenflussaktivität enthält.

Geplante Aktualisierung

Um einen Dataflow nach einem Zeitplan automatisch zu aktualisieren, wählen Sie das Symbol Geplante Aktualisierung in der Listenansicht des Arbeitsbereichs:

Screenshot zeigt, wo Sie in der Listenansicht des Arbeitsbereichs die geplante Aktualisierung auswählen können.

Im Bereich Aktualisierung können Sie die Häufigkeit und die Zeitfenster für die Aktualisierung eines Dataflows festlegen, bis zu 48 Mal pro Tag. Der folgende Screenshot zeigt einen Aktualisierungszeitplan im Zwölf-Stunden-Intervall.

Der Screenshot zeigt ein Beispiel für eine 12-stündige tägliche Aktualisierung des Zeitplans.

Aktualisierung abbrechen

Die Option Dataflow-Auffrischung abbrechen ist nützlich, wenn Sie eine Auffrischung während der Spitzenzeiten stoppen möchten, wenn sich eine Kapazität ihren Grenzen nähert oder wenn die Auffrischung länger dauert als erwartet. Verwenden Sie die Funktion zum Abbrechen der Aktualisierung, um die Aktualisierung von Datenflows zu stoppen.

Um eine Aktualisierung des Datenflows abzubrechen, wählen Sie das Symbol Abbrechen, das Sie in der Arbeitsbereichsliste oder in der Lineage-Ansicht für einen Datenflow mit laufender Aktualisierung finden.

Screenshot zur Konfiguration des Zeitplans für die Aktualisierung des Dataflows auf der Seite mit den Einstellungen des Dataflows.

Sobald eine Aktualisierung eines Datenflows abgebrochen wird, wird der Status der Aktualisierungshistorie des Datenflows so aktualisiert, dass er den Abbruchstatus widerspiegelt:

Screenshot der Historie der Aktualisierung von Datenflows für eine abgebrochene Aktualisierung von Datenflows.

Aktualisierungsbeschränkungen

Bei Dataflow-Aktualisierungen sind einige Grenzwerte vorhanden:

  1. Pro Dataflow dürfen nur 150 Aktualisierungen pro 24 Stunden (rollierendes Zeitfenster) erfolgen. Wenn Sie diesen Grenzwert überschreiten, erhalten Sie einen Fehler im Aktualisierungsverlauf und die Aktualisierungen werden fortgesetzt, wenn Sie sich unter dem Grenzwert befinden.
  2. Wenn Ihre geplante Dataflow-Aktualisierung nacheinander fehlschlägt, halten wir den Plan für die Dataflow-Aktualisierung an und senden dem Besitzer des Dataflow eine Email. In diesem Fall gelten die folgenden Regeln:
    • 72 Stunden (3 Tage)
      • Fehlerrate von 100 % über 72 Stunden
      • Mindestens 6 Aktualisierungen (2 Aktualisierungen pro Tag)
    • 168 Stunden (1 Woche)
      • Fehlerrate von 100 % über 168 Stunden
      • Mindestens 5 Aktualisierungen (1 Aktualisierung pro Tag)
  3. Eine einzelne Auswertung einer Abfrage hat einen Grenzwert von 8 Stunden.
  4. Die Gesamtaktualisierungszeit einer einzelnen Aktualisierung eines Dataflows ist auf maximal 24 Stunden begrenzt.
  5. Pro Dataflow können Maximal 50 mehrstufige Abfragen oder Abfragen mit Ausgabeziel oder Kombination beider Abfragen vorhanden sein.

Auswirkungen des Aktualisierungsabbruchs auf die Ausgabedaten

Eine Aktualisierung des Datenflows kann über die Funktion Aktualisieren abbrechen gestoppt werden oder wenn bei der Verarbeitung der Abfragen des Datenflows ein Fehler auftritt. Je nach Art des Ziels und dem Zeitpunkt, an dem die Aktualisierung gestoppt wurde, sind unterschiedliche Ergebnisse zu beobachten. Hier sind die möglichen Ergebnisse für die beiden Arten von Datenzielen für eine Abfrage:

  • Die Abfrage lädt Daten in das Staging: Die Daten der letzten erfolgreichen Aktualisierung sind verfügbar.
  • Die Abfrage lädt gerade Daten in ein Datenziel: Daten, die bis zum Zeitpunkt des Abbruchs geschrieben wurden, sind verfügbar.

Nicht alle Abfragen in einem Datenflow werden gleichzeitig verarbeitet, z. B. wenn ein Datenflow viele Abfragen enthält oder einige Abfragen von anderen abhängen. Wenn eine Aktualisierung abgebrochen wird, bevor die Auswertung einer Abfrage, die Daten in ein Ziel lädt, begonnen hat, werden die Daten im Ziel der Abfrage nicht geändert.

Zugehöriger Inhalt