Dataflow: Aktualisierung
Mit Dataflows können Sie sich mit Daten verbinden, sie umwandeln, kombinieren und in einen Speicher laden, um sie anschließend zu verwenden. Ein Schlüsselelement in Datenflüssen ist der Aktualisierungsprozess, der die bei der Erstellung definierten Transformationsschritte anwendet, um Daten zu extrahieren, zu transformieren und in den Zielspeicher zu laden.
Eine Datenflussaktualisierung kann auf zwei Arten ausgelöst werden: entweder bei Bedarf oder durch Einrichten eines Aktualisierungszeitplans. Eine geplante Aktualisierung wird an den von Ihnen angegebenen Tagen und Uhrzeiten durchgeführt.
Voraussetzungen
Hier sind die Voraussetzungen für das Aktualisieren eines Datenflusses:
Bedarfsgesteuerte Aktualisierung
Um einen Datenfluss bei Bedarf zu aktualisieren, wählen Sie das Symbol Aktualisieren in der Arbeitsbereich-Liste oder in der Lineage-Ansicht.
Es gibt noch andere Möglichkeiten, wie eine bedarfsgesteuerte Datenflussaktualisierung ausgelöst werden kann. Wenn eine Datenflussveröffentlichung erfolgreich abgeschlossen ist, wird eine bedarfsgesteuerte Aktualisierung gestartet. Die bedarfsgesteuerte Aktualisierung kann auch über eine Pipeline ausgelöst werden, die eine Datenflussaktivität enthält.
Geplante Aktualisierung
Um einen Dataflow nach einem Zeitplan automatisch zu aktualisieren, wählen Sie das Symbol Geplante Aktualisierung in der Listenansicht des Arbeitsbereichs:
Im Bereich Aktualisierung können Sie die Häufigkeit und die Zeitfenster für die Aktualisierung eines Dataflows festlegen, bis zu 48 Mal pro Tag. Der folgende Screenshot zeigt einen Aktualisierungszeitplan im Zwölf-Stunden-Intervall.
Aktualisierung abbrechen
Die Option Dataflow-Auffrischung abbrechen ist nützlich, wenn Sie eine Auffrischung während der Spitzenzeiten stoppen möchten, wenn sich eine Kapazität ihren Grenzen nähert oder wenn die Auffrischung länger dauert als erwartet. Verwenden Sie die Funktion zum Abbrechen der Aktualisierung, um die Aktualisierung von Datenflows zu stoppen.
Um eine Aktualisierung des Datenflows abzubrechen, wählen Sie das Symbol Abbrechen, das Sie in der Arbeitsbereichsliste oder in der Lineage-Ansicht für einen Datenflow mit laufender Aktualisierung finden.
Sobald eine Aktualisierung eines Datenflows abgebrochen wird, wird der Status der Aktualisierungshistorie des Datenflows so aktualisiert, dass er den Abbruchstatus widerspiegelt:
Aktualisierungsbeschränkungen
Bei Dataflow-Aktualisierungen sind einige Grenzwerte vorhanden:
- Pro Dataflow dürfen nur 150 Aktualisierungen pro 24 Stunden (rollierendes Zeitfenster) erfolgen. Wenn Sie diesen Grenzwert überschreiten, erhalten Sie einen Fehler im Aktualisierungsverlauf und die Aktualisierungen werden fortgesetzt, wenn Sie sich unter dem Grenzwert befinden.
- Wenn Ihre geplante Dataflow-Aktualisierung nacheinander fehlschlägt, halten wir den Plan für die Dataflow-Aktualisierung an und senden dem Besitzer des Dataflow eine Email. In diesem Fall gelten die folgenden Regeln:
- 72 Stunden (3 Tage)
- Fehlerrate von 100 % über 72 Stunden
- Mindestens 6 Aktualisierungen (2 Aktualisierungen pro Tag)
- 168 Stunden (1 Woche)
- Fehlerrate von 100 % über 168 Stunden
- Mindestens 5 Aktualisierungen (1 Aktualisierung pro Tag)
- 72 Stunden (3 Tage)
- Eine einzelne Auswertung einer Abfrage hat einen Grenzwert von 8 Stunden.
- Die Gesamtaktualisierungszeit einer einzelnen Aktualisierung eines Dataflows ist auf maximal 24 Stunden begrenzt.
- Pro Dataflow können Maximal 50 mehrstufige Abfragen oder Abfragen mit Ausgabeziel oder Kombination beider Abfragen vorhanden sein.
Auswirkungen des Aktualisierungsabbruchs auf die Ausgabedaten
Eine Aktualisierung des Datenflows kann über die Funktion Aktualisieren abbrechen gestoppt werden oder wenn bei der Verarbeitung der Abfragen des Datenflows ein Fehler auftritt. Je nach Art des Ziels und dem Zeitpunkt, an dem die Aktualisierung gestoppt wurde, sind unterschiedliche Ergebnisse zu beobachten. Hier sind die möglichen Ergebnisse für die beiden Arten von Datenzielen für eine Abfrage:
- Die Abfrage lädt Daten in das Staging: Die Daten der letzten erfolgreichen Aktualisierung sind verfügbar.
- Die Abfrage lädt gerade Daten in ein Datenziel: Daten, die bis zum Zeitpunkt des Abbruchs geschrieben wurden, sind verfügbar.
Nicht alle Abfragen in einem Datenflow werden gleichzeitig verarbeitet, z. B. wenn ein Datenflow viele Abfragen enthält oder einige Abfragen von anderen abhängen. Wenn eine Aktualisierung abgebrochen wird, bevor die Auswertung einer Abfrage, die Daten in ein Ziel lädt, begonnen hat, werden die Daten im Ziel der Abfrage nicht geändert.