Udostępnij za pośrednictwem

Odświeżanie przepływu danych

  • Artykuł

Przepływy danych umożliwiają łączenie, przekształcanie, łączenie i ładowanie danych do magazynu w celu użycia podrzędnego. Kluczowym elementem w przepływach danych jest proces odświeżania, który stosuje kroki przekształcania zdefiniowane podczas tworzenia w celu wyodrębniania, przekształcania i ładowania danych do docelowego magazynu.

Zrzut ekranu przedstawiający przykładowy przepływ danych.

Odświeżanie przepływu danych można wyzwolić na jeden z dwóch sposobów, na żądanie lub przez skonfigurowanie harmonogramu odświeżania. Zaplanowane odświeżanie jest uruchamiane na podstawie określonych dni i godzin.

Wymagania wstępne

Poniżej przedstawiono wymagania wstępne dotyczące odświeżania przepływu danych:

Odświeżanie na żądanie

Aby odświeżyć przepływ danych na żądanie, wybierz pozycję Odśwież ikonę znajdującą się na liście obszarów roboczych lub w widokach pochodzenia.

Zrzut ekranu przedstawiający, gdzie wybrać odświeżanie w widoku listy obszarów roboczych.

Istnieją inne sposoby wyzwalania odświeżania przepływu danych na żądanie. Po pomyślnym zakończeniu publikowania przepływu danych zostanie uruchomione odświeżanie na żądanie. Odświeżanie na żądanie można również wyzwolić za pośrednictwem potoku zawierającego działanie przepływu danych.

Zaplanowane odświeżanie

Aby automatycznie odświeżyć przepływ danych zgodnie z harmonogramem, wybierz ikonę Zaplanowane odświeżanie znalezione w widoku listy obszarów roboczych:

Zrzut ekranu przedstawiający miejsce wybierania zaplanowanego odświeżania w widoku listy obszarów roboczych.

W sekcji odświeżania można zdefiniować częstotliwość i przedziały czasu, aby odświeżyć przepływ danych, maksymalnie 48 razy dziennie. Poniższy zrzut ekranu przedstawia dzienny harmonogram odświeżania w interwale 12 godzin.

Zrzut ekranu przedstawiający przykład 12-godzinnego ustawienia odświeżania harmonogramu dziennego.

Anulowanie odświeżania

Anulowanie odświeżania przepływu danych jest przydatne, gdy chcesz zatrzymać odświeżanie w czasie szczytu, jeśli pojemność zbliża się do jej limitów lub jeśli odświeżanie trwa dłużej niż oczekiwano. Użyj funkcji anulowania odświeżania, aby zatrzymać odświeżanie przepływów danych.

Aby anulować odświeżanie przepływu danych, wybierz pozycję Anuluj ikonę znajdującą się na liście obszarów roboczych lub w widokach pochodzenia dla przepływu danych z odświeżaniem w toku.

Zrzut ekranu przedstawiający miejsce konfigurowania harmonogramu odświeżania przepływu danych na stronie ustawień przepływu danych.

Po anulowaniu odświeżania przepływu danych stan historii odświeżania przepływu danych jest aktualizowany w celu odzwierciedlenia stanu anulowania:

Zrzut ekranu przedstawiający widok historii odświeżania przepływów danych dla anulowanego odświeżania przepływu danych.

Ograniczenia dotyczące odświeżania

W przypadku odświeżeń przepływu danych obowiązują kilka ograniczeń:

  1. Na przepływ danych dozwolone jest tylko 150 odświeżeń na 24 godziny (okno stopniowe). Po przekroczeniu tego limitu zostanie wyświetlony błąd w historii odświeżania i wznowienie odświeżania po przekroczeniu limitu.
  2. Jeśli zaplanowane odświeżanie przepływu danych zakończy się niepowodzeniem, wstrzymujemy harmonogram odświeżania przepływu danych i wyślemy właściciel przepływu danych wiadomość e-mail. W tym przypadku obowiązują następujące reguły:
    • 72 godziny (3 dni)
      • 100% współczynnik awarii w ciągu 72 godzin
      • Co najmniej 6 odświeżeń (2 odświeżenia dziennie)
    • 168 godzin (1 tydzień)
      • 100% współczynnik awarii w ciągu 168 godzin
      • Co najmniej 5 odświeżeń (1 odświeżanie dziennie)
  3. Pojedyncza ocena zapytania ma limit 8 godzin.
  4. Łączny czas odświeżania pojedynczego odświeżania przepływu danych jest ograniczony do maksymalnie 24 godzin.
  5. Na przepływ danych można mieć maksymalnie 50 zapytań etapowych lub zapytań z miejscem docelowym danych wyjściowych lub kombinacją obu tych operacji.

Wpływ anulowania odświeżania na dane wyjściowe

Odświeżanie przepływu danych można zatrzymać za pomocą funkcji anulowania odświeżania lub jeśli wystąpił błąd podczas przetwarzania zapytań przepływu danych. Różne wyniki można zaobserwować w zależności od typu miejsca docelowego i czasu zatrzymania odświeżania. Poniżej przedstawiono możliwe wyniki dla dwóch typów danych docelowych dla zapytania:

  • Zapytanie ładuje dane do przemieszczania: dane z ostatniego pomyślnego odświeżenia są dostępne.
  • Zapytanie ładuje dane do miejsca docelowego danych: dane zapisane do punktu anulowania są dostępne.

Nie wszystkie zapytania w przepływie danych są przetwarzane w tym samym czasie, na przykład jeśli przepływ danych zawiera wiele zapytań lub niektóre zapytania zależą od innych. Jeśli odświeżanie zostanie anulowane przed oceną zapytania, które ładuje dane do miejsca docelowego, nie ma żadnych zmian w danych w miejscu docelowym tego zapytania.

Powiązana zawartość