Поделиться через

Обновление потока данных

  • Статья

Потоки данных позволяют подключаться, преобразовывать, объединять и загружать данные в хранилище для нижнего потребления. Ключевым элементом потоков данных является процесс обновления, который применяет шаги преобразования, определенные во время разработки для извлечения, преобразования и загрузки данных в целевое хранилище.

Снимок экрана: пример потока данных.

Обновление потока данных можно активировать одним из двух способов( по запросу или путем настройки расписания обновления). Запланированное обновление выполняется в зависимости от заданных дней и времени.

Необходимые компоненты

Ниже приведены предварительные требования для обновления потока данных:

Обновление по запросу

Чтобы обновить поток данных по запросу, выберите значок "Обновить ", найденный в списке рабочих областей или представлениях происхождения.

Снимок экрана, показывающий, где выбрать обновление в представлении списка рабочих областей.

Существуют другие способы активации обновления потока данных по запросу. После успешного завершения публикации потока данных запускается обновление по запросу. Обновление по запросу также можно активировать с помощью конвейера, содержащего действие потока данных.

Запланированное обновление

Чтобы автоматически обновить поток данных по расписанию, выберите значок запланированного обновления , найденный в представлении списка рабочих областей:

Снимок экрана: выбор запланированного обновления в представлении списка рабочих областей.

В разделе обновления можно определить частоту и интервалы времени для обновления потока данных до 48 раз в день. На следующем снимка экрана показано ежедневное расписание обновления в течение 12 часов.

Снимок экрана: пример параметра обновления ежедневного расписания 12 часов.

Отмена обновления

Отмена обновления потока данных полезна, если требуется остановить обновление во время пикового времени, если емкость приближается к его ограничениям, или если обновление занимает больше времени, чем ожидалось. Используйте функцию отмены обновления, чтобы остановить обновление потоков данных.

Чтобы отменить обновление потока данных, выберите значок "Отмена ", найденный в списке рабочих областей или представлениях происхождения для потока данных с обновлением в ходе выполнения.

Снимок экрана: настройка расписания обновления потока данных на странице параметров потока данных.

После отмены обновления потока данных состояние журнала обновления потока данных обновляется, чтобы отразить состояние отмены:

Снимок экрана: представление журнала обновления потоков данных для отмененного обновления потока данных.

Ограничения обновления

Для обновлений потока данных существует несколько ограничений:

  1. Для каждого потока данных допускается только 150 обновлений в 24 часа (скользящей окне). При превышении этого предела вы получите ошибку в журнале обновления и возобновляете работу после того, как вы будете ниже предела.
  2. Если запланированное обновление потока данных завершается сбоем последовательно, мы приостанавливаем расписание обновления потока данных и отправим владельцу потока данных сообщение электронной почты. В этом случае применяются следующие правила:
    • 72 часа (3 дня)
      • Скорость сбоя 100 % в течение 72 часов
      • Не менее 6 обновлений (2 обновления в день)
    • 168 часов (1 неделя)
      • Скорость сбоя 100 % в течение 168 часов
      • Минимум 5 обновлений (1 обновление в день)
  3. Одна оценка запроса имеет ограничение в 8 часов.
  4. Общее время обновления одного обновления потока данных ограничено максимумом в 24 часа.
  5. Для каждого потока данных может быть не более 50 промежуточных запросов или запросов с назначением выходных данных или комбинацией обоих.

Обновление последствий отмены для выходных данных

Обновление потока данных можно остановить с помощью функции отмены обновления или сбоя во время обработки запросов потока данных. Различные результаты можно наблюдать в зависимости от типа назначения и момента остановки обновления. Ниже приведены возможные результаты для двух типов назначения данных для запроса:

  • Запрос загружает данные в промежуточный режим. Данные из последнего успешного обновления доступны.
  • Запрос загружает данные в место назначения данных: данные, записанные до точки отмены, доступны.

Не все запросы в потоке данных обрабатываются одновременно, например, если поток данных содержит множество запросов или некоторые запросы зависят от других. Если обновление отменено до оценки запроса, загружающего данные в место назначения, то в назначении этого запроса нет изменений.

Связанный контент