Интеграция потоков данных 2-го поколения и конвейеров в Microsoft Fabric
Потоки данных 2-го поколения предоставляют отличный вариант для преобразований данных в Microsoft Fabric. Сочетание потоков данных и конвейеров полезно при необходимости выполнять дополнительные операции с преобразованными данными.
Конвейеры данных являются распространенным понятием в проектировании данных и предлагают широкий спектр действий для оркестрации. Ниже приведены некоторые распространенные действия.
- Копирование данных
- Включение потока данных
- Добавление записной книжки
- Получение метаданных
- Выполнение скрипта или хранимой процедуры
Конвейеры предоставляют визуальный способ выполнения действий в определенном порядке. Вы можете использовать поток данных для приема, преобразования и посадки в хранилище данных Fabric. Затем включите поток данных в конвейер для оркестрации дополнительных действий, таких как выполнение скриптов или хранимых процедур после завершения потока данных.
Конвейеры также можно запланировать или активировать триггером для запуска потока данных. С помощью конвейера для запуска потока данных можно обновить данные, если он нужен, а не запускать поток данных вручную. При работе с корпоративными или часто изменяющимися данными автоматизация позволяет сосредоточиться на других обязанностях.
