Общие сведения о конвейерах

  • 6 мин

Конвейеры в Microsoft Fabric инкапсулируют последовательность действий , выполняющих задачи перемещения и обработки данных. Конвейер можно использовать для определения действий передачи и преобразования данных, а также оркестрации этих действий с помощью действий потока управления, которые управляют ветвлением, циклом и другой типичной логикой обработки. Графический холст конвейера в пользовательском интерфейсе Fabric позволяет создавать сложные конвейеры с минимальным или без написания кода.

Снимок экрана: конвейер в Microsoft Fabric.

Основные понятия конвейера

Прежде чем создавать конвейеры в Microsoft Fabric, необходимо понять несколько основных понятий.

Процедуры

Действия — это исполняемые задачи в конвейере. Вы можете определить поток действий, подключив их в последовательности. Результат определенного действия (успешного выполнения, сбоя или завершения) можно использовать для направления потока к следующему действию в последовательности.

В конвейере есть две широкие категории действий.

  • Действия преобразования данных — действия, которые инкапсулируют операции передачи данных, включая простые действия копирования данных, которые извлекают данные из источника и загружают их в место назначения, а также более сложные Поток данных действия, которые инкапсулируют потоки данных (2-го поколения), которые применяют преобразования к данным по мере передачи. Другие действия по преобразованию данных включают действия записной книжки Spark, действия хранимой процедуры для запуска кода SQL, удаления действий данных для удаления существующих данных и других. В OneLake можно настроить назначение для озера, хранилища, базы данных SQL или других параметров.

  • Действия потока управления — действия , которые можно использовать для реализации циклов, условной ветви или управления значениями переменных и параметров. Широкий спектр действий потока управления позволяет реализовать сложную логику конвейера для оркестрации приема и преобразования данных.

Совет

Дополнительные сведения о полном наборе действий конвейера, доступных в Microsoft Fabric, см. в обзоре действий в документации по Microsoft Fabric.

Параметры

Конвейеры могут быть параметризованы, что позволяет предоставлять определенные значения для использования при каждом запуске конвейера. Например, может потребоваться использовать конвейер для сохранения приема данных в папке, но при каждом запуске конвейера можно указать имя папки.

Использование параметров повышает многократное использование конвейеров, что позволяет создавать гибкие процессы приема и преобразования данных.

Запуски конвейера

Каждый раз при выполнении конвейера запускается конвейер данных. Запуски можно инициировать по запросу в пользовательском интерфейсе Fabric или запланировать запуск с определенной частотой. Используйте уникальный идентификатор запуска для проверки сведений о выполнении, чтобы убедиться, что они успешно завершены, и изучите определенные параметры, используемые для каждого выполнения.