Поделиться через

Что такое фабрика данных в Microsoft Fabric?

  • Статья

Фабрика данных позволяет использовать современную интеграцию данных для приема, подготовки и преобразования данных из богатого набора источников данных (например, баз данных, хранилища данных, Lakehouse, данных в режиме реального времени и т. д.). Независимо от того, являетесь ли вы гражданином или профессиональным разработчиком, вы сможете преобразовать данные с помощью интеллектуальных преобразований и использовать широкий набор действий. Мы можем создавать конвейеры для выполнения одной или нескольких действий, доступа к источникам данных или службам через связанные службы и после создания конвейера можно добавлять триггеры для автоматического запуска наших процессов в определенное время или в ответ на изменение сценариев. С помощью фабрики данных в Microsoft Fabric мы вносим возможности быстрого копирования (перемещения данных) как в потоки данных, так и в конвейеры данных. С помощью быстрого копирования можно перемещать данные между любимыми хранилищами данных быстро. Самое главное, быстрое копирование позволяет перенести данные в Lakehouse и хранилище данных в Microsoft Fabric для аналитики.

Существует две основные функции фабрики данных высокого уровня: потоки данных и конвейеры.

  • Потоки данных позволяют использовать более 300 преобразований в конструкторе потоков данных, что упрощает преобразование данных и обеспечивает большую гибкость, чем любое другое средство, включая преобразования данных на основе интеллектуального искусственного интеллекта.
  • Конвейеры данных позволяют использовать встроенные возможности оркестрации данных для создания гибких рабочих процессов данных, которые соответствуют вашим корпоративным потребностям.

Потоки данных

Потоки данных предоставляют интерфейс с низким кодом для приема данных из сотен источников данных, преобразуя данные с помощью преобразования данных 300+ . Затем можно загрузить полученные данные в несколько назначений, таких как базы данных SQL Azure и многое другое. Потоки данных можно выполнять многократно с помощью ручного или запланированного обновления или в рамках оркестрации конвейера данных.

Потоки данных создаются с помощью знакомых приложений Power Query , доступных сегодня в нескольких продуктах и службах Майкрософт, таких как Excel, Power BI, Power Platform, Dynamics 365 Insights и многое другое. Power Query позволяет всем пользователям, от граждан до профессиональных интеграторов данных, выполнять прием данных и преобразования данных в пределах своего пространства данных. Выполняйте соединения, агрегаты, очистку данных, пользовательские преобразования и многое другое из простого визуального и низкокодового пользовательского интерфейса.

Снимок экрана: пользовательский интерфейс Power BI с интерфейсом потока данных.

Конвейеры данных

Конвейеры данных обеспечивают мощные возможности рабочих процессов в масштабе облака. С помощью конвейеров данных можно создавать сложные рабочие процессы, которые могут обновлять поток данных, перемещать данные размера PB и определять сложные конвейеры потока управления.

Используйте конвейеры данных для создания сложных рабочих процессов ETL и фабрики данных, которые могут выполнять множество различных задач в масштабе. Возможности потока управления встроены в конвейеры данных, которые позволяют создавать логику рабочего процесса, которая предоставляет циклы и условные условия.

Добавьте действие копирования на основе конфигурации вместе с обновлением потока данных с низким кодом в одном конвейере для сквозного конвейера данных ETL. Вы даже можете добавлять действия с кодом для записных книжек Spark, скриптов SQL, хранимых procs и многое другое.

Снимок экрана: пользовательский интерфейс с действием копирования.

Связанный контент

Чтобы приступить к работе с Microsoft Fabric, перейдите к краткому руководству. Создайте первый поток данных 2-го поколения для получения и преобразования данных.