Перейдите на Data Factory в Microsoft Fabric
Фабрика данных в Microsoft Fabric объединяет Power Query и Фабрику данных Azure в современный интерфейс интеграции надежных данных, который позволяет специалистам по сбору и бизнес-специалистам извлекать, загружать и преобразовывать данные для своей организации. Кроме того, мощные возможности оркестрации данных позволяют создавать от простых до сложных рабочих процессов данных, которые координируют шаги, требующиеся для интеграции данных.
Основные понятия фабрики данных в Microsoft Fabric
получение данных и преобразование. Поток данных 2-го поколения — это эволюция потоков данных в Power BI. Поток данных Gen 2 перестроен для использования вычислительных механизмов Fabric для обработки и преобразования данных. Это позволяет им получать и преобразовывать данные в любом масштабе.
Оркестрация данных — Используя конвейеры данных, уже знакомые пользователям Azure Data Factory (ADF), Microsoft Fabric обеспечивает такие же возможности оркестрации, что и в ADF. В рамках GA версии Fabric потоки данных поддерживают большинство действий, доступных в ADF.
См. этот список действий, которые являются частью конвейеров данных в Fabric.
перемещения данных, готового к корпоративным действиям. Независимо от того, является ли это небольшим перемещением данных или масштабированием петабайтов, фабрика данных обеспечивает бессерверную и интеллектуальную платформу перемещения данных, которая позволяет надежно перемещать данные между различными источниками данных и назначениями данных. С поддержкой 170+ соединителей Фабрика данных в Microsoft Fabric позволяет перемещать данные между несколькими облаками, источниками данных в локальной среде и в виртуальных сетях (виртуальная сеть). Интеллектуальная оптимизация пропускной способности позволяет платформе перемещения данных автоматически обнаруживать размер вычислительных ресурсов, необходимых для перемещения данных.
Миграция из фабрики данных Azure (ADF)
Чтобы пользователи могли обновляться до Microsoft Fabric из фабрики данных Azure (ADF), мы поддерживаем следующие функции:
Конвейер данных. Поддерживаем большинство действий, которые вы уже используете в ADF для Data Factory в Fabric. Кроме того, мы добавили новые активности для уведомлений, например, активности Teams и Outlook. См. этот список действий, доступных в Data Factory в среде Fabric.
соединитель OneLake/Lakehouse в фабрике данных Azure - для многих клиентов ADF теперь можно интегрироваться с Microsoft Fabric и переносить данные вFabric OneLake.
Сопоставление потоков данных Фабрики данных Azure с Fabric. Мы предоставляем это руководство для клиентов ADF, рассматривающих возможность создания новых преобразований данных в Fabric.
Кроме того, для клиентов, рассматривающих возможность переноса потоков данных сопоставления ADF в Fabric, можно применить пример кода от команды консультантов Fabric (Fabric CAT), чтобы преобразовать эти потоки данных в код Spark. Узнайте больше о сопоставлении потоков данных с Microsoft Fabric в .
Azure Data Factory в Fabric (предварительная версия). Мы представляем новую возможность, которая позволяет подключаться к существующим фабрикам Azure Data Factory из рабочей области Fabric. Щелкнув "Фабрика данных Azure" в рабочей области Фабрики данных Fabric, теперь вы можете полностью управлять фабриками ADF непосредственно из пользовательского интерфейса рабочей области Fabric! Вы можете активировать, выполнять и отслеживать потоки данных так же, как в ADF, но непосредственно внутри Fabric.
В рамках дорожной карты Data Factory в Microsoft Fabric запланирован предварительный выпуск следующих компонентов во II квартале календарного года 2024.
- Перевод конвейеров данных из ADF в Fabric. Мы взаимодействуем с клиентами и сообществом, чтобы узнать, как лучше всего поддерживать обновление конвейеров из ADF в Fabric. В рамках этого мы предоставляем возможности обновления, которые позволяют протестировать существующие конвейеры данных в Fabric с помощью подключения и обновления конвейеров данных.
Перенос потока данных Power BI 1-го поколения в поток данных 2-го поколения в Fabric
Поток данных 2-го поколения в Fabric предоставляет множество преимуществ и новых возможностей по сравнению с потоками данных (1-го поколения) в Power BI:
- High-Scale получение данных (быстрое копирование)
- преобразования данных High-Scale (с помощью ядра SQL Fabric Lakehouse)
- Дополнительные назначения выходных данных: база данных SQL Azure, Lakehouse, хранилище, SharePoint, базы данных KQL и многое другое
- Расширенные возможности мониторинга истории обновлений &
- Улучшенные возможности создания контента и публикации.
Мы рекомендуем клиентам начать пробовать поток данных 2-го поколения, чтобы повторно создать существующие сценарии потока данных 1-го поколения или попробовать новые. Ранние отзывы о Dataflow Gen2 помогают нам развивать и созревать возможности продукта.
У клиентов есть несколько вариантов повторного создания потоков данных 1-го поколения в качестве потока данных 2-го поколения:
- Экспорт запросов потока данных 1-го поколения и их импорт в Dataflow 2-го поколения: теперь можно экспортировать запросы как в потоках данных, так и в интерфейсе разработки потока данных 2-го поколения и сохранять их в PQT-файлы, которые затем можно импортировать в Dataflow 2-го поколения. Дополнительные сведения см. в разделе Использование функции шаблона экспорта.
- Скопируйте и вставьте в Power Query: если у вас есть поток данных в Power BI или Power Apps, вы можете скопировать запросы и вставить их в интерфейс редактирования артефакта потока данных 2-го поколения. Эта функция позволяет перенести поток данных в 2-е поколение, не перезаписывая запросы. Дополнительные сведения см. в статьеКопирование и вставка существующих запросов потоков данных (1-го поколения).
Дополнительные сведения см. в следующей статье: различия между потоком данных 1-го поколения и 2-го поколения