Поделиться через

Переход из потока данных 1-го поколения в поток данных 2-го поколения

  • Статья

Эта статья предназначена для создателей потока данных Power BI. Он предоставляет им руководство и обоснование для переноса потоков данных в Dataflow Gen2 в Data Factory для Microsoft Fabric.

Заметка

Поток данных 2-го поколения — это новое поколение потоков данных, которое обеспечивает новые функции и улучшенные возможности. Потоки данных 2-го поколения находятся вместе с потоками данных Power BI, которые теперь называются потоком данных 1-го поколения.

Сведения о различиях между Dataflow поколения 1 и Dataflow поколения 2 см. в статье Переход от потока данных поколения 1 к поколению 2.

Фон

Microsoft Fabric превратилась в интегрированную платформу для корпоративных данных самообслуживания и ИТ-управления. Благодаря экспоненциальному росту объемов данных и сложности клиенты Fabric требуют, чтобы их корпоративные решения масштабируются, являются безопасными, простыми и доступными для всех пользователей в крупнейших организациях.

В последние годы корпорация Майкрософт достигла значительных успехов в обеспечении масштабируемых возможностей облачных технологий для емкости Fabric . С этой целью фабрика данных в Fabric мгновенно предоставляет большую экосистему разработчиков и решений для интеграции данных, созданных на протяжении десятилетий. Он использует полный набор функций и возможностей, которые выходят далеко за рамки сопоставимых функциональных возможностей, доступных в предыдущих поколениях.

Естественно, клиенты теперь спрашивают, есть ли возможность консолидировать свои решения по интеграции данных, размещая их в Fabric. Они часто задают такие вопросы:

  • Работает ли весь функционал потоков данных, на который мы полагаемся, в Dataflow Gen2?
  • Какие возможности доступны только в dataflow 2-го поколения?
  • Как перенести существующие потоки данных в поток данных 2-го поколения?
  • Что такое стратегия приема корпоративных данных майкрософт?

Ответы на многие из этих вопросов описаны в этой статье.

Заметка

Решение о переходе на емкость Fabric зависит от требований каждого клиента. Клиенты должны тщательно оценить преимущества, чтобы принять обоснованное решение. Мы ожидаем, что со временем будет происходить органическая миграция на Dataflow Gen2, и наше намерение состоит в том, чтобы это происходило на условиях, с которыми клиенту комфортно.

Чтобы было ясно, в настоящее время нет планов отказываться от потоков данных Power BI или потоков данных Power Platform. Тем не менее, приоритет будет отдан инвестициям в Dataflow Gen2 для загрузки корпоративных данных, и, следовательно, ценность, предоставляемая емкостью Fabric, со временем будет увеличиваться. Клиенты, которые выбирают емкость Fabric, могут ожидать преимущества от согласования с стратегией разработки продуктов Microsoft Fabric.

Конвергенция самообслуживания и интеграции корпоративных данных

Консолидация элементов в системе Fabric упрощает поиск, совместную работу и управление за счет сосредоточения ресурсов. Это позволяет центральным ИТ-командам более легко внедрять и интегрировать популярные элементы самообслуживания. В то же время это позволяет операционализировать критически важные службы перемещения и трансформации данных в соответствии с корпоративными стандартами, включая происхождение данных и мониторинг.

Для поддержки совместной работы и масштабируемых потребностей создателей, поток данных второго поколения в Fabric представляет функцию быстройкопии, которая позволяет эффективно загружать большие объемы данных, используя серверную инфраструктуру Fabric для хранения и обработки промежуточных данных во время преобразования. Он может легко обрабатывать терабайты данных. Создатели потоков данных могут указать назначения данных для преобразованных данных, таких как озеро данных Fabric, склад данных, хранилище событий или база данных Azure SQL, что облегчает управление данными и повышает доступность. Кроме того, последняя интеграция генерируемого искусственного интеллекта с помощью Copilot улучшает возможности подготовки данных, обеспечивая интеллектуальное создание кода и автоматизацию повторяющихся задач, обеспечивая более простой и быстрый путь к созданию сложных решений.

Используя общую платформу, рабочий процесс упрощается, что приводит к повышению совместной работы между бизнесом и ИТ.. Поэтому организации могут масштабировать свои решения данных на корпоративных уровнях, обеспечивая высокую производительность, гибкость и эффективность управления большим объемом данных.

Вместимость ткани

Благодаря распределённой архитектуре ёмкость Fabric менее чувствительна к общей нагрузке, временным пикам и высокой параллельности. Благодаря объединению мощностей в более крупные SKU Fabric клиенты могут добиться увеличения производительности и пропускной способности.

Сравнение функций

В следующей таблице представлены функции, поддерживаемые в потоке данных Power BI и /или Fabric Dataflow 2-го поколения.

Особенность Поток данных Power BI 1-го поколения Поток данных Fabric 2-го поколения
Связность
Поддержка всех источников данных Power Query Да Да
Подключитесь и загрузите данные из потоков данных в Power BI Desktop, Excel или Power Apps. Да Да
масштабируемость
Быстрое копирование, которое поддерживает прием крупномасштабных данных, используя действие конвейера данных операции копирования в потоках данных Нет Да
запланированное обновление, которое поддерживает данные в актуальном состоянии Да Да
инкрементальное обновление, которое использует политики для автоматизации инкрементальной загрузки данных и может способствовать предоставлению отчётов почти в реальном времени. Да Да
Оркестрация конвейера данных, которая позволяет добавлять действие потока данных в конвейер данных и создавать оркестрированные условные события Нет Да
Искусственный интеллект
Copilot для Data Factory, который предоставляет интеллектуальные средства для создания кода и легкого преобразования данных, а также генерирует пояснения к коду, чтобы лучше понять сложные задачи. Нет Да
Cognitive Services, которые используют искусственный интеллект (ИИ) для применения различных алгоритмов от Azure Cognitive Services для обогащения самостоятельной подготовки данных Да Нет 1
Автоматизированное машинное обучение (AutoML), что позволяет бизнес-аналитикам обучать, проверять и вызывать модели машинного обучения непосредственно в Fabric. Устаревшие 2
интеграция с Azure Machine Learning, которая позволяет использовать пользовательские модели в качестве динамических функций Power Query, что пользователи могут вызывать в редакторе Power Query Да Нет 1
управления содержимым
представление происхождения данных, которое помогает пользователям понять и оценить зависимости элементов потока данных. Да Да
конвейеры развертывания, которые управляют жизненным циклом содержимого Fabric Да Да
масштабируемость платформы и устойчивость
архитектуре Premium емкости, которая поддерживает увеличение масштаба и производительности. Да Да
поддержка нескольких регионов, которая помогает многонациональным клиентам решать региональные, отраслевые или организационные требования к месту размещения данных Да 3 Да
Безопасность
шлюз данных виртуальной сети подключения, что позволяет Fabric беспрепятственно работать в виртуальной сети организации. Нет Да
локального шлюза данных подключения, что обеспечивает безопасный доступ к данным между локальными источниками данных организации и Fabric. Да Да
Теги службы Azure поддержка, которые представляют собой определённую группу IP-адресов, автоматически управляемую для минимизации сложности обновлений или изменений в правилах безопасности сети. Да Да
Упра́вление
Содержимое подтверждения, для продвижения или сертификации ценных, высококачественных элементов Fabric Да Да
интеграции Microsoft Purview, которая помогает клиентам управлять и контролировать элементы Fabric Да Да
Метки конфиденциальности Microsoft Information Protection (MIP) и интеграция с Microsoft Defender для облачных приложений для предотвращения потери данных (DLP) Да Да
Мониторинг и ведение диагностики журналов
Улучшенный журнал обновлений, который позволяет подробно изучить, что произошло во время обновления вашего потока данных. Нет Да
концентратор мониторинга, который предоставляет возможности мониторинга для элементов Fabric Нет Да
приложение Microsoft Fabric Capacity Metrics, которое предоставляет возможности мониторинга емкости Fabric Да Да
Журнал аудита, который отслеживает действия пользователей в Microsoft 365 и Fabric Да Да

1 Чтобы узнать, как создавать пользовательские функции, вызывающие конечные точки API Azure AI, см. Учебник: Извлечение ключевых фраз из текста, хранящегося вPower BI.

2 автоматизированное машинное обучение (AutoML) устарело. Дополнительные сведения см. в этом официальном объявлении.

3 чтобы настроить хранилище потоков данных Power BI для использования Azure Data Lake Storage (ADLS) второго поколения, см. в этой статье .

Соображения

Перед переносом в поток данных 2-го поколения следует учитывать другие аспекты планирования.

Лицензирование

Для публикации или управления потоками данных Power BI (Dataflow Gen1) требуется лицензия Pro или Premium на пользователя (PPU). Наоборот, для создания потока данных 2-го поколения в рабочем пространстве Premium достаточно лицензии Microsoft Fabric (бесплатной).

Сценарии миграции

При переносе потоков данных важно не ограничиваться простым копированием существующих решений. Вместо этого мы рекомендуем модернизировать решения, используя новейшие инновации и возможности потока данных 2-го поколения. Этот подход гарантирует, что ваши решения могут поддерживать растущие потребности бизнеса.

В статье о сценариях миграцииописаны несколько методов обновления, инвентаризации и использования акселераторов, таких как шаблоны Power Query . Эти методы помогут обеспечить беспрепятственное обновление ваших проектов.

Стратегия

План выпуска Microsoft Fabric объявляет последние обновления и временные шкалы в качестве компонентов, готовых к будущему выпуску, в том числе новые и запланированные для фабрики данных в Microsoft Fabric.

Связанное содержимое

Дополнительные сведения об этой статье см. в следующих ресурсах: