Поделиться через


Поддержка интеграции потока данных 2-го поколения с поддержкой интеграции CI/CD и Git (предварительная версия)

Поток данных 2-го поколения теперь поддерживает непрерывную интеграцию и непрерывное развертывание (CI/CD) и интеграцию Git. Эта функция позволяет создавать, изменять и управлять потоками данных в репозитории Git, подключенном к рабочей области структуры. Кроме того, можно использовать функцию конвейеров развертывания для автоматизации развертывания потоков данных из рабочей области в другие рабочие области. В этой статье подробно описано, как использовать поток данных 2-го поколения с интеграцией CI/CD и Git в Фабрике данных Fabric.

Заметка

Выпуск поддержки интеграции CI/CD и Git был перепланирован на январь, чтобы обеспечить качество выпуска и обеспечить отсутствие влияния на существующие операции. Мы извиняемся за любые неудобства и ценим ваше понимание.

Новые возможности

С помощью dataflow 2-го поколения (предварительная версия CI/CD) теперь можно:

  • Используйте поддержку интеграции Git для Dataflow 2-го поколения.
  • Используйте функцию конвейеров развертывания для автоматизации развертывания потоков данных из рабочей области в другие рабочие области.
  • Используйте параметры Fabric и планировщик для обновления и изменения параметров потока данных 2-го поколения.
  • Создайте поток данных 2-го поколения непосредственно в папку рабочей области.

Необходимые компоненты

Чтобы приступить к работе, необходимо выполнить следующие предварительные требования:

  • У вас есть учетная запись клиента Microsoft Fabric с активной подпиской. Создать аккаунт бесплатно.
  • Убедитесь, что у вас есть рабочая область с поддержкой Microsoft Fabric.
  • Чтобы наслаждаться интеграцией Git, убедитесь, что она включена для рабочей области. Чтобы узнать больше о включении интеграции Git, перейдите к разделу "Начало работы с интеграцией Git".

Создание потока данных 2-го поколения с поддержкой CI/CD и Git

Чтобы создать поток данных 2-го поколения с поддержкой CI/CD и Git, выполните следующие действия.

  1. В рабочей области Fabric выберите "Создать элемент " и выберите "Поток данных 2-го поколения".

    Снимок экрана: окно

  2. Присвойте потоку данных имя и включите интеграцию Git. Затем выберите Создать.

    Снимок экрана: окно New Dataflow 2-го поколения с набором имен потока данных и выделенной интеграцией Git.

    Поток данных создается и перенаправляется на холст разработки потока данных. Теперь можно приступить к созданию потока данных.

  3. По завершении нажмите кнопку "Сохранить и запустить".

    Снимок экрана редактора Power Query с выделенным кнопкой

  4. После публикации поток данных имеет состояние незафиксированного.

    Снимок экрана: сохраненный поток данных 2-го поколения с состоянием, показанным как незафиксированный.

  5. Чтобы зафиксировать поток данных в репозиторий Git, щелкните значок управления версиями в правом верхнем углу представления рабочей области.

    Снимок экрана: кнопка

  6. Выберите все изменения, которые вы хотите зафиксировать, и нажмите кнопку "Зафиксировать".

    Снимок экрана: окно управления версиями с выбранным потоком данных и кнопкой

Теперь вы поддерживаете поток данных 2-го поколения с поддержкой CI/CD и Git. Мы рекомендуем следовать рекомендациям по работе с интеграцией CI/CD и Git в Fabric, описанной в сценарии 2. Разработка с помощью другого руководства по рабочей области .

Обновление потока данных 2-го поколения или планирование обновления

Вы можете обновить поток данных 2-го поколения с поддержкой CI/CD и Git двумя способами— вручную или путем планирования обновления. В следующих разделах описывается обновление потока данных 2-го поколения с поддержкой CI/CD и Git.

Обновить сейчас

  1. В рабочей области структуры выберите значок с многоточием рядом с потоком данных, который требуется обновить.

  2. Выберите "Обновить сейчас".

    Снимок экрана: раскрывающееся меню дополнительных параметров с выделенными параметрами обновления.

Обновление по расписанию

Если поток данных необходимо обновить через регулярный интервал, можно запланировать обновление с помощью планировщика Fabric.

  1. В рабочей области Fabric выберите значок с многоточием рядом с потоком данных, который требуется обновить.

  2. Выберите Расписание.

    Снимок экрана: раскрывающееся меню дополнительных параметров с выделенным параметром

  3. На странице расписания можно задать частоту обновления и время начала и окончания, после чего можно применить изменения.

    Снимок экрана: экран параметров потока данных с выбранной вкладкой

  4. Чтобы запустить обновление, нажмите кнопку "Обновить ".

Журнал обновления и параметры

Чтобы просмотреть журнал обновления потока данных, можно выбрать вкладку журнала обновления в раскрывающемся меню или перейти в центр мониторинга и выбрать поток данных, который нужно просмотреть.

Параметры потока данных 2-го поколения с CI/CD

Доступ к параметрам нового потока данных 2-го поколения с поддержкой CI/CD и Git аналогичен любому другому элементу Fabric. Вы можете получить доступ к параметрам, выбрав значок с многоточием параметров рядом с потоком данных и выбрав параметры.

Известные проблемы и ограничения

Хотя Dataflow Gen2 с поддержкой CI/CD и Git предоставляет мощный набор функций для совместной работы в корпоративной среде, это потребовало от нас перестроение серверной части в фабричную архитектуру. Это означает, что некоторые функции пока недоступны или имеют ограничения. Мы активно работаем над улучшением возможностей и обновим эту статью по мере добавления новых функций.

  • Промежуточные артефакты находятся в некоторых интерфейсах, видимых как пользовательский интерфейс ALM. Промежуточные артефакты будут скрыты во всех взаимодействиях в будущем.
  • При удалении последнего потока данных 2-го поколения с поддержкой CI/CD и Git промежуточные артефакты становятся видимыми в рабочей области и безопасно удаляются пользователем.
  • Некоторые возможности упоминают о поддержке REST API, но эти API пока недоступны. Все потоки данных 2-го поколения с поддержкой CI/CD и Git будут поддерживать общедоступный API Fabric в будущем.
  • Оркестрация обновления потока данных 2-го поколения с поддержкой CI/CD и Git невозможна в конвейерах данных Fabric.
  • Представление рабочей области не показывает, продолжается ли обновление для потока данных.
  • Copilot для потока данных 2-го поколения с поддержкой CI/CD и Git пока недоступен.
  • Подключения шлюза виртуальной сети пока не поддерживаются в интерфейсе разработки потоков данных.
  • Невозможно экспортировать Dataflow.json из меню рабочей области. Обходные пути, позволяющие экспортировать поток данных:
    • Используйте общедоступный API Fabric, чтобы получить Dataflow.json.
    • Используйте функцию шаблона power query для экспорта определения потока данных.
    • Чтобы получить определение потока данных, используйте обозреватель OneLake в рабочей области.
  • Поддержка потока данных 2-го поколения с поддержкой CI/CD и Git не поддерживает функцию владения в рабочей области Fabric. Поэтому только создатель потока данных может изменить поток данных. Если вы хотите работать вместе с потоком данных, вы можете использовать ветви в репозитории Git и создать запрос на вытягивание для слияния изменений. Дополнительные сведения см. в сценарии 2. Разработка с помощью другой рабочей области.
  • При ветвении в другую рабочую область обновление потока данных 2-го поколения может завершиться ошибкой с сообщением о том, что промежуточный lakehouse не удалось найти. В этом случае создайте новый поток данных 2-го поколения с поддержкой CI/CD и Git в рабочей области, чтобы активировать создание промежуточного lakehouse. После этого все остальные потоки данных в рабочей области должны начать функционировать снова.
  • При создании нового элемента в рабочей области может отобразиться элемент Dataflow 2-го поколения (CI/CD, предварительная версия)". Пропустить этот вариант и следуйте инструкциям, описанным в этой статье. Может потребоваться некоторое время, пока регион не отобразит флажок для включения поддержки CI/CD и Git.
  • Быстрая копия может быть включена по умолчанию в потоке данных. Это можно включить с помощью параметров потока данных.
  • Подключения, использующие локальный шлюз данных, в настоящее время вызывают проблемы в обновлении потока данных. Мы рекомендуем использовать другой метод для получения данных из локальных источников данных в систему fabric.

Мы стремимся постоянно улучшать поток данных 2-го поколения с поддержкой CI/CD и Git и ценим ваше терпение, так как мы работаем над этими улучшениями.