Поддержка интеграции потока данных 2-го поколения с поддержкой интеграции CI/CD и Git (предварительная версия)
Поток данных 2-го поколения теперь поддерживает непрерывную интеграцию и непрерывное развертывание (CI/CD) и интеграцию Git. Эта функция позволяет создавать, изменять и управлять потоками данных в репозитории Git, подключенном к рабочей области структуры. Кроме того, можно использовать функцию конвейеров развертывания для автоматизации развертывания потоков данных из рабочей области в другие рабочие области. В этой статье подробно описано, как использовать поток данных 2-го поколения с интеграцией CI/CD и Git в Фабрике данных Fabric.
Заметка
Выпуск поддержки интеграции CI/CD и Git был перепланирован на январь, чтобы обеспечить качество выпуска и обеспечить отсутствие влияния на существующие операции. Мы извиняемся за любые неудобства и ценим ваше понимание.
Новые возможности
С помощью dataflow 2-го поколения (предварительная версия CI/CD) теперь можно:
- Используйте поддержку интеграции Git для Dataflow 2-го поколения.
- Используйте функцию конвейеров развертывания для автоматизации развертывания потоков данных из рабочей области в другие рабочие области.
- Используйте параметры Fabric и планировщик для обновления и изменения параметров потока данных 2-го поколения.
- Создайте поток данных 2-го поколения непосредственно в папку рабочей области.
Необходимые компоненты
Чтобы приступить к работе, необходимо выполнить следующие предварительные требования:
- У вас есть учетная запись клиента Microsoft Fabric с активной подпиской. Создать аккаунт бесплатно.
- Убедитесь, что у вас есть рабочая область с поддержкой Microsoft Fabric.
- Чтобы наслаждаться интеграцией Git, убедитесь, что она включена для рабочей области. Чтобы узнать больше о включении интеграции Git, перейдите к разделу "Начало работы с интеграцией Git".
Создание потока данных 2-го поколения с поддержкой CI/CD и Git
Чтобы создать поток данных 2-го поколения с поддержкой CI/CD и Git, выполните следующие действия.
В рабочей области Fabric выберите "Создать элемент " и выберите "Поток данных 2-го поколения".
Присвойте потоку данных имя и включите интеграцию Git. Затем выберите Создать.
Поток данных создается и перенаправляется на холст разработки потока данных. Теперь можно приступить к созданию потока данных.
По завершении нажмите кнопку "Сохранить и запустить".
После публикации поток данных имеет состояние незафиксированного.
Чтобы зафиксировать поток данных в репозиторий Git, щелкните значок управления версиями в правом верхнем углу представления рабочей области.
Выберите все изменения, которые вы хотите зафиксировать, и нажмите кнопку "Зафиксировать".
Теперь вы поддерживаете поток данных 2-го поколения с поддержкой CI/CD и Git. Мы рекомендуем следовать рекомендациям по работе с интеграцией CI/CD и Git в Fabric, описанной в сценарии 2. Разработка с помощью другого руководства по рабочей области .
Обновление потока данных 2-го поколения или планирование обновления
Вы можете обновить поток данных 2-го поколения с поддержкой CI/CD и Git двумя способами— вручную или путем планирования обновления. В следующих разделах описывается обновление потока данных 2-го поколения с поддержкой CI/CD и Git.
Обновить сейчас
В рабочей области структуры выберите значок с многоточием рядом с потоком данных, который требуется обновить.
Выберите "Обновить сейчас".
Обновление по расписанию
Если поток данных необходимо обновить через регулярный интервал, можно запланировать обновление с помощью планировщика Fabric.
В рабочей области Fabric выберите значок с многоточием рядом с потоком данных, который требуется обновить.
Выберите Расписание.
На странице расписания можно задать частоту обновления и время начала и окончания, после чего можно применить изменения.
Чтобы запустить обновление, нажмите кнопку "Обновить ".
Журнал обновления и параметры
Чтобы просмотреть журнал обновления потока данных, можно выбрать вкладку журнала обновления в раскрывающемся меню или перейти в центр мониторинга и выбрать поток данных, который нужно просмотреть.
Параметры потока данных 2-го поколения с CI/CD
Доступ к параметрам нового потока данных 2-го поколения с поддержкой CI/CD и Git аналогичен любому другому элементу Fabric. Вы можете получить доступ к параметрам, выбрав значок с многоточием параметров рядом с потоком данных и выбрав параметры.
Известные проблемы и ограничения
Хотя Dataflow Gen2 с поддержкой CI/CD и Git предоставляет мощный набор функций для совместной работы в корпоративной среде, это потребовало от нас перестроение серверной части в фабричную архитектуру. Это означает, что некоторые функции пока недоступны или имеют ограничения. Мы активно работаем над улучшением возможностей и обновим эту статью по мере добавления новых функций.
- Промежуточные артефакты находятся в некоторых интерфейсах, видимых как пользовательский интерфейс ALM. Промежуточные артефакты будут скрыты во всех взаимодействиях в будущем.
- При удалении последнего потока данных 2-го поколения с поддержкой CI/CD и Git промежуточные артефакты становятся видимыми в рабочей области и безопасно удаляются пользователем.
- Некоторые возможности упоминают о поддержке REST API, но эти API пока недоступны. Все потоки данных 2-го поколения с поддержкой CI/CD и Git будут поддерживать общедоступный API Fabric в будущем.
- Оркестрация обновления потока данных 2-го поколения с поддержкой CI/CD и Git невозможна в конвейерах данных Fabric.
- Представление рабочей области не показывает, продолжается ли обновление для потока данных.
- Copilot для потока данных 2-го поколения с поддержкой CI/CD и Git пока недоступен.
- Подключения шлюза виртуальной сети пока не поддерживаются в интерфейсе разработки потоков данных.
- Невозможно экспортировать Dataflow.json из меню рабочей области. Обходные пути, позволяющие экспортировать поток данных:
- Используйте общедоступный API Fabric, чтобы получить Dataflow.json.
- Используйте функцию шаблона power query для экспорта определения потока данных.
- Чтобы получить определение потока данных, используйте обозреватель OneLake в рабочей области.
- Поддержка потока данных 2-го поколения с поддержкой CI/CD и Git не поддерживает функцию владения в рабочей области Fabric. Поэтому только создатель потока данных может изменить поток данных. Если вы хотите работать вместе с потоком данных, вы можете использовать ветви в репозитории Git и создать запрос на вытягивание для слияния изменений. Дополнительные сведения см. в сценарии 2. Разработка с помощью другой рабочей области.
- При ветвении в другую рабочую область обновление потока данных 2-го поколения может завершиться ошибкой с сообщением о том, что промежуточный lakehouse не удалось найти. В этом случае создайте новый поток данных 2-го поколения с поддержкой CI/CD и Git в рабочей области, чтобы активировать создание промежуточного lakehouse. После этого все остальные потоки данных в рабочей области должны начать функционировать снова.
- При создании нового элемента в рабочей области может отобразиться элемент Dataflow 2-го поколения (CI/CD, предварительная версия)". Пропустить этот вариант и следуйте инструкциям, описанным в этой статье. Может потребоваться некоторое время, пока регион не отобразит флажок для включения поддержки CI/CD и Git.
- Быстрая копия может быть включена по умолчанию в потоке данных. Это можно включить с помощью параметров потока данных.
- Подключения, использующие локальный шлюз данных, в настоящее время вызывают проблемы в обновлении потока данных. Мы рекомендуем использовать другой метод для получения данных из локальных источников данных в систему fabric.
Мы стремимся постоянно улучшать поток данных 2-го поколения с поддержкой CI/CD и Git и ценим ваше терпение, так как мы работаем над этими улучшениями.