Поделиться через

Конвейеры развертывания Lakehouse и интеграция git (предварительная версия)

  • Статья

Lakehouse интегрируется с возможностями управления жизненным циклом в Microsoft Fabric, обеспечивая стандартизированную совместную работу между всеми участниками группы разработки на протяжении всей жизни продукта. Управление жизненным циклом упрощает эффективный процесс управления версиями продуктов и выпуска, постоянно предоставляя функции и исправления ошибок в нескольких средах. Дополнительные сведения см. в статье "Что такое управление жизненным циклом в Microsoft Fabric?".

Внимание

Эта функция доступна в предварительной версии.

Интеграция Git Lakehouse

Lakehouse — это элемент, содержащий как метаданные, так и данные, на которые ссылается несколько объектов в рабочей области. Lakehouse содержит таблицы, папки и ярлыки в качестве основных управляемых элементов контейнера данных. С точки зрения рабочего процесса разработки следующие зависимые объекты могут ссылаться на Lakehouse:

Семантическая модель по умолчанию и метаданные конечной точки аналитики SQL связаны с Lakehouse и управляются процессом обновления Git по умолчанию. Так как основные данные не отслеживаются в Git, отслеживаются только метаданные.

Представление Git

Следующие сведения lakehouse сериализуются и отслеживаются в подключенной рабочей области Git:

  • отображаемое имя;
  • Description
  • Логический guid

Примечание.

Отслеживаемый логический guid — это автоматически созданный идентификатор межрабочая область, представляющий элемент и его представление системы управления версиями.

Внимание

Только артефакт контейнера Lakehouse отслеживается в Git в текущем интерфейсе. таблицы (Delta и non-Delta) и папки в разделе "Файлы" не отслеживаются и версии вGit.

Возможности интеграции с Lakehouse git

Доступны следующие возможности:

  • Сериализация метаданных объекта Lakehouse в представление JSON git.
  • Примените изменения напрямую или используйте запрос на вытягивание для управления изменениями в вышестоящих или подчиненных рабочих областях и ветвях.
  • Переименование лейкхаусов отслеживается в Git. Обновление переименованного lakehouse также переименовывает модель семантических данных по умолчанию и конечную точку АНАЛИТИКИ SQL.
  • Никаких действий не применяется к таблицам и метаданным папок, а данные этих элементов всегда сохраняются.
  • метаданные ярлыков OneLake сохраняются в Git.

Возможности интеграции ярлыков OneLake с Git

  • Определения ярлыков в разделе "Таблицы и файлы" хранятся в файле с именем shortcuts.metadata.json в папке Lakehouse в Git.
  • Следующие операции поддерживаются и отслеживаются автоматически: добавление, удаление и обновление ярлыков.
  • Операции можно выполнять непосредственно в пользовательском интерфейсе Fabric или в репозитории Git, изменив файл shortcuts.metadata.json.
  • Ярлыки с внутренними целевыми объектами (OneLake Shortcuts) автоматически обновляются при синхронизации с Git. Чтобы ярлык был допустимым, эти ссылки должны быть допустимыми целевыми объектами в рабочей области. Если цели недопустимы для ярлыков, определенных в разделе таблиц Lakehouse, эти ярлыки перемещаются в раздел Unidentified до тех пор, пока ссылки не будут разрешены.

Внимание

Используйте осторожность при изменении свойств ярлыка OneLake непосредственно в файле shortcuts.metadata.json. Неверные изменения свойств, в частности GUID, могут сделать ярлык OneLake недействительным при применении обновлений к рабочей области.

Внимание

Обновление Git переопределит состояние ярлыков в рабочей области. Все сочетания клавиш в рабочей области создаются, обновляются или удаляются на основе входящего состояния из git.

Lakehouse в конвейерах развертывания

Lakehouse поддерживается в конвейерах развертывания управления жизненным циклом Microsoft Fabric. Это обеспечивает рекомендации по сегментации среды.

Возможности интеграции конвейеров развертывания Lakehouse:

  • Развертывание в рабочих областях разработки, тестирования и рабочей среды.

  • Lakehouse можно удалить как зависимый объект при развертывании. Сопоставление различных Lakehouse в контексте конвейера развертывания также поддерживается.

    • Если во время настройки конвейера развертывания ничего не указано, в целевой рабочей области создается новый пустой объект Lakehouse с тем же именем. Определения заданий Notebook и Spark переназначаются для ссылки на новый объект Lakehouse в новой рабочей области.

    • Если зависимость Lakehouse настроена для ссылки на другое Lakehouse во время настройки конвейера развертывания, например вышестоящий Lakehouse, новый пустой объект Lakehouse с тем же именем по-прежнему создается в целевой рабочей области, но ссылки на записные книжки и определения заданий Spark сохраняются в другом Lakehouse, как запрошено.

    • Конечные точки и семантические модели SQL Analytics подготавливаются в рамках развертывания Lakehouse.

  • Объект внутри Lakehouse не перезаписан.

  • Обновления имени Lakehouse можно синхронизировать между рабочими областями в контексте конвейера развертывания.

Сочетания клавиш OneLake в конвейерах развертывания

  • Определения сочетаний клавиш синхронизируются между этапами в конвейерах развертывания.
  • Сочетания клавиш с внешними целевыми объектами (ADLS 2-го поколения, S3 и т. д.) одинаковы для всех этапов после развертывания.
  • Сочетания клавиш с внутренними целевыми объектами (Сочетания клавиш OneLake) в одной рабочей области автоматически переопределяются между этапами. Сочетания клавиш, предназначенные для хранилища данных и семантических моделей, не перенастраиваются во время развертывания. Таблицы, папки и файлы не создаются в целевой рабочей области. Чтобы ярлык был допустимым, эти ссылки необходимо создать в целевой рабочей области после развертывания.
  • В случае, когда один и тот же ярлык должен направляться на разные локации на различных этапах. Например, в разделе "Разработка" указывается на конкретную папку в Amazon S3, а в продакшне — на другую папку в ADLS Gen2. После развертывания обновите определение ярлыка OneLake в Lakehouse или непосредственно с помощью API OneLake.

Внимание

Развертывание переопределит состояние ярлыков в целевой рабочей области. Все ярлыки в целевом озерном доме обновляются или удаляются на основе состояния в исходном озерном доме. Новые сочетания клавиш создаются в целевом озерном доме. Всегда щелкните "Просмотреть изменения", чтобы понять изменения, которые будут развертываться между исходными и целевыми рабочими областями.

Связанный контент