Поделиться через

Конвейеры развертывания базы данных Eventhouse и KQL и интеграция git (предварительная версия)

  • Статья

Центры событий и базы данных KQL интегрируются с возможностями управления жизненным циклом в Microsoft Fabric, обеспечивая стандартизированную совместную работу между всеми участниками группы разработки на протяжении всей жизни продукта. Эта функция предоставляется через конвейеры интеграции и развертывания Git.

В этой статье вы узнаете о параметрах конфигурации, доступных с помощью управления жизненным циклом Microsoft Fabric для центров событий и баз данных KQL.

Интеграция Git базы данных Eventhouse и KQL

Хранилище событий и база данных KQL — это элементы, содержащие метаданные и данные, на которые ссылаются несколько объектов в рабочей области. База данных Eventhouse и KQL содержат таблицы, функции и материализованные представления. С точки зрения рабочего процесса разработки следующие зависимые объекты могут ссылаться на хранилище событий или базу данных KQL:

Интеграция git применяется на уровне платформы и данных для центров событий и баз данных KQL.

Интеграция на уровне платформы

Следующие сведения о хранилище событий и базе данных KQL сериализуются и отслеживаются в рабочей области, подключенной к Git:

  • Eventhouse

    • Имя
    • Описание
    • Логический guid

  • База данных KQL

    • Имя
    • Описание
    • Политика кэширования
    • Политика хранения
    • Логический guid

Интеграция уровня данных

Интеграция на уровне данных достигается с помощью скрипта KQL для создания или изменения схем объектов базы данных, свойств и политик. Однако важно отметить, что не все команды, поддерживаемые в скрипте KQL, совместимы с Microsoft Fabric ALM.

  • База данных KQL

    В скрипте KQL поддерживаются следующие объекты базы данных:

    • Таблица
    • Function
    • Обновление политики таблиц
    • Политика кодирования столбцов
    • Материализованное представление
    • Сопоставление приема таблиц

    Сведения о поддерживаемых командах см. в описании файла DatabaseSchema.kql в файлах базы данных KQL.

Представление интеграции Git

Каждый объект событий и элементы базы данных KQL, синхронизированные с git, отображаются в собственной папке с именем с использованием следующего формата: <ItemName><ItemType> где <ItemName> имя элемента и <ItemType> тип элемента. Например, для хранилища событий с именем Example с одной базой данных KQL с именем ExampleDB в репозитории Git отображаются следующие папки:

  • Пример.Eventhouse
  • ExampleDB.KQLDatabase

Файлы Eventhouse

Следующие файлы содержатся в папке eventhouse:

  • .платформа

    Файл использует следующую схему для определения хранилища событий:

    {
  "$schema": "https://developer.microsoft.com/json-schemas/fabric/gitIntegration/platformProperties/2.0.0/schema.json",
  "metadata": {
    "type": "Eventhouse",
    "displayName": "",
    "description": ""
  },
  "config": {
    "version": "2.0",
    "logicalId": ""
  }
}

  • EventhouseProperties.json

    Файл позволяет настроить параметры уровня платформы для элемента eventhouse.

Файлы базы данных KQL

Следующие файлы содержатся в папке базы данных KQL:

  • .платформа

    Файл использует следующую схему для определения базы данных KQL:

    {
  "$schema": "https://developer.microsoft.com/json-schemas/fabric/gitIntegration/platformProperties/2.0.0/schema.json",
  "metadata": {
    "type": "KQLDatabase",
    "displayName": "",
    "description": ""
  },
  "config": {
    "version": "2.0",
    "logicalId": ""
  }
}

  • DatabaseProperties.json

    Файл использует следующую схему для настройки параметров уровня платформы для элемента базы данных KQL:

    {
  "databaseType": "ReadWrite",
  "parentEventhouseItemId": "",
  "oneLakeCachingPeriod": "P36500D",
  "oneLakeStandardStoragePeriod": "P36500D"
}

    В следующей DatabaseProperties.json таблице описываются свойства в файле:

    Свойство Description
    databaseType Допустимые значения: ReadWrite
    parentEventhouseItemId Логический идентификатор родительского хранилища событий. Это не должно быть изменено.
    oneLakeCachingPeriod Параметр уровня базы данных для политики кэширования.
    oneLakeStandardStoragePeriod Параметр уровня базы данных для политики хранения.

  • DatabaseSchema.kql

    Файл — это скрипт KQL, который настраивает параметры уровня данных для базы данных KQL. Он автоматически создается при синхронизации базы данных KQL с git. Файл выполняется при синхронизации с рабочей областью Fabric.

    Вы можете внести изменения в этот скрипт, добавив или изменив следующие поддерживаемые команды:

    Объект базы данных Поддерживаемые команды
    Таблица Создание или слияние
    Function Создание или изменение
    Обновление политики таблиц Alter
    Политика кодирования столбцов Alter
    Материализованное представление Создание или изменение
    Сопоставление приема таблиц Создание или изменение

    Ниже приведен пример скрипта kql для создания таблицы и его сопоставления приема.

    // KQL script
// Use management commands in this script to configure your database items, such as tables, functions, materialized views, and more.

.create-merge table SampleTable (UsageDate:datetime, PublisherType:string, ChargeType:string, ServiceName:string, ServiceTier:string, Meter:string, PartNumber:string, CostUSD:real, Cost:real, Currency:string)
.create-or-alter table SampleTable ingestion csv mapping 'SampleTable_mapping' "[{'Properties':{'Ordinal':'0'},'column':'UsageDate','datatype':''},{'Properties':{'Ordinal':'1'},'column':'PublisherType','datatype':''}]"

Связанный контент