Pipelines de implantação de banco de dados Eventhouse e KQL e integração com git (Visualização)
As casas de eventos e os bancos de dados KQL integram-se aos recursos de gerenciamento do ciclo de vida do Microsoft Fabric, fornecendo uma colaboração padronizada entre todos os membros da equipe de desenvolvimento ao longo da vida útil do produto. Essa funcionalidade é fornecida por meio de pipelines de integração e implantação do git.
Neste artigo, você aprenderá sobre as opções de configuração disponíveis por meio do gerenciamento de ciclo de vida do Microsoft Fabric para casas de eventos e bancos de dados KQL.
Integração com o git do banco de dados Eventhouse e KQL
A casa de eventos e o banco de dados KQL são itens que contêm metadados e dados referenciados em vários objetos no espaço de trabalho. O Eventhouse e o banco de dados KQL contêm tabelas, funções e exibições materializadas. Do ponto de vista do fluxo de trabalho de desenvolvimento, os seguintes objetos dependentes podem fazer referência a uma casa de eventos ou banco de dados KQL:
- Definições de trabalho do Spark
- Notebooks
- Modelos semânticos e Power BI
A integração do git aplica-se ao nível da plataforma e dos dados para casas de eventos e bases de dados KQL.
Integração ao nível da plataforma
As seguintes informações da casa de eventos e do banco de dados KQL são serializadas e rastreadas em um espaço de trabalho conectado ao git:
Casa de eventos
- Nome
- Descrição
- GUID lógico
Base de dados KQL
- Nome
- Descrição
- Política de Colocação em Cache
- Política de Retenção
- GUID lógico
Integração em nível de dados
A integração no nível de dados é obtida através do uso de um script KQL para criar ou modificar esquemas, propriedades e políticas de objetos de banco de dados. No entanto, é importante observar que nem todos os comandos suportados em um script KQL são compatíveis com o Microsoft Fabric ALM.
Base de dados KQL
Os seguintes objetos de banco de dados são suportados no script KQL:
- Tabela
- Function
- Atualização da política de tabela
- Política de codificação de colunas
- Vista materializada
- Mapeamento de ingestão de tabela
Para obter informações sobre comandos suportados, consulte a descrição do arquivo DatabaseSchema.kql em Arquivos de banco de dados KQL.
Representação de integração do Git
Cada casa de eventos e itens do banco de dados KQL sincronizados com o git aparecem em sua própria pasta nomeada usando o seguinte formato: <ItemName>
.<ItemType>
onde <ItemName>
é o nome do item e <ItemType>
é o tipo do item. Por exemplo, para uma casa de eventos chamada Example que tem um único banco de dados KQL chamado ExampleDB, as seguintes pastas aparecem no repositório git:
- Exemplo.Casa de eventos
- ExemploDB.KQLDatabase
Arquivos da Eventhouse
Os seguintes arquivos estão contidos em uma pasta da casa de eventos:
.plataforma
O arquivo usa o seguinte esquema para definir uma casa de eventos:
{ "$schema": "https://developer.microsoft.com/json-schemas/fabric/gitIntegration/platformProperties/2.0.0/schema.json", "metadata": { "type": "Eventhouse", "displayName": "", "description": "" }, "config": { "version": "2.0", "logicalId": "" } }
EventhouseProperties.json
O arquivo permite que você defina configurações no nível da plataforma para o item da casa de eventos.
Arquivos de banco de dados KQL
Os seguintes arquivos estão contidos em uma pasta de banco de dados KQL:
.plataforma
O arquivo usa o seguinte esquema para definir um banco de dados KQL:
{ "$schema": "https://developer.microsoft.com/json-schemas/fabric/gitIntegration/platformProperties/2.0.0/schema.json", "metadata": { "type": "KQLDatabase", "displayName": "", "description": "" }, "config": { "version": "2.0", "logicalId": "" } }
DatabaseProperties.json
O arquivo usa o seguinte esquema para definir as configurações no nível da plataforma para o item de banco de dados KQL:
{ "databaseType": "ReadWrite", "parentEventhouseItemId": "", "oneLakeCachingPeriod": "P36500D", "oneLakeStandardStoragePeriod": "P36500D" }
A tabela a seguir descreve as propriedades no
DatabaseProperties.json
arquivo:Property Description tipo de banco de dados Valores válidos: ReadWrite parentEventhouseItemId A ID lógica da casa de eventos pai. Isso não deve ser modificado. oneLakeCachingPeriod Configuração de nível de banco de dados para a política de cache. oneLakeStandardStoragePeriod Configuração no nível do banco de dados para a política de retenção. DatabaseSchema.kql
O arquivo é um script KQL que define as configurações de nível de dados para o banco de dados KQL. Ele é gerado automaticamente quando o banco de dados KQL é sincronizado com o git. O arquivo é executado durante a sincronização com seu espaço de trabalho de malha.
Você pode fazer alterações nesse script adicionando ou modificando os seguintes comandos suportados:
Objeto de banco de dados Comandos suportados Tabela Criar ou mesclar Function Criar ou alterar Atualização da política de tabela Alter Política de codificação de colunas Alter Vista materializada Criar ou alterar Mapeamento de ingestão de tabela Criar ou alterar A seguir está um exemplo de um script kql para criar uma tabela e seu mapeamento de ingestão.
// KQL script // Use management commands in this script to configure your database items, such as tables, functions, materialized views, and more. .create-merge table SampleTable (UsageDate:datetime, PublisherType:string, ChargeType:string, ServiceName:string, ServiceTier:string, Meter:string, PartNumber:string, CostUSD:real, Cost:real, Currency:string) .create-or-alter table SampleTable ingestion csv mapping 'SampleTable_mapping' "[{'Properties':{'Ordinal':'0'},'column':'UsageDate','datatype':''},{'Properties':{'Ordinal':'1'},'column':'PublisherType','datatype':''}]"