Partilhar via

Pipelines de implantação do Lakehouse e integração git (Preview)

  • Artigo

O Lakehouse integra-se com os recursos de gerenciamento de ciclo de vida no Microsoft Fabric, fornecendo uma colaboração padronizada entre todos os membros da equipe de desenvolvimento ao longo da vida útil do produto. O gerenciamento do ciclo de vida facilita um processo eficaz de versionamento e lançamento de produtos, fornecendo continuamente recursos e correções de bugs em vários ambientes. Para saber mais, consulte O que é o gerenciamento do ciclo de vida no Microsoft Fabric?.

Importante

Este recurso está em pré-visualização.

Integração Lakehouse git

O Lakehouse é um item que contém metadados e dados referenciados em vários objetos no espaço de trabalho. Lakehouse contém tabelas, pastas e atalhos como itens de contêiner de dados gerenciáveis primários. Do ponto de vista do fluxo de trabalho de desenvolvimento, os seguintes objetos dependentes podem fazer referência a um Lakehouse:

O modelo semântico padrão e os metadados do ponto de extremidade da análise SQL estão relacionados a um Lakehouse e são gerenciados pelo processo de atualização do git por padrão. Como os dados de princípio não são rastreados no git, apenas os metadados são rastreados.

Representação Git

As seguintes informações do lakehouse são serializadas e rastreadas em um espaço de trabalho conectado ao git:

  • Display name
  • Descrição
  • GUID lógico

Nota

O guid lógico rastreado é um identificador de espaço de trabalho cruzado gerado automaticamente que representa um item e sua representação de controle do código-fonte.

Importante

Apenas o artefato de contêiner Lakehouse é rastreado no git na experiência atual. Tabelas (Delta e não Delta) e Pastas na seção Arquivos não são rastreadas e versionadas no git.

Recursos de integração do Lakehouse git

Os seguintes recursos estão disponíveis:

  • Serialização dos metadados do objeto Lakehouse para uma representação JSON git.
  • Aplique as alterações diretamente ou use a solicitação pull para controlar as alterações em espaços de trabalho e ramificações upstream ou downstream.
  • Renomear casas de lago são rastreadas no git. A atualização de um lakehouse renomeado também renomeia o modelo de dados semânticos padrão e o ponto de extremidade do SQL Analytics.
  • Nenhuma ação é aplicada aos metadados de tabelas e pastase os dados desses itens são sempre preservados.
  • Metadados do OneLake Shortcuts são preservados no git.

Funcionalidades de integração do git com atalhos do OneLake

  • As definições de atalhos na seção Tabelas e Arquivos são armazenadas em um arquivo chamado shortcuts.metadata.json na pasta lakehouse no git.
  • As seguintes operações são suportadas e rastreadas automaticamente: adição, eliminação e atualizações de atalhos.
  • As operações podem ser executadas diretamente na interface do usuário do Fabric ou no repositório git alterando o arquivo shortcuts.metadata.json.
  • Os atalhos com destinos internos (OneLake Shortcuts) são atualizados automaticamente durante a sincronização do git. Para que o atalho seja válido, essas referências precisam ser destinos válidos no espaço de trabalho. Se os destinos forem inválidos para Atalhos definidos na seção de tabelas lakehouse, esses Atalhos serão movidos para a seção Unidentified até que as referências sejam resolvidas.

Importante

Tenha cuidado ao alterar as propriedades do OneLake Shortcut diretamente no arquivo shortcuts.metadata.json. Alterações incorretas nas propriedades, especialmente GUIDs, podem tornar o atalho OneLake inválido quando as atualizações são aplicadas de volta ao espaço de trabalho.

Importante

Uma atualização do git substituirá o estado dos atalhos no espaço de trabalho. Todos os atalhos no espaço de trabalho são criados, atualizados ou excluídos com base no estado de entrada do git.

Lakehouse em gasodutos de implantação

O Lakehouse é suportado nos pipelines de implantação do gerenciamento do ciclo de vida do Microsoft Fabric. Ele permite práticas recomendadas de segmentação de ambiente.

Recursos de integração de pipelines de implantação Lakehouse:

  • Implantação em espaços de trabalho de desenvolvimento, teste e produção.

  • Lakehouse pode ser removido como um objeto dependente após a implantação. O mapeamento de diferentes Lakehouses dentro do contexto do pipeline de implantação também é suportado.

    • Se nada for especificado durante a configuração do pipeline de implantação, um novo objeto Lakehouse vazio com o mesmo nome será criado no espaço de trabalho de destino. As definições de trabalho do bloco de anotações e do Spark são remapeadas para fazer referência ao novo objeto Lakehouse no novo espaço de trabalho.

    • Se a dependência do Lakehouse estiver configurada para fazer referência a um Lakehouse diferente durante o tempo de configuração do pipeline de implantação, como o Lakehouse upstream, um novo objeto vazio do Lakehouse com o mesmo nome ainda será criado no espaço de trabalho de destino, mas as referências de Notebooks e Definições de Trabalho do Spark serão preservadas para um Lakehouse diferente, conforme solicitado.

    • Os pontos de extremidade e os modelos semânticos do SQL Analytics são provisionados como parte da implantação do Lakehouse.

  • Nenhum objeto dentro da Lakehouse é substituído.

  • As atualizações para o nome do Lakehouse podem ser sincronizadas entre espaços de trabalho em um contexto de pipeline de implantação.

Atalhos OneLake nos pipelines de implantação

  • As definições de atalhos são sincronizadas entre as fases nos pipelines de implantação.
  • Os atalhos com destinos externos (ADLS Gen2, S3, etc.) são os mesmos em todos os estágios após a implantação.
  • Os atalhos com destinos internos (Atalhos OneLake) no mesmo espaço de trabalho são remapeados automaticamente entre estágios. Os atalhos que têm como alvo o Data Warehouse e os Modelos Semânticos não são remapeados durante a implantação. Tabelas, pastas e arquivos não são criados no espaço de trabalho de destino. Para que o atalho seja válido, essas referências precisam ser criadas no espaço de trabalho de destino após a implantação.
  • No cenário em que o mesmo atalho precisa apontar para locais diferentes em etapas diferentes. Por exemplo, em Desenvolvimento, aponte para uma pasta específica no Amazon S3 e, em Produção, uma pasta diferente no ADLS Gen2. Após a implantação, atualize a definição de atalho do OneLake no Lakehouse ou diretamente usando as APIs do OneLake.

Importante

Uma implantação substituirá o estado dos atalhos no espaço de trabalho de destino. Todos os atalhos no data lakehouse de destino são atualizados ou excluídos com base no estado do data lakehouse de origem. Novos atalhos são criados no lakehouse de destino. Sempre clique em "revisar alterações" para entender as alterações que serão implantadas entre os espaços de trabalho de origem e de destino.

Conteúdos relacionados