Criar um link do Azure Synapse para Dataverse com o Azure Data Lake

Artigo
01/29/2025

Você pode usar o link do Azure Synapse para conectar os dados do Microsoft Dataverse ao Azure Data Lake Storage Gen2 para habilitar cenários analíticos variados. Este artigo mostra como realizar as seguintes tarefas:

Conecte os dados do Dataverse à conta do Azure Data Lake Storage Gen2 com o serviço Link do Azure Synapse.
Gerencie tabelas do Dataverse incluídas no Link do Azure Synapse.
Monitore o Link do Azure Synapse.
Desvincule o Link do Azure Synapse.
Revincule o Link do Azure Synapse.
Visualize seus dados no Azure Data Lake e entenda a estrutura de arquivos.

Observação

O Link do Azure Synapse para Dataverse era conhecido como Exportar para o Data Lake. O serviço foi renomeado em maio de 2021 e continuará a exportar dados para o Azure Data Lake, bem como para o Azure Synapse Analytics.

Pré-requisitos

Azure Data Lake Storage Gen2: você deve ter uma conta do Azure Data Lake Storage Gen2 e o acesso de funções Proprietário e Colaborador de Dados do Blob de Armazenamento. Sua conta de armazenamento deve habilitar namespace hierárquico para a configuração inicial e a sincronização delta. Permitir acesso à chave da conta de armazenamento é obrigatório apenas para a configuração inicial.

Observação

A conta de armazenamento deve ser criada no mesmo locatário do Microsoft Entra que seu locatário do Power Apps .
Para definir Habilitado a partir de redes virtuais e endereços IP selecionados para uma conta de armazenamento vinculada a fim de conceder acesso com base em endereços IP selecionados, você deve criar um Link do Azure Synapse com identidades gerenciadas.Use identidades gerenciadas para Azure com o Azure Data Lake Storage (sem identidades gerenciadas configuradas, você deve habilitar o acesso à rede pública para recursos Azure para configuração inicial e sincronização delta).
É altamente recomendável que você habilite o recurso de soft delete na conta de armazenamento selecionada para essa finalidade. A habilitação de uma exclusão temporária permite a você se recuperar mais rapidamente das exclusões de dados acidentais.
Você deve ter o direito de acesso Leitor ao grupo de recursos com a conta de armazenamento.
Para vincular o ambiente ao Azure Data Lake Storage Gen2, é necessário ter o direito de acesso de administrador do sistema do Dataverse.
Somente as tabelas que tenham o controle de alterações habilitado podem ser exportadas.
A criação de perfis do Link do Azure Synapse em um único ambiente do Dataverse é limitada a um máximo de 10.

Conectar seu Dataverse ao Azure Data Lake Storage Gen2

Entre no Power Apps e selecione seu ambiente preferido.
No painel de navegação esquerdo, selecione Link do Azure Synapse. Se Link do Azure Synapse não estiver visível no painel lateral, selecione ...Mais e Descobrir tudo. Link do Azure Synapse está na seção Gerenciamento de Dados.
Na barra de comandos, selecione + Novo link para o data lake.
Selecione a Assinatura, o Grupo de recursos e a Conta de armazenamento. Verifique se a conta de armazenamento atende aos requisitos especificados na seção Pré-requisitos. Selecione Avançar.

Observação

Como parte da vinculação do ambiente a um data lake, você concede ao serviço Link do Azure Synapse acesso à conta de armazenamento. Verifique se você seguiu os pré-requisitos de criar e configurar a conta Azure Data Lake Storage e conceder a si mesmo uma função de proprietário na conta de armazenamento. Além disso, você concede ao serviço de fluxo de dados da Power Platform acesso à sua conta de armazenamento. Mais informações: Preparação de dados de autoatendimento com fluxos de dados.
Adicione as tabelas que deseja exportar e selecione Salvar. Somente as tabelas com controle de alterações habilitado podem ser exportadas. Mais informações: Habilitar o controle de alterações.

Você pode seguir as etapas neste artigo para criar um link de um ambiente para vários Azure Data Lakes em sua assinatura do Azure. Da mesma forma, você pode criar um link de vários ambientes para o mesmo Azure Data Lake, tudo no mesmo locatário.

Observação

O serviço Link do Azure Synapse para Dataverse está perfeitamente integrado ao Power Platform como um recurso pronto para uso. Ele atende aos padrões de segurança e governança definidos para o armazenamento de dados e governança do Power Platform. Mais informações: Armazenamento de dados e governança

Os dados exportados pelo serviço Link do Azure Synapse são criptografados em trânsito usando o Transport Layer Security (TLS) 1.2 ou superior e criptografados em repouso no Azure Data Lake Storage Gen2. Além disso, os dados transitórios no armazenamento de blobs também são criptografados em repouso. A criptografia no Azure Data Lake Storage Gen2 ajuda a proteger seus dados, implementar políticas de segurança corporativa e atender aos requisitos de conformidade regulamentar. Mais informações: Criptografia de dados em repouso do Azure

Gerenciar dados da tabela para o data lake

Depois de configurar o Link do Azure Synapse, você poderá gerenciar as tabelas exportadas de duas maneiras:

Na área Link do Azure Synapse do Power Apps Maker Portal, selecione Gerenciar tabelas na barra de comandos para adicionar ou remover uma ou mais tabelas vinculadas.
Na área Tabelas do Power Apps maker portal, selecione ... ao lado de uma tabela e, em seguida, selecione o data lake vinculado para o qual você deseja exportar os dados da tabela.

Monitorar o Link do Azure Synapse

Depois de configurar o Link do Azure Synapse, você poderá monitorar o Link do Azure Synapse na guia Tabelas.

Monitoramento do Link do Azure Synapse

Haverá uma lista de tabelas que fazem parte do Link do Azure Synapse selecionado.
Há diferentes estágios pelos quais o status de sincronização circula. NotStarted indica que a tabela está esperando para ser sincronizada. Assim que a sincronização inicial da tabela for Concluída, haverá um estágio de pós-processamento em que as atualizações incrementais não ocorrerão. Isso pode levar algumas horas, dependendo do tamanho dos dados. Conforme as atualizações incrementais começam a ocorrer, a data da última sincronização será atualizada regularmente.
A coluna Contagem mostra o número de linhas gravadas. Quando Somente acrescentar estiver definido como Não, este será o número total de registros. Quando Somente acrescentar estiver definido como Sim, este será o número total de alterações.
As colunas Anexar somente e Estratégia de partição mostram o uso de diferentes configurações avançadas.

Como desvincular um Link do Azure Synapse

Selecione o Link do Azure Synapse desejado a ser desvinculado.
Selecione Desvincular data lake na barra de comandos.
Para excluir o data lake e o sistema de arquivos, selecione Excluir sistema de arquivos do data lake.
Selecione Sim e aguarde alguns minutos para que tudo seja desvinculado e excluído.

Como vincular um Link do Azure Synapse

Se você excluiu o sistema de arquivos ao desvinculá-lo, siga as etapas acima para vincular novamente o mesmo data lake. Se não excluiu o sistema de arquivos ao desvincular, você deverá limpar os dados para revincular:

Acesse o Azure Data Lake.
Exclua o contêiner do Dataverse.
Acesse o Power Apps e vincule novamente o data lake.

Visualize seus dados no Azure Data Lake Storage Gen2

Selecione o Link do Azure Synapse desejado e, em seguida, selecione Ir até o Azure Data Lake no painel superior.
Expanda Sistemas de Arquivos e, em seguida, selecione dataverse-environmentName-organizationUniqueName.

O arquivo model.json, junto com seu nome e versão, fornece uma lista de tabelas que foram exportadas para o data lake. O arquivo model.json também inclui o status inicial da sincronização e o horário de conclusão da sincronização.

Uma pasta que inclui arquivos delimitados por vírgulas (formato CSV) de instantâneo é exibida para cada tabela exportada para o data lake. Dados da tabela no data lake.

Vincular um espaço de trabalho do Synapse a um perfil do Link do Azure Synapse existente somente com data lake

Na barra de endereços do seu navegador da Web, acrescente ?athena.updateLake=true ao endereço Web que termina com exporttodatalake.
Selecione um perfil existente na área Link do Azure Synapse e selecione a opção estendida.
Selecione Link para Espaço de Trabalho do Azure Synapse Analytics aguarde alguns minutos para que tudo seja vinculado.

Atualizações contínuas de instantâneos

Os dados do Microsoft Dataverse podem ser alterados continuamente por meio de transações de criação, atualização e exclusão. Os instantâneos fornecem uma cópia somente leitura dos dados que são atualizados em intervalos regulares, neste caso a cada hora. Isso garante que, a qualquer momento, um consumidor de análise de dados possa consumir dados de forma confiável no data lake.

Atualizações contínuas de instantâneos.

Quando as tabelas são adicionadas como parte da exportação inicial, os dados da tabela são gravados nos arquivos table.csv nas pastas correspondentes no data lake. Este é o intervalo T1, em que um arquivo somente leitura de instantâneo chamado table-T1.csv – por exemplo, Account-T1.csv ou Contacts-T1.csv – é criado. Além disso, o arquivo model.json é atualizado para apontar para os arquivos desse instantâneo. Abrindo o model.json, você pode exibir os detalhes do instantâneo.

Veja a seguir um exemplo de arquivo particionado Account.csv e pasta de instantâneo no data lake.

Instantâneo da tabela Contas.

As alterações no Dataverse são continuamente enviadas para os arquivos csv correspondentes usando o mecanismo de alimentação de fluxo. Esse é o intervalo T2, onde outro instantâneo é obtido. tabela-T2.csv – por exemplo, Contas-T2.csv ou Contatos-T2.csv (supondo que haja alterações para a tabela) – e model.json são atualizados para os novos arquivos de instantâneo. Qualquer outra pessoa que exibir os dados de instantâneo do T2 em diante é direcionada aos arquivos de instantâneo mais recentes. Dessa forma, o visualizador do instantâneo original pode continuar trabalhando nos arquivos T1 do instantâneo mais antigos, enquanto os visualizadores mais novos podem ler as atualizações mais recentes. Isso é útil em cenários com processos de downstream demorados.

Observação

Um novo arquivo de instantâneo será criado somente se houver uma atualização de dados. Somente os cinco arquivos de instantâneo mais recentes são mantidos. Os dados estagnados são removidos automaticamente da conta Azure Data Lake Storage Gen 2.

Veja a seguir um exemplo do arquivo model.json, que sempre aponta para o arquivo de instantâneo mais recente da conta marcado.

Arquivo model.json de instantâneo de amostra.

O que vem a seguir?

Depois de usar com êxito o serviço Link do Azure Synapse para Dataverse, descubra como você pode analisar e consumir os dados com o Hub de Descobertas. Para acessar o Hub de Descobertas, vá até Power Apps>Link do Azure Synapse. Selecione seu serviço vinculado e selecione a guia Hub de Descoberta. Aqui você pode encontrar ferramentas recomendadas e documentação com curadoria para obter o máximo valor de seus dados. Hub de Descoberta.