Copiar dados do Dataverse para o Azure SQL

Utilize o Azure Synapse Link para ligar os seus dados do Microsoft Dataverse ao Azure Synapse Analytics para explorar os seus dados e acelerar o tempo até às informações. Este artigo mostra-lhe como executar pipelines do Azure Synapse ou do Azure Data Factory para copiar dados do Azure Data Lake Storage Gen2 para uma Base de Dados SQL do Azure com a caraterística de atualizações incrementais ativada no Azure Synapse Link.

Nota

O Azure Synapse Link for Microsoft Dataverse era anteriormente conhecido como o serviço Exportar para data lake. O serviço foi renomeado a partir de maio de 2021 e continuará a exportar dados para o Azure Data Lake, bem como Azure Synapse Analytics. Este modelo é um exemplo de código. Recomendamos que utilize este modelo como orientação para testar a funcionalidade de obtenção de dados do Azure Data Lake Storage Gen2 para a Base de Dados SQL do Azure utilizando o pipeline fornecido.

Pré-requisitos

1. Azure Synapse Link for Dataverse. Este guia assume que já cumpre com os pré-requisitos para criar uma Azure Synapse Link com um Azure Data Lake. Mais informações: Pré-requisitos para um Azure Synapse Link for Dataverse com o seu Azure Data Lake
2. Crie um Azure Synapse Workspace ou Azure Data Factory sob o mesmo inquilino do Microsoft Entra que o seu inquilino do Power Apps.
3. Crie um Azure Synapse Link for Dataverse com a atualização de pasta incremental ativada para definir o intervalo de tempo. Mais informações: Consultar e analisar as atualizações incrementais
4. O fornecedor Microsoft.EventGrid precisa de ser registado para o acionador. Mais informações: Portal do Azure. Nota: Se estiver a utilizar esta caraterística no Azure Synapse Analytics, certifique-se de que a sua subscrição também está registada no fornecedor de recursos do Data Factory, caso contrário, obterá um erro a informar que a criação de uma "Subscrição de Evento" falhou.
5. Crie uma base de dados SQL do Azure com a propriedade Permitir que os serviços e recursos do Azure acedam a este servidor ativada. Mais informações: O que devo saber quando configurar a minha Base de Dados SQL do Azure (PaaS)?
6. Criar e configurar um Azure Integration Runtime. Mais informações: Criar Azure Integration Runtime – Azure Data Factory e Azure Synapse

Importante

A utilização deste modelo poderá incorrer em custos adicionais. Estes custos estão relacionados com a utilização do Azure Data Factory ou do pipeline da área de trabalho do Synapse são faturados mensalmente. O custo da utilização de pipelines depende principalmente do intervalo de tempo para a atualização e dos volumes de dados. Para planear e gerir o custo da utilização desta funcionalidade, vá para: Monitorizar custos ao nível do pipeline com análise de custos

É importante ter em conta estes custos adicionais em consideração quando optar por utilizar este modelo, uma vez que não são opcionais e têm de ser pagos para continuar a utilizar esta funcionalidade.

Utilizar o modelo de soluções

Synapse Analytics

1. Vá para o portal do Azure e abra o Azure Synapse workspace.
2. Selecione Integrar > Navegar pela galeria.
3. Selecione Copiar dados do Dataverse para o SQL do Azure utilizando a Synapse Link a partir da galeria de integração.

Fábrica de Dados do Azure

1. Aceda ao portal do Azure e abra o Studio do Azure Data Factory.
2. Selecione Adicionar novo recurso > Pipeline > Galeria de modelos.
3. Selecione Copiar dados do Dataverse para o SQL do Azure utilizando a Synapse Link a partir da galeria de modelos.

Configurar o modelo de soluções

1. Crie um serviço ligado ao Azure Data Lake Storage Gen2, que esteja ligado ao Dataverse utilizando o tipo de autenticação adequado. Para tal, selecione Testar ligação para validar a conectividade e, em seguida, selecione Criar.

2. À semelhança dos passos anteriores, crie um serviço ligado à Base de Dados SQL do Azure onde os dados do Dataverse serão sincronizados.

3. Depois de as Entradas serem configuradas, selecione Utilizar este modelo.

4. Agora, é possível adicionar um acionador para automatizar este pipeline, para que o pipeline possa sempre processar ficheiros quando as atualizações incrementais são concluídas periodicamente. Aceda a Gerir > Acionador e crie um acionador utilizando as seguintes propriedades:

   • Nome: introduza um nome para o acionador, como triggerModelJson.
   • Tipo: Eventos de armazenamento.
   • Subscrição do Azure: selecione a subscrição que tem o Azure Data Lake Storage Gen2.
   • Nome da conta de armazenamento: selecione o armazenamento que contém dados do Dataverse.
   • Nome do contentor: selecione o contentor criado pelo Azure Synapse Link.
   • Caminho do blob termina em: /model.json
   • Evento: Blob criado.
   • Ignorar blobs vazios: Sim.
   • Iniciar acionador: ative Iniciar acionador aquando da criação.

   

5. Selecione Continuar e avance para o ecrã seguinte.

6. No ecrã seguinte, o acionador valida os ficheiros correspondentes. Selecione OK para criar o acionador.

7. Associar o acionador a um pipeline. Aceda ao pipeline importado anteriormente e, em seguida, selecione Adicionar acionador > Novo/Editar.

8. Selecione o acionador no passo anterior e, em seguida, selecione Continuar para prosseguir para o ecrã seguinte onde o acionador valida os ficheiros correspondentes.

9. Selecione Continuar e avance para o ecrã seguinte.

10. Na secção Parâmetro de Execução de Acionador, introduza os parâmetros abaixo e, em seguida, selecione OK.

    • Contentor: @split(triggerBody().folderPath,'/')[0]
    • Pasta: @split(triggerBody().folderPath,'/')[1]

11. Depois de associar o acionador ao pipeline, selecione Validar tudo.

12. Quando a validação tiver êxito, selecione Publicar Tudo.

13. Selecione Publicar para publicar todas as alterações.

Adicionar um filtro de subscrição de eventos

Para garantir que o acionador só é acionado quando a criação de model.json estiver concluída, é necessário atualizar os filtros avançados para a subscrição de eventos do acionador. Um evento é registado na conta de armazenamento da primeira vez que o acionador for executado.

1. Quando a execução de um fluxo terminar, aceda à conta de armazenamento > Eventos > Subscrição de Eventos.

2. Selecione o evento que foi registado para o acionador model.json.

3. Selecione o separador Filtros e, em seguida, selecione Adicionar novo filtro.

4. Criar o filtro:

   • Chave: assunto
   • Operator: A cadeia não termina com
   • Valor: /blobs/model.json

5. Remova o parâmetro CopyBlob da matriz do Valor data.api.

6. Selecione Guardar para implementar o filtro adicional.

Consulte também

Blogue: Anúncio do Azure Synapse Link for Dataverse

Nota

Pode indicar-nos as suas preferências no que se refere ao idioma da documentação? Responda a um breve inquérito. (tenha em atenção que o inquérito está em inglês)

O inquérito irá demorar cerca de sete minutos. Não são recolhidos dados pessoais (declaração de privacidade).