Partilhar via

Criar um Azure Synapse Link for Dataverse com Azure Data Lake

  • Artigo

Pode utilizar o Azure Synapse Link para ligar os dados do Microsoft Dataverse ao Azure Data Lake Storage Gen2 para ativar vários cenários de análise. Este artigo mostra como executar as tarefas seguintes:

  1. Ligue os seus dados Dataverse à sua conta Gen2 Azure Data Lake Storage com o serviço Azure Synapse Link.
  2. Gerir tabelas Dataverse incluídas no Azure Synapse Link.
  3. Monitorize o seu Azure Synapse Link.
  4. Desassociar o Azure Synapse Link.
  5. Religar o seu Azure Synapse Link.
  6. Veja os seus dados no Azure Data Lake e compreenda a estrutura do ficheiro.

Nota

O Azure Synapse Link for Dataverse era anteriormente conhecido como o serviço Exportar para data lake. O serviço foi renomeado a partir de maio de 2021 e continuará a exportar dados para o Azure Data Lake, bem como Azure Synapse Analytics.

Pré-requisitos

  • Azure Data Lake Storage Gen2: é necessário ter uma conta do Azure Data Lake Storage Gen2 e o direito de acesso Proprietário e Contribuidor de Dados do Blob de Armazenamento. A sua conta de armazenamento tem de permitir o Espaço de nomes hierárquico para a configuração inicial e para a sincronização delta. Permitir o acesso-chave à conta de armazenamento só é obrigatório para a configuração inicial.

Nota

  • A conta de armazenamento tem de ser criada no mesmo inquilino do Microsoft Entra que o inquilino do Power Apps.
  • Para definir Ativado a partir de redes virtuais e endereços IP selecionados para que a conta de armazenamento associada conceda acesso a partir de endereços IP selecionados, tem de criar um Azure Synapse Link com identidades geridas.Utilizar identidades geridas para o Azure com o Azure Data Lake Storage (sem identidades geridas configuradas, tem de ativar o acesso à rede pública para os recursos do Azure para a configuração inicial e para a sincronização delta.)
  • Tem de ter acesso de função Leitor ao grupo de recursos com a conta de armazenamento.
  • Para ligar o ambiente ao Azure Data Lake Storage Gen2, é preciso ter o direito de acesso de administrador de sistema do Dataverse.
  • Apenas as tabelas que tenham a monitorização de alterações ativada podem ser exportadas.
  • A criação de perfis Azure Synapse Link num único ambiente Dataverse está limitada a um máximo de 10.

Ligar Dataverse a Azure Data Lake Storage Gen2

  1. Inicie sessão no Power Apps e selecione o seu ambiente preferido.

  2. No painel de navegação esquerdo, selecione Azure Synapse Link. Se Azure Synapse Link não estiver visível no painel do painel lateral, selecione ... Mais e selecione Descobrir tudo. Azure Synapse Link está na secção Gestão de Dados.

  3. Na barra de comando, selecione + Nova associação a data lake.

  4. Selecione a Subscrição, Grupo de recursos e Conta de armazenamento. Certifique-se de que a conta de armazenamento satisfaz os requisitos especificados na secção Pré-Requisitos. Selecione Seguinte.

    Nota

    Como parte da associação do ambiente a um data lake, concede o acesso à sua conta de armazenamento pelo serviço Azure Synapse Link. Certifique-se de que seguiu os pré-requisitos de criação e configuração da conta do Azure Data Lake Storage e que lhe concede uma função de proprietário na conta de armazenamento. Adicionalmente, concede aceeso ao serviço Power Platform Dataflows à sua conta de armazenamento. Mais informações: Preparação de dados personalizada com fluxos de dados.

  5. Adicione as tabelas que pretende exportar e, em seguida, selecione Guardar. Apenas as tabelas com controlo de alterações ativada podem ser exportadas. Mais informações: Ativar controlo de alterações.

    Selecionar tabelas a exportar.

Pode seguir os passos neste artigo para criar uma ligação de um ambiente para vários Azure data lakes na sua subscrição do Azure. Da mesma forma, poderia criar uma ligação de vários ambientes para o mesmo Azure data lake Azure, tudo dentro do mesmo inquilino.

Nota

O serviço do Azure Synapse Link for Dataverse está perfeitamente integrado no Power Platform como uma funcionalidade pronta a usar. Cumpre os padrões de segurança e governação definidos para o armazenamento e governação de dados do Power Platform. Mais informações: Armazenamento e governação de dados

Os dados exportados pelo serviço do Azure Synapse Link são encriptados em trânsito utilizando a TLS (Transport Layer Security) 1.2 ou posterior e encriptados quando inativos no Azure Data Lake Storage Gen2. Além disso, os dados transitórios no armazenamento de blob também são encriptados em repouso. A encriptação em Azure Data Lake Storage Gen2 ajuda-o a proteger os seus dados, a implementar as políticas de segurança empresarial e satisfazer os requisitos de conformidade normativa. Mais informações: Encriptação de dados do Azure em repouso

Gerir os dados da tabela para o data lake

Depois de configurar o Azure Synapse Link, pode gerir as tabelas que são exportadas de uma de duas formas:

  • Na área Azure Synapse Link do portal do criador do Power Apps, selecione Gerir tabelas na barra de comando para adicionar ou remover uma ou mais tabelas associadas.

  • Na área do portal de criador do Power Apps, em Tabelas, selecione ... junto a uma tabela e, em seguida, selecione o data lake associado onde pretende exportar dados da tabela.

    Selecionar uma tabela a exportar.

Depois de configurar o Azure Synapse Link, pode monitorizar o Azure Synapse Link no separador Tabelas.

Monitorização do Azure Synapse Link

  • Haverá uma lista de tabelas que fazem parte dos selecionados Azure Synapse Link.
  • Existem diferentes fases por onde circula o estado de sincronização. NotStarted indica que a tabela está à espera de ser sincronizada. Uma vez Concluída a sincronização inicial da tabela, existe uma fase de pós-processamento onde não serão efetuadas atualizações incrementais. Dependendo do tamanho dos seus dados, poderá demorar algumas horas. À medida que as atualizações incrementais começarem a ocorrer, a data da última sincronização será regularmente atualizada.
  • A coluna Contagem mostra o número de linhas escritas. Quando Acrescentar apenas está definido como Não, este é o número total de registos. Quando Acrescentar Apenas está definido como Sim, este é o número total de alterações.
  • As colunas Acrescentar apenas e Estratégia de partição mostram o uso de diferentes configurações avançadas.

  1. Selecione o Azure Synapse Link desejado para desvincular.

  2. Selecione Desvincular o data lake da barra de comando.

  3. Para eliminar ambos os sistemas de ficheiros do data lake, selecione Eliminar o sistema de ficheiros do data lake.

  4. Selecione Sime aguarde alguns minutos para que tudo seja desassociado e eliminado.

Se eliminar o sistema de ficheiros ao desvincular, siga os passos acima para voltar a ligar o mesmo data lake. Se não eliminar o sistema de ficheiros ao desvincular, tem de limpar os dados para voltar a vincular:

  1. Aceder ao Azure Data Lake.

  2. Elimine o recipiente Dataverse.

  3. Aceder a Power Apps e tornar a vincular o data lake.

Ver os seus dados no Azure Data Lake Storage Gen2

  1. Selecione o Azure Synapse Link desejado e, em seguida, selecione Ir para o data lake Azure a partir do painel superior.

  2. Expandir sistemas de ficheiros, e, em seguida, selecionar dataverse-environmentName-organizationUniqueName.

O ficheiro model.json, juntamente com o seu nome e versão, fornece uma lista de tabelas que foram exportadas para o data lake. O ficheiro model.json também inclui o estado de sincronização inicial e o tempo de conclusão da sincronização.

Uma pasta que inclui ficheiros delimitados por vírgula de instantâneo (formato CSV) é apresentado para cada tabela exportada para o data lake. Dados de tabela no data lake.

  1. Na barra de endereço de browsers Web, anexe ?athena.updateLake=true ao endereço Web que termina em exporttodatalake.

  2. Selecione um perfil existente da área Azure Synapse Link e, em seguida, selecione a opção expandida.

  3. Selecione Associar à Área de Trabalho do Azure Synapse Analytics e aguarde alguns minutos para que tudo seja associado.

Atualizações de instantâneos contínuas

Os dados do Microsoft Dataverse podem ser alterados continuamente através da criação, atualização e eliminação de transações. Os instantâneos fornecem uma cópia só de leitura de dados que são atualizados periodicamente, neste caso, a cada hora. Isto assegura que, a qualquer momento, um cliente de análise de dados pode consumir de forma fiável dados no lake.

Atualizações de instantâneos contínuas.

Quando as tabelas são adicionadas como parte da exportação inicial, os dados da tabela são escritos para os ficheiros table.csv, sob as pastas correspondentes no data lake. Este é o intervalo T1, onde é criado um ficheiro só de leitura instantâneo chamado tabela-T1.csv—por exemplo, Conta-T1.csv ou Contactos-T1.csv.—. Além disso, o ficheiro model.json é atualizado para apontar para estes ficheiros de instantâneos. Ao abrir o model.jason, pode ver os detalhes do instantâneo.

Segue-se um exemplo de um ficheiro particionado Account.csv e da pasta de instantâneo no data lake.

Instantâneo da tabela de contas.

As alterações no Dataverse são continuamente emitidas para os ficheiros CSV correspondentes utilizando o motor de alimentação de incrementação. Este é o intervalo T2, em que outro instantâneo é tirado. tabela-T2.csv —por exemplo, Contas-T2.csv ou Contactos-T2.csv (assumindo que existem alterações para a tabela) —e model.json são atualizados para os novos ficheiros instantâneos. Qualquer pessoa nova que veja dados de instantâneo do T2 em diante é direcionada para os ficheiros de instantâneo mais recentes. Deste modo, o visualizador de instantâneos original pode continuar a funcionar nos ficheiros de instantâneo T1 mais antigos, enquanto os visualizadores mais recentes podem ler as atualizações mais recentes. Isto é útil em cenários com mais processos downstream de execução prolongada.

Nota

Um novo ficheiro de instantâneo só é criado se houver uma atualização aos dados. Apenas os cinco ficheiros de instantâneo mais recentes serão mantidos. Os dados estagnados serão removidos automaticamente da sua conta do Azure Data Lake Storage Gen 2.

Segue-se um exemplo do ficheiro model.json, que sempre aponta para o ficheiro de instantâneo da conta com carimbo de data/hora mais recente.

Exemplo de ficheiro de instantâneo model.json.

O que se segue?

Depois de utilizar com êxito o serviço Azure Synapse Link for Dataverse, descubra como pode analisar e consumir os dados com o Centro de Deteção. Para aceder ao Centro de Deteção, aceda ao Power Apps > Azure Synapse Link. Selecione o seu serviço associado e, em seguida, selecione o separador Hub de Deteção. Aqui, encontrará ferramentas recomendadas e documentação organizada que o vão ajudar a tirar o máximo partido dos seus dados. Hub de Deteção.

Consulte também

Analisar dados do Dataverse no data lake com o Power BI

Ingerir dados do Dataverse no data lake com o Azure Data Factory

Configuração Avançada do Azure Synapse Link for Dataverse

FAQ do Azure Synapse Link

Nota

Pode indicar-nos as suas preferências no que se refere ao idioma da documentação? Responda a um breve inquérito. (tenha em atenção que o inquérito está em inglês)

O inquérito irá demorar cerca de sete minutos. Não são recolhidos dados pessoais (declaração de privacidade).