Consultar e analisar as atualizações incrementais
Os dados do Microsoft Dataverse (incluindo dados das aplicações de finanças e operações do Dynamics 365) podem ser alterados continuamente através da criação, atualização e eliminação de transações. Com a opção de atualização incremental, você pode criar pipelines de dados incrementais que aplicam essas alterações a sistemas e bancos de dados downstream. O Synapse Link para Dataverse exporta dados incrementais em pastas com carimbo de data/hora que contêm alterações de dados em de intervalos de tempo especificados pelo utilizador.
Você pode aproveitar o recurso de atualização incremental para vários cenários:
Atualize um armazenamento de dados downstream ou um data warehouse. Talvez seja necessário aplicar alterações dos seus dados do Power Apps e do Dynamics 365 num arquivo de dados a jusante. A atualização incremental é um recurso padrão na maioria das ferramentas de transformação de dados, como o Azure Data Factory. No entanto, para que o recurso de atualização incremental funcione, você deve identificar os registros que foram alterados nas tabelas de origem. O recurso de atualização incremental fornece dados alterados como um conjunto de arquivos, de modo que você não precisa detetar alterações comparando imagens de tabelas antes e depois.
Analise alterações em grandes conjuntos de dados. Se você precisar analisar alterações em grandes conjuntos de dados, o recurso de atualização incremental fornece um fluxo contínuo de dados em pequenos lotes, de modo que você não precise armazenar todos os dados. Com esta opção, pode descartar dados obsoletos e estagnados para poupar em termos de custos de armazenamento de dados, bem como monitorizar alterações de dados relevantes para um período de tempo especificado pelo utilizador.
Azure Synapse Link for Dataverse também oferece a opção de exportar e manter uma réplica de tabelas em seu armazenamento Azure Data Lake (Gen 2). Você pode configurar Azure Synapse Link para exportar dados incrementais, além de exportar uma réplica de tabelas. Cada configuração (conhecida como "perfil Synapse Link") pode exportar tabelas ou dados incrementais. Embora seja possível criar vários perfis, não é possível configurar tabelas e atualizações incrementais dentro do mesmo perfil.
Importante
É criada uma pasta com carimbo de data e hora inicial quando ativa esta caraterística com uma cópia dos dados. As pastas com carimbo de data/hora e de tabela subsequentes só são criadas quando existir uma atualização de dados durante o intervalo de tempo especificado pelo utilizador.
Depois de criar um perfil Synapse Link com o recurso de atualização incremental, a configuração se aplica a todas as tabelas selecionadas dentro do perfil Synapse Link.
Esta funcionalidade não pode ser ativada com a opção: Ligar ao seu Azure Synapse workspace. Para os clientes que necessitam de acesso ao Azure Synapse Analytics, siga esta instrução para configurar a ligação: Criar um Azure Synapse Link for Dataverse com o seu Azure Synapse Workspace
Esta caraterística é equivalente à caraterística Feeds de alterações em exportar para Data Lake incorporada nas aplicações de finanças e operações do Dynamics 365. Os clientes que utilizam a caraterística Feeds de alterações têm a opção de ativar um perfil do Synapse Link com dados de alteração sem terem de exportar dados da tabela.
Pré-requisitos
Este guia assume que já cumpre com os pré-requisitos para criar uma Azure Synapse Link. Mais informações: Criar um Azure Synapse Link for Dataverse com o Azure Data Lake
Criar um perfil Synapse Link para exportar dados incrementais
Inicie sessão no Power Apps e selecione o seu ambiente.
No painel de navegação esquerdo, selecione Azure Synapse Link. Se o item não estiver no painel lateral, selecione ...Mais e, em seguida, selecione o item pretendido.
Na barra de comandos, selecione + Nova ligação.
Selecione a Subscrição, Grupo de recursos e Conta de armazenamento. Selecione Seguinte.
Não selecione a opção Ligar ao Azure Synapse workspace. Se você escolher essa opção, o recurso de atualização incremental será desativado.
Adicione as tabelas que pretende exportar. Se o seu Dataverse ambiente estiver vinculado ao aplicações de finanças e operações, você também poderá selecionar tabelas do aplicações de finanças e operações.
Selecione Avançado.
Ative Mostrar definições de configuração avançadas e Ativar a Estrutura de Pasta de Atualização Incremental.
Introduza o intervalo de tempo (em minutos) para a frequência com que as atualizações incrementais devem ser capturadas e, em seguida, selecione Guardar.
Nota
O intervalo de tempo mínimo é de 5 minutos. Isto significa que a pasta de atualização incremental é criada a cada cinco minutos e irá conter as alterações que ocorreram no intervalo de tempo. Esta definição também é configurável após a criação da ligação através de Gerir tabelas. O intervalo de tempo máximo é de 1140 minutos (ou 24 horas).
Certifique-se de que Ligar ao Azure Synapse workspace Azure Synapse workspace não está selecionado na primeira página da configuração.
Os dados incrementais em pastas com carimbo de data/hora são armazenados como arquivos de ficheiro de texto de valor separados por vírgulas (ficheiros CSV). Não é possível usar a caraterística de conversão Delta para dados incrementais e obter ficheiros incrementais num formato Delta parquet.
Ver a pasta incremental no Armazenamento do Microsoft Azure
Quando cria um perfil do Synapse Link com dados incrementais, o sistema faz uma cópia inicial de todas as tabelas e a armazena na primeira pasta de atualização incremental. Assim que a cópia inicial é criada, o sistema cria pastas de atualização subsequentes com dados alterados. Se não houver alterações em nenhuma das tabelas selecionadas, você não verá pastas de dados incrementais.
Para ver pastas de dados incrementais na conta de armazenamento:
Selecione a Azure Synapse Link pretendida e, em seguida, selecione Ir para o Azure data lake na barra de comando.
Selecione os Contentores sob Armazenamento de Dados.
Selecione dataverse-environmentName-organizationUniqueName. As pastas de atualização incrementais são nomeadas pelo carimbo de data/hora da criação ("aaaa-MM-dd'T'HH:mm:ss.SSSz") em UTC. Observe que a diferença de tempo entre as pastas com carimbo de data/hora é o intervalo de tempo especificado por você nas configurações avançadas.
Dentro de cada pasta com carimbo de data/hora, há pastas para cada tabela. Nem todas as tabelas escolhidas podem ter sido alteradas durante o intervalo de tempo e você só vê pastas correspondentes a tabelas cujos dados foram alterados.
Nota
Devido às funcionalidades do mecanismo de repetição, pode ser criada uma pasta de carimbo de data/hora no intervalo de tempo especificado pelo utilizador.
Consumir dados incrementais
Pode copiar dados incrementais para uma Base de Dados SQL do Azure ou um armazém de dados através de ferramentas de integração de dados, como o Azure Data Factory ou pipelines do Azure Synapse Analytics. Fornecemos um pipeline de dados de exemplo que pode ser usado para essa finalidade. Para mais informações:Copiar dados do Dataverse para o Azure SQL.
Se for um cliente das aplicações de finanças e operações do Dynamics 365 em transição do caraterística de feeds de alterações, pode usar as Ferramentas de amostra de integração de dados fornecidas no GitHub para atualizar os pipelines de dados existentes usados com a caraterística de feeds de alterações.
Você também pode criar seu próprio pipeline de dados para consumir dados incrementais. No entanto, você precisa considerar as seguintes práticas recomendadas ao projetar seu próprio pipeline:
- Consumir dados de pastas com carimbo de data/hora anteriores apenas: desta forma, pode evitar conflitos de leitura/gravação com o serviço Synapse Link, que pode estar a atualizar continuamente os dados na pasta atual. Você pode encontrar a pasta atual visualizando o arquivo Changelog/changelog.info . Este arquivo é um arquivo somente leitura que contém uma única linha com o nome da pasta que está atualizada no momento. Você não deve atualizar este arquivo, pois ele pode causar instabilidade no sistema.
- Pode ver o ficheiro model.json localizado em cada pasta com carimbo de data e hora para ler metadados, como nomes de colunas, para os dados contidos nas pastas da tabela. Observe que cada ficheiro model.json na pasta localizada em pastas com carimbo de data e hora contém metadados para todas as tabelas, não apenas para as tabelas contidas na pasta com carimbo de data e hora.
- Evite usar outros arquivos de log, como o arquivo Synapse.log. Este arquivo é usado para fins internos e pode não refletir dados precisos.
- Considere eliminar as pastas incrementais obsoletas do seu Azure Data Lake depois de concluir o processamento. No momento, o Synapse Link mantém uma concessão destes ficheiros no Armazenamento Azure para recuperar de quaisquer falhas. O sistema pode libertar a concessão após algum tempo.
