Consultar e analisar as atualizações incrementais
Os dados do Microsoft Dataverse (incluindo dados de aplicativos de finanças e operações do Dynamics 365) podem ser alterados continuamente por meio da criação, atualização e exclusão de transações. Com a opção de atualização incremental, é possível criar pipelines de dados incrementais que aplicam essas alterações a sistemas e bancos de dados downstream. O Link do Synapse para Dataverse exporta dados incrementais em pastas com carimbo de data/hora que contêm alterações de dados em intervalos de tempo especificados pelo usuário.
Você pode aproveitar o recurso de atualização incremental para vários cenários:
Atualizar um armazenamento de dados downstream ou um data warehouse. Talvez seja necessário aplicar alterações de seus dados do Power Apps e do Dynamics 365 em um armazenamento de dados downstream. A atualização incremental é um recurso padrão na maioria das ferramentas de transformação de dados, como o Azure Data Factory. No entanto, para que o recurso de atualização incremental funcione, você deve identificar os registros que foram alterados nas tabelas de origem. O recurso de atualização incremental fornece dados alterados como um conjunto de arquivos para que você não precise detectar alterações comparando imagens de antes e depois de tabelas.
Analisar alterações em grandes conjuntos de dados. Se você precisar analisar alterações em grandes conjuntos de dados, o recurso de atualização incremental fornecerá um fluxo contínuo de dados em pequenos lotes para que você não precise armazenar todos os dados. Com essa opção, você pode descartar dados obsoletos e estagnados para economizar custos de armazenamento de dados, bem como rastrear alterações de dados relevantes para um período especificado pelo usuário.
O Azure Synapse Link for Dataverse também fornece a opção de exportar e manter uma réplica de tabelas em seu armazenamento do Azure Data Lake (Gen 2). Você pode configurar o Azure Synapse Link para exportar dados incrementais além de exportar uma réplica de tabelas. Cada configuração (conhecida como "perfil do Link do Synapse") pode exportar tabelas ou dados incrementais. Embora seja possível criar vários perfis, não é possível configurar tabelas e atualizações incrementais no mesmo perfil.
Importante
Uma pasta inicial com carimbo de data/hora é criada quando você habilita esse recurso com uma cópia dos dados. As pastas de carimbos de data/hora e tabelas subsequentes são criadas somente quando há uma atualização de dados durante o intervalo de tempo especificado pelo usuário.
Depois de criar um perfil do Link do Synapse com o recurso de atualização incremental, a configuração se aplica a todas as tabelas selecionadas dentro do perfil do Link do Synapse.
Este recurso não pode ser ativado com a opção: Conectar-se ao seu Azure Synapse workspace. Para clientes que precisam de acesso do Azure Synapse analytics, siga esta instrução para configurar o link: Criar um Azure Synapse Link for Dataverse com seu Azure Synapse Workspace
Esse recurso é equivalente ao recurso Feeds de alterações na exportação para o data lake integrado aos aplicativos de finanças e operações do Dynamics 365. Os clientes que usam o recurso Alterar feeds têm a opção de habilitar um perfil do Link do Synapse com dados de alteração sem precisar exportar dados da tabela.
Pré-requisitos
Este guia pressupõe que você já atendeu aos pré-requisitos para criar um Azure Synapse Link. Mais informações: Criar um Azure Synapse Link for Dataverse com o Azure Data Lake
Criar um perfil do Link do Synapse para exportar dados incrementais
Entre no Power Apps e selecione seu ambiente.
No painel de navegação à esquerda, selecione Azure Synapse Link. Se o item não estiver no painel lateral, selecione …Mais e selecione o item desejado.
Na barra de comandos, selecione + Novo link.
Selecione a Assinatura, o Grupo de recursos e a Conta de armazenamento. Selecione Avançar.
Não selecione a opção Conectar-se ao Azure Synapse workspace. Se você escolher essa opção, o recurso de atualização incremental será desabilitado.
Adicione as tabelas que você deseja exportar. Se o seu ambiente do Dataverse estiver vinculado aos aplicativos de finanças e operações, você também pode selecionar tabelas dos aplicativos de finanças e operações.
Selecione Avançado.
Ative Mostrar configurações avançadas e Habilitar Estrutura de Pastas de Atualizações Incrementais.
Insira o intervalo de tempo (em minutos) para a frequência com que as atualizações incrementais devem ser capturadas e selecione Salvar.
Observação
O intervalo de tempo mínimo é 5 minutos. Isso significa que a pasta de atualizações incrementais será criada a cada cinco minutos e conterá as alterações realizadas dentro do intervalo de tempo. Essa configuração também é configurável após a criação do link por meio de Gerenciar tabelas. O intervalo de tempo máximo é de 1140 minutos (ou 24 horas).
Certifique-se de que a opção Conectar-se ao seu Azure Synapse workspace - Azure Synapse workspace não está marcada na primeira página de configuração.
Os dados incrementais em pastas com carimbo de data/hora são armazenados como arquivos de texto de valor separado por vírgulas (arquivos CSV). Não é possível usar o recurso de conversão Delta para dados incrementais e obter arquivos incrementais em um formato de parquet Delta.
Exibir pasta incremental no Armazenamento do Microsoft Azure
Quando você cria um perfil do Link do Synapse com dados incrementais, o sistema faz uma cópia inicial de todas as tabelas e a armazena na primeira pasta de atualização incremental. Depois que a cópia inicial é criada, o sistema cria pastas de atualização subsequentes com dados alterados. Se não houver alterações em nenhuma das tabelas selecionadas, você não verá pastas de dados incrementais.
Para ver as pastas de dados incrementais na conta de armazenamento:
Selecione o Azure Synapse Link desejado e, em seguida, selecione Ir para o Azure Data Lake na barra de comandos.
Selecione os Contêineres em Armazenamento de Dados.
Selecione dataverse-environmentName-organizationUniqueName. As pastas de atualizações incrementais são nomeadas pelo carimbo de data/hora de criação ("aaaa-MM-dd'T'HH:mm:ss.SSSz") em UTC. Observe que a diferença de tempo entre pastas com carimbo de data/hora é o intervalo de tempo que você especificou nas configurações avançadas.
Dentro de cada pasta com carimbo de data/hora, há pastas para cada tabela. Nem todas as tabelas escolhidas podem ter sido alteradas durante o intervalo de tempo e você só visualizar pastas correspondentes a tabelas cujos dados foram alterados.
Observação
Devido aos recursos do mecanismo de repetição, uma pasta extra de carimbo de data/hora vazia pode ser criada dentro do intervalo de tempo especificado pelo usuário.
Consumir dados incrementais
Você pode copiar dados incrementais em um Banco de Dados SQL do Azure ou em um data warehouse usando ferramentas de integração de dados, como Azure Data Factory ou Azure Synapse Analytics. Fornecemos um pipeline de dados de exemplo que pode ser usado para essa finalidade. Para obter mais informações:Copiar dados do Dataverse para SQL do Azure.
Se você for um cliente de aplicativos de finanças e operações do Dynamics 365 fazendo a transição do recurso de feeds de alterações, poderá usar as Ferramentas de amostra de integração de dados fornecidas no GitHub para atualizar os pipelines de dados existentes usados com o recurso de feeds de alterações.
Você também pode criar seu próprio pipeline de dados para consumir dados incrementais. No entanto, você precisa considerar as seguintes melhores práticas ao projetar seu próprio pipeline:
- Consumir dados somente de pastas com carimbo de data/hora anteriores: dessa forma, você pode evitar conflitos de leitura e gravação com o serviço do Link do Synapse, que pode estar atualizando continuamente os dados na pasta atual. Você pode encontrar a pasta atual exibindo o arquivo Changelog/changelog.info. Esse arquivo é somente leitura contendo uma única linha com o nome da pasta que está atualizada no momento. Você não deve atualizar esse arquivo, pois ele pode causar instabilidade no sistema.
- Você pode exibir o arquivo de model.json localizado em cada pasta com carimbo de data/hora para ler metadados, como nomes de coluna, para os dados contidos em pastas da tabela. Observe que cada arquivo model.json na pasta localizada dentro de pastas com carimbo de data/hora contêm metadados para todas as tabelas, não apenas as tabelas contidas na pasta com carimbo de data/hora.
- Evite usar outros arquivos de log, como o arquivo Synapse.log. Esse arquivo é usado para fins internos e pode não refletir dados precisos.
- Exclua pastas incrementais obsoletas do Data Lake do Azure depois de concluir o processamento. Atualmente, o Link do Synapse mantém uma concessão desses arquivos no Armazenamento do Azure para se recuperar de quaisquer falhas. O sistema pode liberar a concessão depois de algum tempo.
