Carregar dados incrementalmente de um armazenamento de dados de origem para um armazenamento de dados de destino
APLICA-SE A:
Azure Data Factory Azure Synapse Analytics
Dica
Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange desde movimentação de dados até ciência de dados, análise em tempo real, business intelligence e relatórios. Saiba como iniciar uma avaliação gratuita!
Em uma solução de integração de dados, o carregamento incremental (ou delta) de dados depois de uma carga inicial completa de dados é um cenário amplamente usado. Os tutoriais nesta seção mostram maneiras diferentes de carregamento incremental de dados com o uso do Azure Data Factory.
Carregamento de dados delta do banco de dados usando uma marca-d'água
Nesse caso, você define uma marca d'água em seu banco de dados de origem. Uma marca d'água é uma coluna que tem o último carimbo de data/hora atualizado ou uma chave de incremento. A solução de carregamento delta carrega os dados alterados entre uma marca d'água antiga e uma nova marca d'água. O fluxo de trabalho para essa abordagem é ilustrado no diagrama a seguir:
Para obter instruções passo a passo, veja os seguintes tutoriais:
- Copiar incrementalmente os dados de uma tabela no Banco de Dados SQL do Azure para o Armazenamento de Blobs do Azure
- Copiar dados incrementalmente de várias tabelas em uma Instância do SQL Server para o Banco de Dados SQL do Azure
Para modelos, confira o seguinte:
Carregamento de dados delta do BD SQL usando a tecnologia Controle de Alterações
A tecnologia Controle de Alterações é uma solução leve no SQL Server e no Banco de Dados SQL do Azure que fornece um mecanismo eficiente de controle de alterações para aplicativos. Ele permite que um aplicativo identifique facilmente os dados inseridos, atualizados ou excluídos.
O fluxo de trabalho para essa abordagem é ilustrado no diagrama a seguir:
Para obter instruções passo a passo, veja o seguinte tutorial:
Carregando arquivos novos e alterados usando LastModifiedDate
Você pode copiar os arquivos novos e alterados somente usando LastModifiedDate para o armazenamento de destino. O ADF examinará todos os arquivos do armazenamento de origem, aplicará o filtro de arquivo pela LastModifiedDate e copiará apenas o arquivo novo e atualizado desde a última vez para o armazenamento de destino. Lembre-se de que, se você permitir que o ADF examine grandes quantidades de arquivos, mas você copiar apenas alguns arquivos para o destino, isso ainda levará muito tempo devido ao processo de verificação de arquivo.
Para obter instruções passo a passo, veja o seguinte tutorial:
Para modelos, confira o seguinte:
Carregando novos arquivos usando apenas o nome de arquivo ou da pasta particionado pelo tempo.
Você pode copiar apenas arquivos novos, em que arquivos ou pastas já foram particionado pelo tempo com informações de fração de tempo como parte do nome de arquivo ou da pasta (por exemplo, /aaaa/mm/dd/file.csv). É a abordagem de melhor desempenho para carregamento incremental de novos arquivos.
Para obter instruções passo a passo, veja o seguinte tutorial:
Conteúdo relacionado
Vá para o tutorial a seguir: