Compartilhar via

Captura de dados de alterações com a evolução do esquema do Banco de Dados SQL do Azure para uma Sincronização Delta, utilizando um recurso de captura de dados alterados

  • Artigo

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Dica

Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange desde movimentação de dados até ciência de dados, análise em tempo real, business intelligence e relatórios. Saiba como iniciar uma avaliação gratuita!

Neste artigo, você utiliza a interface de usuário do Azure Data Factory para criar um recurso de captura de dados de alterações (CDA). O recurso coleta dados alterados de uma fonte do banco de dados SQL do Azure e os adiciona ao Delta Lake armazenado no Azure Data Lake Storage Gen2, em tempo real. Essa atividade mostra o suporte à evolução do esquema utilizando um recurso de CDA entre a origem e o destino.

Neste artigo, você aprenderá como:

  • Crie um recurso de CDA.
  • Faça alterações dinâmicas de esquema em uma tabela de origem.
  • Valide as alterações de esquema na Sincronização Delta de destino.

Você pode modificar e expandir o padrão de configuração neste artigo.

Pré-requisitos

Antes de iniciar os procedimentos deste artigo, certifique-se de ter estes recursos:

  • Assinatura do Azure. Caso não tenha uma assinatura do Azure, crie uma conta gratuita do Azure.
  • Banco de dados SQL. Use o Banco de Dados SQL do Azure como armazenamento de dados de origem. Se você não tiver um banco de dados SQL, crie um no portal do Azure.
  • Conta de armazenamento. Use o Delta Lake armazenado no Azure Data Lake Storage Gen2 como um armazenamento de dados de destino. Se você não tiver uma conta de armazenamento, confira Criar uma conta de armazenamento para obter as etapas para criar uma.

Criar um artefato de CDA

  1. Vá para o painel Autor em seu data factory. Abaixo de Pipelines, um novo artefato de nível superior chamado Captura de Dados de Alterações (versão prévia) é exibido.

    Captura de tela de um novo artefato de nível superior da captura de dados de alterações no painel Recursos do Fabric.

  2. Passe o mouse sobre a Captura de Dados de Alterações (versão prévia) até que três pontos apareçam. Em seguida, selecione Ações da Captura de Dados de Alterações (versão prévia).

    Captura de tela do botão para as ações de captura de dados de alterações que aparecem no novo artefato de nível superior.

  3. Selecione o Novo CDA (versão prévia). Essa etapa abre um submenu para iniciar o processo guiado.

    Captura de tela de uma lista de ações de captura de dados de alterações.

  4. Você será solicitado a nomear o recurso de CDA. Por padrão, o nome é "adfcdc" com um número incrementado em 1. Você pode substituir esse nome padrão por um nome escolhido.

    Captura de tela da caixa de texto para atualizar o nome de um recurso.

  5. Use a lista suspensa para escolher sua fonte de dados. Para este artigo, selecione Banco de Dados SQL do Azure.

    Captura de tela do submenu do processo guiado com opções de origem em uma lista de seleção.

  6. Em seguida, você será solicitado a selecionar um serviço vinculado. Crie um serviço vinculado ou selecione um existente.

    Captura de tela da caixa para escolher ou criar um serviço vinculado.

  7. Depois de selecionar um serviço vinculado, você será solicitado a selecionar as tabelas de origem. Utilize as caixas de seleção para selecionar as tabelas de origem e, em seguida, selecione o valor da coluna Incremental usando a lista suspensa.

    Captura de tela mostrando a seleção de uma tabela de origem e de uma coluna incremental.

    O painel lista apenas as tabelas que suportam tipos de dados de colunas incrementais.

    Observação

    Para habilitar o CDA com evolução de esquema em uma fonte de banco de dados SQL do Azure, escolha tabelas baseadas em colunas de marca d'água em vez de tabelas habilitadas para o CDA nativo do SQL.

  8. Depois de selecionar as tabelas de origem, selecione Continuar para definir o destino dos dados.

    Captura de tela do botão Continuar no processo guiado para selecionar um destino de dados.

  9. Selecione um valor de Tipo de destino utilizando a lista suspensa. Para esse artigo, selecione Delta.

    Captura de tela de um menu suspenso de todos os tipos de destino de dados.

  10. Em seguida, você será solicitado a selecionar um serviço vinculado. Crie um serviço vinculado ou selecione um existente.

    Captura de tela da caixa para escolher ou criar um serviço vinculado ao seu destino de dados.

  11. Selecione sua pasta de dados de destino. Você pode utilizar qualquer uma delas:

    • O botão Navegar em Caminho base de destino, que ajuda você a preencher automaticamente o caminho de navegação em todas as novas tabelas selecionadas para uma origem.
    • O botão Procurar do lado de fora para selecionar individualmente o caminho da pasta.

    Captura de tela de um ícone de pasta para procurar um caminho de pasta.

  12. Depois de selecionar o caminho da pasta, selecione o botão Continuar.

    Captura de tela do botão Continuar no processo guiado para prosseguir para a próxima etapa.

  13. Uma nova guia para capturar dados de alteração será exibida. Essa guia é o estúdio de CDA, no qual você pode configurar seu novo recurso.

    Captura de tela do estúdio de captura de dados de alterações.

    Um novo mapeamento é criado automaticamente para você. Você pode atualizar as seleções Tabela de Origem e Tabela de Destino para seu mapeamento usando as listas de seleção.

    Captura de tela do mapeamento de origem para destino no estúdio de captura de dados de alterações.

  14. Depois de selecionar suas tabelas, suas colunas são mapeadas por padrão com a alternância Mapeamento automático ativada. O mapeamento automático mapeia automaticamente as colunas por nome no coletor, capta as alterações de novas colunas quando o esquema de origem evolui e envia essas informações para os tipos de coletores suportados.

    Captura de tela da alternância para mapeamentos automáticos ativados.

    Observação

    A evolução do esquema só funciona quando a opção Mapeamento automático está ativada. Para saber como editar mapeamentos de colunas ou incluir transformações, confira Captura de dados de alterações com um recurso de captura de dados alterados.

  15. Selecione o link Chaves e, em seguida, escolha a coluna Chaves a ser usada para rastrear as operações de exclusão.

    Captura de tela do link para habilitar a seleção da coluna Chaves.

    Captura de tela da seleção de uma coluna Chaves para a fonte selecionada.

  16. Ao concluir os mapeamentos, defina a latência de CDA usando o botão Definir Latência.

    Captura de tela do botão Definir Latência na parte superior da tela.

  17. Selecione a latência de CDA e selecione Aplicar para fazer as alterações.

    Por padrão, a latência é definida como 15 minutos. O exemplo neste artigo usa a opção Em tempo real para latência. A latência em tempo real capta continuamente as alterações nos dados de origem em intervalos de menos de 1 minuto.

    Para outras latências (por exemplo, se você selecionar 15 minutos), sua captura de dados de alterações processará seus dados de origem e selecionará todos os dados alterados desde o último horário processado.

    Captura de tela das opções de configuração de latência.

  18. Quando terminar de configurar o CDA, selecione Publicar tudo para publicar as alterações.

    Captura de tela do botão publicar na parte superior da tela.

    Observação

    Se você não publicar suas alterações, não poderá iniciar seu recurso de CDA. O botão Iniciar na próxima etapa não estará disponível.

  19. Selecione Iniciar para começar a executar a captura de dados de alterações.

    Captura de tela do botão Iniciar na parte superior da tela.

Agora que a captura de dados de alterações está em execução, você pode:

  • Utilize a página de monitoramento para verificar quantas alterações (inserções, atualizações ou exclusões) foram lidas e gravadas, juntamente com outras informações de diagnóstico.

    Captura de tela da página de monitoramento de uma captura de dados de alterações selecionada.

    Captura de tela da página de monitoramento de uma captura de dados de alterações selecionada com uma exibição detalhada.

  • Validar se os dados de alteração chegaram ao Delta Lake armazenados no Azure Data Lake Storage Gen2, no formato Delta.

    Captura de tela de uma pasta Delta de destino.

  • Valide o esquema dos dados alterados que chegaram.

    Captura de tela de um arquivo Delta.

Fazer alterações dinâmicas no nível do esquema nas tabelas de origem

  1. Adicione uma nova coluna PersonalEmail à tabela de origem utilizando uma instrução T-SQL ALTER TABLE como mostrado no exemplo a seguir.

    Captura de tela do comando ALTER no Azure Data Studio.

  2. Valide se a nova coluna PersonalEmail aparece na tabela existente.

    Captura de tela de um novo design de tabela com uma coluna adicionada para email pessoal.

Validar as alterações de esquema na Sincronização Delta

Confirme se a nova coluna PersonalEmail aparece na Sincronização Delta. Agora você sabe que os dados alterados com as mudanças de esquema chegaram ao destino.

Captura de tela de um arquivo Delta com uma alteração de esquema.

Conteúdo relacionado