Adicionar origem CDC do Banco de Dados PostgreSQL a um fluxo de eventos

Este artigo mostra como adicionar uma fonte CDC (Change Data Capture) do banco de dados PostgreSQL a um fluxo de eventos.

O conector de origem do PostgreSQL Database Change Data Capture (CDC) para fluxos de eventos do Microsoft Fabric permite capturar um instantâneo dos dados atuais em um banco de dados PostgreSQL. Em seguida, o conector monitora e registra quaisquer alterações futuras no nível da linha nesses dados. Depois que as alterações forem capturadas no fluxo de eventos, você poderá processar esses dados CDC em tempo real e enviá-los para diferentes destinos no Fabric para processamento ou análise adicionais.

Nota

Esta origem não é suportada nas seguintes regiões da capacidade do seu espaço de trabalho: Oeste US3, Suíça Oeste.

Pré-requisitos

• Acesso a um espaço de trabalho no modo de licença de capacidade de malha (ou) no modo de licença de avaliação com permissões de Colaborador ou superiores.

• Acesso de usuário registrado no banco de dados PostgreSQL.

• Seu banco de dados PostgreSQL deve ser acessível publicamente e não estar protegido em um firewall ou protegido em uma rede virtual.

• CDC habilitado no banco de dados e tabelas PostgreSQL.

  Se você tiver o Banco de Dados do Azure para PostgreSQL, siga as etapas na próxima seção para habilitar o CDC. Para obter informações detalhadas, consulte Replicação lógica e decodificação lógica - Banco de Dados do Azure para PostgreSQL - Servidor flexível.

  Para outros bancos de dados PostgreSQL, consulte Debezium connector for PostgreSQL :: Debezium Documentation.

• Se você não tiver um eventstream, crie um eventstream.

Habilite o CDC em seu Banco de Dados do Azure para PostgreSQL

Para habilitar o CDC em seu Banco de Dados do Azure para o Servidor Flexível PostgreSQL, siga estas etapas:

1. Na página Banco de Dados do Azure para Servidor Flexível PostgreSQL no portal do Azure, selecione Parâmetros do servidor no menu de navegação.

2. Na página Parâmetros do servidor:

   • Defina wal_level como lógico.
   • Atualize o max_worker_processes para pelo menos 16.

   

3. Salve as alterações e reinicie o servidor.

4. Confirme se a instância do Servidor Flexível do Banco de Dados do Azure para PostgreSQL permite tráfego de rede pública.

5. Conceda permissões de replicação ao usuário administrador executando a seguinte instrução SQL. Se você quiser usar outra conta de usuário para conectar seu banco de dados PostgreSQL para buscar CDC, certifique-se de que o usuário é o proprietário da tabela.

   ALTER ROLE <admin_user_or_table_owner_user> WITH REPLICATION;
   

Inicie o assistente Selecionar uma fonte de dados

Se você ainda não adicionou nenhuma fonte ao seu fluxo de eventos, selecione Usar bloco de origem externa.

Se estiver a adicionar a origem a um fluxo de eventos já publicado, mude para o modo de edição , selecione Adicionar origem no friso e, em seguida, selecione Fontes externas.

 

Na página Selecionar uma fonte de dados, procure e selecione Conectar no bloco Azure DB for PostgreSQL (CDC).

Configurar e conectar-se ao Banco de Dados do Azure para PostgreSQL CDC

1. Na página Conectar, selecione Nova conexão.

   

2. Na seção Configurações de conexão , insira as seguintes informações.

   • Servidor: O endereço do servidor do seu banco de dados PostgreSQL, por exemplo , my-pgsql-server.postgres.database.azure.com.

   • Banco de dados: O nome do banco de dados, por exemplo , my_database.

     

3. Role para baixo e, na seção Credenciais de conexão, siga estas etapas.

   1. Em Nome da conexão, insira um nome para a conexão.

   2. Em Tipo de autenticação, selecione Básico.

      Nota

      Atualmente, os fluxos de eventos do Fabric oferecem suporte apenas à autenticação Básica .

   3. Digite Nome de usuário e senha para o banco de dados.

   4. Selecione Ligar.

      

4. Agora, na página Conectar , siga estas etapas:

   1. Para tabela, insira um nome de tabela.

   2. Em Porta, insira o número da porta ou deixe o valor padrão: 5432.

   3. Selecione Avançar na parte inferior da página.

      

5. Na página Rever + ligar, reveja o resumo e, em seguida, selecione Adicionar.

   

Nota

O número máximo de fontes e destinos para um eventstream é 11.

Ver fluxo de eventos atualizado

1. Você pode ver a fonte CDC do Banco de Dados PostgreSQL adicionada ao seu fluxo de eventos no modo de edição.

   

2. Para implementar essa fonte de CDC do banco de dados PostgreSQL recém-adicionada, selecione Publicar. Depois de concluir essas etapas, sua fonte de CDC de banco de dados PostgreSQL estará disponível para visualização na Visualização dinâmica.

   

Conteúdos relacionados

Outros conectores:

• Amazon Kinesis Data Streams
• BD do Cosmos para o Azure
• Azure Event Hubs
• Azure Service Bus
• Hub IoT do Azure
• Captura de Dados de Alteração do Banco de Dados SQL do Azure (CDC)
• Kafka confluente
• Ponto de extremidade personalizado
• Google Cloud Pub/Sub
• Banco de dados MySQL CDC
• Banco de Dados PostgreSQL CDC
• Dados de exemplo
• Eventos do Armazenamento de Blobs do Azure
• Evento do espaço de trabalho de malha