Adicionar origem CDC do Banco de Dados PostgreSQL a um fluxo de eventos

Este artigo mostra como adicionar uma fonte CDC (Change Data Capture) do banco de dados PostgreSQL a um fluxo de eventos.

O conector de origem do PostgreSQL Database Change Data Capture (CDC) para fluxos de eventos do Microsoft Fabric permite capturar um instantâneo dos dados correntes num banco de dados PostgreSQL. Atualmente, o PostgreSQL Database Change Data Capture (CDC) é suportado pelos seguintes serviços onde os bancos de dados podem ser acessados publicamente:

• Banco de Dados do Azure para PostgreSQL
• Amazon RDS para PostgreSQL
• Amazon Aurora PostgreSQL
• Google Cloud SQL para PostgreSQL

Depois que a fonte CDC do Banco de Dados PostgreSQL é adicionada ao fluxo de eventos, ela captura as alterações no nível da linha nas tabelas especificadas. Essas alterações podem ser processadas em tempo real e enviadas para diferentes destinos para análise posterior.

Nota

Esta origem não é suportada nas seguintes regiões da capacidade do seu espaço de trabalho: Oeste US3, Suíça Oeste.

Pré-requisitos

• Acesso a um espaço de trabalho no modo de licença de capacidade de Fabric (ou) no modo de licença de avaliação com permissões de Colaborador ou superior.

• Acesso de usuário registrado no banco de dados PostgreSQL.

• Seu banco de dados PostgreSQL deve ser acessível publicamente e não estar protegido em um firewall ou protegido em uma rede virtual.

• CDC habilitado no banco de dados e tabelas PostgreSQL.

  Se você tiver o Banco de Dados do Azure para PostgreSQL, siga as etapas na próxima seção para habilitar o CDC. Para obter informações detalhadas, consulte Replicação lógica e decodificação lógica - Banco de Dados do Azure para PostgreSQL - Servidor flexível.

  Para outros bancos de dados PostgreSQL, consulte Debezium connector for PostgreSQL :: Debezium Documentation.

• Se você não tiver um eventstream, crie um eventstream.

Habilite o CDC em seu banco de dados PostgreSQL

Esta seção usa Banco de Dados do Azure para PostgreSQL como exemplo.

Para habilitar o CDC na Base de Dados do Azure para Servidor Flexível do PostgreSQL, siga estas etapas:

1. Na página Banco de Dados do Azure para Servidor Flexível PostgreSQL no portal do Azure, selecione Parâmetros do servidor no menu de navegação.

2. Na página Parâmetros do servidor:

   • Defina wal_level como lógico.
   • Atualize o max_worker_processes para pelo menos 16.

   

3. Salve as alterações e reinicie o servidor.

4. Confirme se a instância do Servidor Flexível do Banco de Dados do Azure para PostgreSQL permite tráfego de rede pública.

5. Conceda permissões de replicação ao usuário administrador executando a seguinte instrução SQL. Se você quiser usar outra conta de usuário para conectar seu banco de dados PostgreSQL para buscar CDC, verifique se o usuário é o proprietário da tabela .

   ALTER ROLE <admin_user_or_table_owner_user> WITH REPLICATION;
   

Inicie o assistente Selecionar uma fonte de dados

Se você ainda não adicionou nenhuma fonte ao seu fluxo de eventos, selecione Usar bloco de origem externa.

Se estiver a adicionar a origem a um fluxo de eventos já publicado, mude para o modo de edição , selecione Adicionar origem no friso e, em seguida, selecione Fontes externas.

 

Na página Selecione uma fonte de dados, procure e selecione Connect no bloco PostgreSQL DB (CDC).

Configurar e conectar-se ao PostgreSQL Database CDC

1. Na página Conectar, selecione Nova conexão.

   

2. Na seção Configurações de conexão , insira as seguintes informações.

   • Servidor: O endereço do servidor do seu banco de dados PostgreSQL, por exemplo , my-pgsql-server.postgres.database.azure.com.

   • Banco de dados: O nome do banco de dados, por exemplo , my_database.

     

3. Desça e, na secção Credenciais de conexão, siga estas etapas.

   1. Em Nome da conexão, insira um nome para a conexão.

   2. Em Tipo de autenticação, selecione Básico.

      Nota

      Atualmente, os fluxos de eventos do Fabric oferecem suporte apenas à autenticação Básica .

   3. Digite Nome de usuário e senha para o banco de dados.

   4. Selecione Ligar.

      

4. Agora, na página Conectar , siga estas etapas:

   1. Em Porta, insira o número da porta ou deixe o valor padrão: 5432. Se a conexão de nuvem selecionada estiver configurada em Gerenciar conexões e gateways, verifique se o número da porta corresponde ao definido lá. Se não corresponderem, o número da porta na ligação de nuvem em Gerir conexões e gateways tem precedência.

   2. Para tabela, selecione Todas as tabelas ou Insira o(s) nome(s) da tabela. Se você selecionar o último, especifique tabelas usando uma lista separada por vírgulas de identificadores de tabela completos (schemaName.tableName) ou expressões regulares válidas. Por exemplo:

      • Use dbo.test.* para selecionar todas as tabelas cujos nomes comecem com dbo.test.
      • Use dbo\.(test1|test2) para selecionar dbo.test1 e dbo.test2. Você pode inserir até 100 tabelas, e cada nome de tabela (incluindo o esquema) pode ter até 128 caracteres.

      Você pode misturar ambos os formatos usando vírgulas. Até 100 tabelas podem ser inseridas, com cada nome de tabela (incluindo o nome do esquema) limitado a 128 caracteres se usar identificadores de tabela completos diretamente.

   3. Nome do slot (opcional): Digite o nome do slot de decodificação lógica do PostgreSQL que foi criado para transmitir alterações de um plug-in específico para um determinado banco de dados/esquema. O servidor usa esse slot para transmitir eventos para o conector de streaming Eventstream. Deve conter apenas letras minúsculas, números e sublinhados.

   4. Selecione Avançar na parte inferior da página.

      

5. Na página Rever + conectar, reveja o resumo e, em seguida, selecione Adicionar.

   

Nota

O número máximo de fontes e destinos para um eventstream é 11.

Ver fluxo de eventos atualizado

1. Você pode ver a fonte CDC do Banco de Dados PostgreSQL adicionada ao seu fluxo de eventos no modo de edição.

   

2. Para implementar essa fonte de CDC do banco de dados PostgreSQL recém-adicionada, selecione Publicar. Depois de concluir essas etapas, sua fonte de CDC de banco de dados PostgreSQL estará disponível para visualização na Visualização dinâmica.

   

Conteúdos relacionados

Outros conectores:

• Amazon Kinesis Data Streams
• Azure Cosmos DB
• Azure Event Hubs
• Azure Service Bus
• Hub IoT do Azure
• Captura de Dados de Alteração do Banco de Dados SQL do Azure (CDC)
• Confluent Kafka
• Ponto de extremidade personalizado
• Google Cloud Pub/Sub
• Banco de dados MySQL CDC
• Banco de Dados PostgreSQL CDC
• Dados de exemplo
• Eventos de Azure Blob Storage
• Evento do espaço de trabalho Fabric