Ajouter une source CDC de la base de données PostgreSQL à un Eventstream

Cet article explique comment ajouter une source de capture de données modifiées (CDC) de la base de données PostgreSQL à un Eventstream.

Le connecteur source de capture de données modifiées (CDC) de base de données PostgreSQL pour les Evenstreams Microsoft Fabric vous permet de capturer un instantané des données actuelles dans une base de données PostgreSQL. Le connecteur surveille et enregistre ensuite les modifications futures au niveau des lignes apportées à ces données. Une fois les modifications capturées dans le Eventstreams, vous pouvez traiter ces données CDC en temps réel et les envoyer à différentes destinations au sein de Fabric pour un traitement ou une analyse plus approfondis.

Remarque

Cette source n'est pas prise en charge dans les régions suivantes de votre espace de travail : Ouest US3, Suisse Ouest.

Prérequis

• Accès à un espace de travail en mode licence de capacité Fabric ou en mode licence d’évaluation avec des autorisations Collaborateur ou supérieures.

• Accès utilisateur inscrit dans la base de données PostgreSQL.

• Votre base de données PostgreSQL doit être accessible au public et ne doit ni se trouver derrière un pare-feu, ni être sécurisée dans un réseau virtuel.

• CDC activé dans la base de données et les tables PostgreSQL.

  Si vous avez Azure Database pour PostgreSQL, suivez les étapes de la section suivante pour activer la CDC. Pour des informations détaillées, consultez Réplication logique et décodage logique - Serveur flexible Azure Database pour PostgreSQL.

  Pour les autres bases de données PostgreSQL, consultez le connecteur Debezium pour PostgreSQL :: Documentation de Debezium.

• Si vous n’avez pas d’Eventstream, créez-en un.

Activer la CDC dans votre Azure Database pour PostgreSQL

Procédez comme suit pour activer CDC sur votre serveur flexible Azure Database pour PostgreSQL :

1. Sur la page de votre serveur Azure Database pour PostgreSQL, sélectionnez Paramètres du serveur dans le menu de navigation.

2. Sur la page Paramètres du serveur :

   • Définir wal_level sur logique.
   • Mettez à jour le max_worker_processes sur au moins 16.

   

3. Enregistrez les modifications et redémarrez le serveur.

4. Vérifiez que votre instance de serveur flexible Azure Database pour PostgreSQL autorise le trafic réseau public.

5. Accordez les autorisations de réplication de l’utilisateur administrateur en exécutant l’instruction SQL suivante. Si vous souhaitez utiliser un autre compte d’utilisateur pour connecter votre base de données PostgreSQL afin de récupérer la CDC, vérifiez que l’utilisateur est le propriétaire de la table.

   ALTER ROLE <admin_user_or_table_owner_user> WITH REPLICATION;
   

Lancer l’Assistant Sélectionner une source de données

Si vous n’avez pas encore ajouté de source à votre flux d’événements, sélectionnez la vignette Utiliser une source externe.

Si vous ajoutez la source à un flux d’événements déjà publié, basculez vers le mode Édition, sélectionnez Ajouter une source dans le ruban, puis sélectionnez Sources externes.

 

Sur la page Sélectionner une source de données, recherchez et sélectionnez Se connecter dans la vignette Azure DB pour PostgreSQL (CDC).

Configurer la CDC d’Azure Database pour PostgreSQL et s’y connecter

1. Sur la page Connecter, sélectionnez Nouvelle connexion.

   

2. Dans la section Paramètres de connexion, saisissez les informations suivantes :

   • Serveur : adresse du serveur de votre base de données PostgreSQL, par exemple my-pgsql-server.postgres.database.azure.com.

   • Base de données : nom de la base de données, par exemple my_database.

     

3. Faites défiler vers le bas et, dans la section Identifiants de connexion, suivez les étapes suivantes :

   1. Dans le champ Nom de la connexion, saisissez un nom pour la connexion.

   2. Pour le type d’authentification, sélectionnez De base.

      Remarque

      Actuellement, les Eventstreams Fabric prennent uniquement en charge l’authentification de base.

   3. Entrez le nom d'utilisateur et le mot de passe de la base de données.

   4. Sélectionnez Connecter.

      

4. À présent, à la page Connecter, suivez ces étapes :

   1. Dans Table, saisissez un nom de table.

   2. Pour port, saisissez le numéro de port ou conservez la valeur par défaut : 5432.

   3. Sélectionnez Suivant au bas de la page.

      

5. Sur la page Vérifier + se connecter, passez en revue le résumé, puis sélectionnez Ajouter.

   

Remarque

Le nombre maximal de sources et de destinations pour un flux d’événements est de 11.

Afficher l’Eventstream mis à jour

1. Vous pouvez voir la source CDC de la base de données PostgreSQL ajoutée à votre Eventstream en mode Édition.

   

2. Pour implémenter cette source de CDC de dB PostgreSQL récemment ajoutée, sélectionnez Publier. Une fois ces étapes terminées, votre source CDC de la base de données PostgreSQL est disponible pour la visualisation dans l’affichage en direct.

   

Contenu connexe

Autres connecteurs :

• Flux de données Amazon Kinesis
• Azure Cosmos DB
• Azure Event Hubs
• Azure Service Bus
• Azure IoT Hub
• Capture des changements de données (CDC) de la base de données Azure SQL
• Confluent Kafka
• Point de terminaison personnalisé
• Google Cloud Pub/Sub
• CDC de la base de données MySQL
• CDC de la base de données PostgreSQL
• Exemples de données
• Événements de Stockage Blob Azure
• Événement d’espace de travail Fabric