Delen via

PostgreSQL Database CDC-bron toevoegen aan een eventstream

  • Artikel

In dit artikel leest u hoe u een CDC-bron (PostgreSQL Database Change Data Capture) toevoegt aan een eventstream.

Met de Bronconnector PostgreSQL Database Change Data Capture (CDC) voor Microsoft Fabric-gebeurtenisstromen kunt u een momentopname van de huidige gegevens in een PostgreSQL-database vastleggen. Op dit moment wordt PostgreSQL Database Change Data Capture (CDC) ondersteund vanuit de volgende services waar de databases openbaar toegankelijk zijn:

  • Azure Database for PostgreSQL
  • Amazon RDS for PostgreSQL
  • Amazon Aurora PostgreSQL
  • Google Cloud SQL for PostgreSQL

Zodra de PostgreSQL Database CDC-bron is toegevoegd aan de eventstream, worden wijzigingen op rijniveau vastgelegd in de opgegeven tabellen. Deze wijzigingen kunnen vervolgens in realtime worden verwerkt en naar verschillende bestemmingen worden verzonden voor verdere analyse.

Notitie

Deze bron wordt niet ondersteund in de volgende regio's van uw werkruimtecapaciteit: VS - west 3, Zwitserland - west.

Vereisten

  • Toegang tot een werkruimte in de Fabric-capaciteitslicentiemodus of de proeflicentiemodus met bijdrager- of hogere machtigingen.

  • Geregistreerde gebruikerstoegang in de PostgreSQL-database.

  • Uw PostgreSQL-database moet openbaar toegankelijk zijn en zich niet achter een firewall bevinden of zijn beveiligd in een virtueel netwerk.

  • CDC ingeschakeld in de PostgreSQL-database en -tabellen.

    Als u Azure Database for PostgreSQL hebt, volgt u de stappen in de volgende sectie om CDC in te schakelen. Zie Logische replicatie en logische decodering - Azure Database for PostgreSQL - Flexible Server voor gedetailleerde informatie.

    Zie de Debezium-connector voor PostgreSQL voor andere PostgreSQL-databases : Debezium-documentatie.

  • Als u geen eventstream hebt, maakt u een eventstream.

CDC inschakelen in uw PostgreSQL-database

In deze sectie wordt Azure Database for PostgreSQL- als voorbeeld gebruikt.

Voer de volgende stappen uit om CDC in te schakelen in uw Flexibele Azure Database for PostgreSQL-server:

  1. Selecteer serverparameters in het navigatiemenu op de pagina Flexibele Server van Azure Database for PostgreSQL in Azure Portal.

  2. Op de pagina Serverparameters :

    • Stel wal_level in op logisch.
    • Werk de max_worker_processes bij naar ten minste 16.

    Een schermopname van het inschakelen van CDC voor een flexibele serverimplementatie.

  3. Sla de wijzigingen op en start de server opnieuw op.

  4. Controleer of uw Azure Database for PostgreSQL Flexible Server-exemplaar openbaar netwerkverkeer toestaat.

  5. Geef de gebruiker admin replicatierechten door de volgende SQL-instructie uit te voeren. Als u een ander gebruikersaccount wilt gebruiken om uw PostgreSQL-database te verbinden om CDC op te halen, moet u ervoor zorgen dat de gebruiker de tabeleigenaar is.

    ALTER ROLE <admin_user_or_table_owner_user> WITH REPLICATION;

De wizard Een gegevensbron selecteren starten

Als u nog geen bron aan uw eventstream hebt toegevoegd, selecteert u de tegel Externe bron.

Schermopname met de selectie van de tegel Externe bron gebruiken.

Als u de bron toevoegt aan een al gepubliceerde gebeurtenisstroom, schakelt u over naar de bewerkingsmodus, selecteert u Bron toevoegen op het lint en selecteert u Vervolgens Externe bronnen.

Schermopname van de selectie van het menu Bron toevoegen aan externe bronnen.  

Zoek op de pagina Selecteer een gegevensbron en selecteer op de tegel PostgreSQL DB (CDC) de optie Verbind.

Schermopname van de selectie van Azure DB for PostgreSQL (CDC) als brontype in de wizard voor het ophalen van gebeurtenissen.

Configureren en verbinding maken met PostgreSQL Database CDC

  1. Op de pagina Verbinding maken, selecteer Nieuwe verbinding.

    Schermopname van de pagina Verbinding maken voor een Azure PostgreSQL-database met de koppeling Nieuwe verbinding gemarkeerd.

  2. Voer in de sectie Verbindingsinstellingen de volgende gegevens in.

    • Server: het serveradres van uw PostgreSQL-database, bijvoorbeeld my-pgsql-server.postgres.database.azure.com.

    • Database: de databasenaam, bijvoorbeeld my_database.

      Schermopname van de sectie Verbindingsinstellingen voor de Azure PostgreSQL-databaseconnector.

  3. Schuif omlaag en volg deze stappen in de sectie Verbindingsreferenties .

    1. Voer voor de verbindingsnaam een naam in voor de verbinding.

    2. Voor verificatietype selecteert u Basic.

      Notitie

      Momenteel ondersteunen Fabric-gebeurtenisstromen alleen basisverificatie .

    3. Voer de gebruikersnaam en het wachtwoord voor de database in.

    4. Selecteer Verbinding maken.

      Schermopname van de sectie Verbindingsreferenties voor de Azure PostgreSQL-databaseconnector.

  4. Voer nu op de pagina Verbinding maken de volgende stappen uit:

    1. Voer voor Poort het poortnummer in of laat de standaardwaarde staan: 5432. Als uw geselecteerde cloudverbinding is geconfigureerd in Verbindingen en gateways beheren, moet u ervoor zorgen dat het poortnummer overeenkomt met het poortnummer dat daar is ingesteld. Als ze niet overeenkomen, heeft het poortnummer in de cloudverbinding in Verbindingen en gateways beheren prioriteit.

    2. Voor tabelselecteert u Alle tabellen of Tabelnamen invoeren. Als u deze laatste selecteert, geeft u tabellen op met behulp van een door komma's gescheiden lijst met volledige tabel-id's (schemaName.tableName) of geldige reguliere expressies. Bijvoorbeeld:

      • Gebruik dbo.test.* om alle tabellen te selecteren waarvan de namen beginnen met dbo.test.
      • Gebruik dbo\.(test1|test2) om dbo.test1 en dbo.test2te selecteren. U kunt maximaal 100 tabellen invoeren en elke tabelnaam (inclusief het schema) mag maximaal 128 tekens bevatten.

      U kunt beide indelingen combineren met komma's. Er kunnen maximaal 100 tabellen worden ingevoerd, waarbij elke tabelnaam (inclusief de schemanaam) is beperkt tot 128 tekens als u rechtstreeks volledige tabel-id's gebruikt.

    3. Slotnaam (optioneel): Voer de naam in van het logische decoderingsslot van PostgreSQL dat is aangemaakt voor het streamen van veranderingen met een specifieke plug-in voor een specifieke database/schema. De server gebruikt deze slot om gebeurtenissen te streamen naar de Eventstream-streamingconnector. Deze mag alleen kleine letters, cijfers en onderstrepingstekens bevatten.

    4. Selecteer Volgende onder aan de pagina.

      Schermopname van de pagina Verbinding maken die is ingevuld voor de Azure PostgreSQL-databaseconnector.

  5. Controleer op de pagina Controleren en verbinden de samenvatting, en selecteer Toevoegen.

    Schermopname van de pagina Controleren en maken die is ingevuld voor de Azure PostgreSQL-databaseconnector.

Notitie

Het maximum aantal bronnen en bestemmingen voor één eventstream is 11.

Bijgewerkte eventstream weergeven

  1. U ziet dat de PostgreSQL Database CDC-bron is toegevoegd aan uw eventstream in de bewerkingsmodus.

    Een schermopname van het streamen van postgreSQL DB CDC-bron in de bewerkingsweergave.

  2. Als u deze zojuist toegevoegde PostgreSQL DB CDC-bron wilt implementeren, selecteert u Publiceren. Nadat u deze stappen hebt voltooid, is uw PostgreSQL DB CDC-bron beschikbaar voor visualisatie in de liveweergave.

    Een schermopname van het streamen van PostgreSQL DB CDC-bron in liveweergave.

Gerelateerde inhoud

Andere verbindingen: