PostgreSQL-tietokannan CDC-lähteen lisääminen tapahtumavirtaan

Tässä artikkelissa kerrotaan, miten voit lisätä PostgreSQL-tietokannan Change Data Capture (CDC) -lähteen tapahtumavirtaan.

PostgreSQL-tietokannan Change Data Capture (CDC) -lähdeliittimen avulla Voit tallentaa tilannevedoksen nykyisistä tiedoista PostgreSQL-tietokantaan. Tällä hetkellä PostgreSQL-tietokannan muutostietokantaa (CDC) tuetaan seuraavista palveluista, joissa tietokantoja voi käyttää julkisesti:

• Azure-tietokanta PostgreSQL-:lle
• Amazon RDS PostgreSQL:lle
• Amazon Aurora PostgreSQL
• Google Cloud SQL PostgreSQL:lle

Kun PostgreSQL-tietokannan CDC-lähde on lisätty tapahtumavirtaan, se tallentaa rivitason muutokset määritettyihin taulukoihin. Nämä muutokset voidaan sitten käsitellä reaaliaikaisesti ja lähettää eri kohteisiin tarkempaa analysointia varten.

Muistiinpano

Tätä lähdettä ei tueta seuraavilla työtilakapasiteettisi alueilla: Länsi-YHDYSVALLAT3, Sveitsi, läntinen.

Edellytykset

• Työtilan käyttöoikeus Fabric-kapasiteetin käyttöoikeustilassa (tai) kokeiluversion käyttöoikeustilassa Osallistuja-oikeudella tai korkeammilla käyttöoikeuksilla.

• Rekisteröity käyttöoikeus PostgreSQL-tietokannassa.

• PostgreSQL-tietokannan on oltava julkisesti käytettävissä, eikä se saa olla palomuurin takana tai suojattu näennäisverkossa.

• Cdc käytössä PostgreSQL-tietokannassa ja -taulukoissa.

  Jos sinulla on Azure-tietokanta PostgreSQL:ää varten, ota CDC käyttöön noudattamalla seuraavan osion ohjeita. Lisätietoja on kohdassa Looginen replikointi ja looginen koodaus – Azure-tietokanta PostgreSQL: lle – joustava palvelin.

  Muiden PostgreSQL-tietokantojen osalta katso Debezium-liitin PostgreSQL:: Debezium Documentation -tietokannalle.

• Jos sinulla ei ole tapahtumastreamia, luo tapahtumavirta.

CDC:n ottaminen käyttöön PostgreSQL-tietokannassa

Tässä osassa käytetään esimerkkinä Azure Database for PostgreSQL.

Ota CDC käyttöön Azure-tietokannassa PostgreSQL-joustavalle palvelimelle seuraavasti:

1. Valitse Azure-portaali: Azure-tietokanta PostgreSQL:n joustavalle palvelimelle -sivulla palvelinparametrit siirtymisvalikosta.

2. Palvelimen parametrit -sivulla:

   • Määritä wal_level loogisiksi.
   • Päivitä max_worker_processes vähintään arvoon 16.

   

3. Tallenna muutokset ja käynnistä palvelin uudelleen.

4. Varmista, että PostgreSQL:n joustavan palvelimen Azure-tietokanta sallii julkisen verkkoliikenteen.

5. Myönnä järjestelmänvalvojan käyttäjien replikoinnin käyttöoikeudet suorittamalla seuraava SQL-lauseke. Jos haluat käyttää muuta käyttäjätiliä PostgreSQL DB:n yhdistämiseen CDC:n noutamiseksi, varmista, että käyttäjä on -taulukon omistaja.

   ALTER ROLE <admin_user_or_table_owner_user> WITH REPLICATION;
   

Käynnistä ohjattu Tietolähteen valitseminen -toiminto

Jos et ole vielä lisännyt lähdettä tapahtumavirtaan, valitse Käytä ulkoista lähderuutua .

Jos lisäät lähteen jo julkaistuun tapahtumavirtaan, vaihda Muokkaa-tilaan , valitse valintanauhasta Lisää lähde ja valitse sitten Ulkoiset lähteet.

 

Etsi Valitse tietolähde -sivulta PostgreSQL DB (CDC) - Connect.

PostgreSQL-tietokanta CDC:n määrittäminen ja siihen yhdistäminen

1. Valitse Yhdistä-sivullaUusi yhteys.

   

2. Anna Yhteysasetukset-osiossa seuraavat tiedot.

   • Palvelin: PostgreSQL-tietokannan palvelinosoite, esimerkiksi my-pgsql-server.postgres.database.azure.com.

   • Tietokanta: Tietokannan nimi, esimerkiksi my_database.

     

3. Vieritä alaspäin ja toimi Yhteyden tunnistetiedot -osiossa seuraavien ohjeiden mukaisesti.

   1. Anna yhteyden nimi Yhteyden nimi -kohtaan.

   2. Valitse todennuslajiksi Perus.

      Muistiinpano

      Tällä hetkellä Fabric-tapahtumavirrat tukevat vain perustodentamista .

   3. Anna tietokannan käyttäjänimi ja salasana .

   4. Valitse Yhdistä.

      

4. Tee nyt Yhdistä-sivulla seuraavat vaiheet:

   1. Anna taulukolle taulukon nimi.

   2. Anna Portille portin numero tai jätä oletusarvo: 5432.

   3. Valitse seuraava sivun alareunasta.

      

5. Tarkista yhteenveto Tarkista + yhdistä -sivulla ja valitse sitten Lisää.

   

Muistiinpano

Yhden tapahtumavirran lähteiden ja kohteiden enimmäismäärä on 11.

Näytä päivitetty tapahtumavirta

1. Näet PostgreSQL-tietokannan CDC-lähteen lisättynä tapahtumavirtaasi Muokkaa-tilassa.

   

2. Jos haluat ottaa käyttöön tämän äskettäin lisätyn PostgreSQL DB CDC -lähteen, valitse Julkaise. Kun olet suorittanut nämä vaiheet, PostgreSQL DB CDC -lähde on visualisoitavissa reaaliaikaisessa näkymässä.

   

Liittyvä sisältö

Muut liittimet:

• Amazon Kinesis -tietovirrat
• Azure Cosmos DB
• Azure Tapahtumatoiminnot
• Azuren palveluväylä
• Azure IoT Hub
• Azure SQL -tietokannan muutos tietokaappaus (CDC)
• Confluent Kafka
• Mukautettu päätepiste
• Google Cloud Pub/Sub
• MySQL-tietokannan CDC
• PostgreSQL-tietokannan CDC
• Mallitiedot
• Azure Blob -säilön tapahtumat
• Fabric-työtilatapahtuma