Přidání zdroje CDC databáze PostgreSQL do streamu událostí

V tomto článku se dozvíte, jak do streamu událostí přidat zdroj CDC (Database Change Data Capture) PostgreSQL.

Zdrojový konektor PostgreSQL Database Change Data Capture (CDC) pro streamy událostí Microsoft Fabric umožňuje zachytit snímek aktuálních dat v databázi PostgreSQL. V současné době se nástroj PostgreSQL Database Change Data Capture (CDC) podporuje z následujících služeb, ke které lze přistupovat veřejně:

• Azure databáze pro PostgreSQL
• Amazon RDS for PostgreSQL
• Amazon Aurora PostgreSQL
• Google Cloud SQL pro PostgreSQL

Jakmile se zdroj CDC databáze PostgreSQL přidá do eventstreamu, zaznamená změny na úrovni řádků do zadaných tabulek. Tyto změny je pak možné zpracovat v reálném čase a odeslat je do různých cílů pro další analýzu.

Poznámka:

Tento zdroj není podporován v následujících oblastech kapacity pracovního prostoru: USA – západ 3, Švýcarsko – západ.

Požadavky

• Přístup k pracovnímu prostoru v režimu licence kapacity Fabric nebo v zkušebním režimu licence s oprávněními přispěvatel nebo vyšší.

• Registrovaný přístup uživatele v databázi PostgreSQL.

• Vaše databáze PostgreSQL musí být veřejně přístupná a nesmí být za bránou firewall nebo zabezpečená ve virtuální síti.

• Služba CDC je povolená v databázi a tabulkách PostgreSQL.

  Pokud máte Azure Database for PostgreSQL, povolte CDC podle kroků v další části. Podrobné informace najdete v tématu Logická replikace a logické dekódování – Flexibilní server Azure Database for PostgreSQL.

  Další databáze PostgreSQL najdete v tématu Konektor Debezium pro PostgreSQL :: Dokumentace k Debezium.

• Pokud nemáte stream událostí, vytvořte stream událostí.

Povolení CDC v databázi PostgreSQL

V této části se jako příklad používá Azure Database for PostgreSQL.

Pokud chcete povolit CDC na flexibilním serveru Azure Database for PostgreSQL, postupujte takto:

1. Na stránce flexibilního serveru Azure Database for PostgreSQL na webu Azure Portal vyberte parametry serveru v navigační nabídce.

2. Na stránce Parametry serveru:

   • Nastavte wal_level na logickou hodnotu.
   • Aktualizujte max_worker_processes alespoň na 16.

   

3. Uložte změny a restartujte server.

4. Ověřte, že vaše instance flexibilního serveru Azure Database for PostgreSQL umožňuje veřejný síťový provoz.

5. Udělete uživateli s oprávněními správce práva k replikaci spuštěním následujícího příkazu SQL. Pokud chcete k načtení CDC použít jiný uživatelský účet pro připojení databáze PostgreSQL, ujistěte se, že je uživatel vlastníkem tabulky .

   ALTER ROLE <admin_user_or_table_owner_user> WITH REPLICATION;
   

Spusťte průvodce výběrem zdroje dat.

Pokud jste do streamu událostí ještě nepřidali žádný zdroj, vyberte možnost Použít externí zdroj.

Pokud přidáváte zdroj do již publikovaného streamu událostí, přepněte do režimu úprav , na pásu karet vyberte Přidat zdroj a pak vyberte Externí zdroje.

 

Na stránce Vyberte zdroj dat vyhledejte a vyberte Připojit na dlaždici PostgreSQL DB (CDC).

Konfigurace a připojení ke službě PostgreSQL Database CDC

1. Na stránce Připojit vyberte Nové připojení.

   

2. V části Nastavení připojení zadejte následující informace.

   • Server: Adresa serveru vaší databáze PostgreSQL, například my-pgsql-server.postgres.database.azure.com.

   • Databáze: Název databáze, například my_database.

     

3. Posuňte se dolů a v sekci Údaje o připojení postupujte takto.

   1. Jako název připojení zadejte název připojení.

   2. Jako druh ověřování vyberte Základní.

      Poznámka:

      Streamy událostí Fabric v současné době podporují pouze základní ověřování.

   3. Zadejte uživatelské jméno a heslo pro databázi.

   4. Vyberte Připojit.

      

4. Teď na stránce Připojit proveďte následující kroky:

   1. Jako port zadejte číslo portu nebo ponechte výchozí hodnotu: 5432. Pokud je vybrané cloudové připojení nakonfigurované v Správa připojení a bran, ujistěte se, že číslo portu odpovídá tomu, který je tam nastaven. Pokud se neshodují, bude mít přednost číslo portu v cloudovém připojení v Spravovat připojení a brány.

   2. V tabulkyvyberte Všechny tabulky nebo Zadejte názvy tabulek. Pokud vyberete druhou možnost, zadejte tabulky pomocí čárkami odděleného seznamu úplných identifikátorů tabulky (schemaName.tableName) nebo platných regulárních výrazů. Například:

      • Pomocí dbo.test.* vyberte všechny tabulky, jejichž názvy začínají dbo.test.
      • Pomocí dbo\.(test1|test2) vyberte dbo.test1 a dbo.test2. Můžete zadat až 100 tabulek a každý název tabulky (včetně schématu) může mít maximálně 128 znaků.

      Oba formáty můžete kombinovat pomocí čárek. Můžete zadat až 100 tabulek, přičemž každý název tabulky (včetně názvu schématu) je omezený na 128 znaků, pokud používáte přímo celé identifikátory tabulky.

   3. Název slotu (volitelné): Zadejte název logického dekódovacího slotu PostgreSQL, který byl vytvořen pro přenos změn z konkrétního plug-inu pro konkrétní databázi a schéma. Server používá tento slot k streamování událostí do konektoru streamování Eventstream. Musí obsahovat jenom malá písmena, číslice a podtržítka.

   4. V dolní části stránky vyberte Další .

      

5. Na stránce Zkontrolovat a připojit zkontrolujte souhrn a pak vyberte Přidat.

   

Poznámka:

Maximální počet zdrojů a cílů pro jeden stream událostí je 11.

Zobrazení aktualizovaného streamu událostí

1. Zdroj CDC databáze PostgreSQL přidaný do streamu událostí můžete zobrazit v režimu úprav.

   

2. Pokud chcete implementovat nově přidaný zdroj CDC databáze PostgreSQL, vyberte Publikovat. Po dokončení těchto kroků je zdroj CDC databáze PostgreSQL dostupný pro vizualizaci v živém zobrazení.

   

Související obsah

Další konektory:

• Datové proudy Amazon Kinesis
• Azure Cosmos DB
• Azure Event Hubs
• Azure Service Bus
• Azure IoT Hub
• Azure SQL Database Change Data Capture (CDC)
• Confluent Kafka
• Vlastní koncový bod
• Google Cloud Pub/Sub
• CDC databáze MySQL
• Databáze PostgreSQL – CDC
• Ukázková data
• Události služby Azure Blob Storage
• Událost pracovního prostoru Fabric