Sdílet prostřednictvím

Přehled prostředků zachytávání změn dat

  • Článek

PLATÍ PRO: Azure Data Factory Azure Synapse Analytics

Tip

Vyzkoušejte si službu Data Factory v Microsoft Fabric, řešení pro analýzy typu all-in-one pro podniky. Microsoft Fabric zahrnuje všechno od přesunu dat až po datové vědy, analýzy v reálném čase, business intelligence a vytváření sestav. Přečtěte si, jak začít používat novou zkušební verzi zdarma.

Přizpůsobení se světě velkých objemů dat v cloudu může být neuvěřitelně náročné pro datové inženýry, kteří zodpovídají za vytváření komplexní integrace dat a kanálů ETL.

Azure Data Factory zavádí nový mechanismus, který usnadňuje život datového inženýra.

Díky automatickému zjišťování změn dat ve zdroji bez nutnosti složitého návrhu nebo kódování je ADF snadné škálovat tyto procesy. Change Data Capture teď bude existovat jako nový nativní prostředek nejvyšší úrovně v nástroji Azure Data Factory Studio, kde datoví inženýři můžou rychle nakonfigurovat nepřetržitě spuštěné úlohy pro zpracování velkých objemů dat ve velkém měřítku s extrémní efektivitou.

Nový prostředek Change Data Capture v ADF umožňuje zachytit data změn s plnou věrností, která se nepřetržitě spouští téměř v reálném čase prostřednictvím prostředí s asistencí konfigurace.

Snímek obrazovky s novým prostředkem nejvyšší úrovně na panelu Prostředky továrny

Poznámka:

Prostředek Change Data Capture ve službě Azure Data Factory je aktuálně ve verzi Public Preview.

Podporované zdroje dat

  • Avro
  • Azure Cosmos DB (SQL API)
  • Azure SQL Database
  • Azure SQL Managed Instance
  • Text s oddělovači
  • JSON
  • ORC
  • Parquet
  • SQL Server
  • XML
  • Snowflake

Podporované cíle

  • Avro
  • Azure SQL Database
  • Spravovaná instance SQL
  • Text s oddělovači
  • Rozdíl
  • JSON
  • ORC
  • Parquet
  • Azure Synapse Analytics

Známá omezení

  • V současné době se při vytváření mapování zdroje a cíle smí každý zdroj a cíl používat pouze jednou.
  • Komplexní typy jsou v současné době nepodporované.
  • Místní prostředí Integration Runtime (SHIR) se v současné době nepodporuje.

Další informace o známých omezeních a pomoci při řešení potíží najdete v tomto průvodci odstraňováním potíží.

Azure Synapse Analytics jako cíl

Pokud jako cíl používáte Azure Synapse Analytics, je na plátně hlavní tabulky k dispozici přípravná nastavení . Povolení přípravy je povinné při výběru Azure Synapse Analytics jako cíle. To výrazně zvyšuje výkon zápisu pomocí výkonné funkce hromadného načítání, jako je například příkaz COPY INTO. Nastavení přípravy je možné nakonfigurovat dvěma způsoby: s využitím nastavení továrny nebo výslovným souhlasem s vlastními nastaveními. Nastavení továrny platí na úrovni továrny. Pokud tato nastavení nejsou nakonfigurovaná poprvé, budete přesměrováni do části globálního přípravného nastavení pro konfiguraci. Po nastavení budou tuto konfiguraci přijímat všechny prostředky nejvyšší úrovně CDC. Vlastní nastavení je vymezeno pouze pro prostředek CDC, pro který je nakonfigurovaný a přepisuje nastavení továrny.

Poznámka:

Vzhledem k tomu, že k přenosu dat z přípravného umístění do Azure Synapse Analytics používáme příkaz COPY INTO, doporučujeme zajistit, aby všechna požadovaná oprávnění byla předem nakonfigurovaná ve službě Azure Synapse Analytics.

Poznámka:

Při spuštění CDC vždy používáme poslední publikovanou konfiguraci. Při spouštění řadičů CDC se vám během zpracování vašich dat bude účtovat 4 virtuální jádra Tok dat pro obecné účely.

Související obsah