Práce s kanály datové továrny

Dokončeno

Aby bylo možné pracovat s kanály datové továrny, je nezbytné pochopit, co je kanál ve službě Azure Data Factory.

Kanál ve službě Azure Data Factory představuje logické seskupení aktivit, ve kterých aktivity společně provádějí určitou úlohu.

Příkladem kombinace aktivit v jednom kanálu může být ingestování a čištění dat protokolu v kombinaci s mapováním toku dat, který analyzuje data protokolu, která byla vyčištěna.

Kanál umožňuje spravovat samostatné jednotlivé aktivity jako sadu, což by jinak bylo spravováno jednotlivě. Umožňuje efektivně nasazovat a plánovat aktivity pomocí jednoho kanálu a nezávisle spravovat jednotlivé aktivity.

Aktivity v kanálu se označují jako akce, které provádíte s vašimi daty. Každá aktivita může mít nula nebo více vstupních datových sad a může generovat jednu nebo více výstupních datových sad.

Příkladem akce může být použití aktivity kopírování, kde kopírujete data z Azure SQL Database do Azure DataLake Storage Gen2. K vytvoření tohoto příkladu můžete použít aktivitu toku dat nebo aktivitu poznámkového bloku Azure Databricks ke zpracování a transformaci dat zkopírovaných do vašeho účtu Azure Data Lake Storage Gen2, aby byla data připravená pro řešení pro vytváření sestav business intelligence, jako je azure Synapse Analytics.

Vzhledem k tomu, že v kanálu ve službě Azure Data Factory existuje mnoho aktivit, seskupili jsme aktivity do tří kategorií:

• Aktivity přesunu dat: Aktivita kopírování ve službě Data Factory kopíruje data ze zdrojového úložiště dat do úložiště dat jímky.
• Aktivity transformace dat: Azure Data Factory podporuje aktivity transformace, jako jsou Tok dat, Funkce Azure, Spark a další, které je možné přidat do kanálů jednotlivě nebo zřetězených s jinou aktivitou.
• Aktivity řízení: Příklady aktivit toku řízení jsou "get metadata", 'For Each' a 'Execute Pipeline'.

Aktivity můžou záviset na sobě navzájem. To znamená, že závislost aktivity definuje, jak následné aktivity závisejí na předchozích aktivitách. Samotná závislost může být založena na podmínce, zda pokračovat v provádění předchozích definovaných aktivit, aby bylo možné dokončit úlohu. Aktivita, která závisí na jedné nebo více předchozích aktivitách, může mít různé podmínky závislosti.

Čtyři podmínky závislosti:

• Úspěch
• Neúspěšné
• Přeskočena
• Dokončeno

Pokud má například kanál aktivitu A, následovaná aktivitou B a aktivitou B jako podmínkou závislosti na aktivitě A "Úspěch", aktivita B se spustí pouze v případě, že má aktivita A stav úspěch.

Pokud máte kanál s více aktivitami a následující aktivity nejsou závislé na předchozích aktivitách, mohou se aktivity spouštět souběžně.