Principy služby Azure Data Factory
Nutnost aktivovat dávkové přesuny dat nebo nastavit pravidelný plán je požadavek pro většinu analytických řešení. Azure Data Factory (ADF) je služba, kterou je možné použít ke splnění takového požadavku. ADF poskytuje cloudovou službu pro integraci dat, která orchestruje přesun a transformaci dat mezi různými úložišti dat a výpočetními prostředky.
Azure Data Factory je cloudová služba ETL a služba pro integraci dat, která umožňuje vytvářet pracovní postupy řízené daty pro orchestraci přesunu a transformaci dat ve velkém měřítku. Pomocí služby Azure Data Factory můžete vytvářet a plánovat pracovní postupy řízené daty (označované jako kanály), které dokáží ingestovat data z různorodých úložišť dat. Můžete vytvářet složité procesy ETL, které vizuálně transformují data pomocí toků dat nebo pomocí výpočetních služeb, jako jsou Azure HDInsight Hadoop, Azure Databricks a Azure Synapse Analytics.
Většina funkcí služby Azure Data Factory se ve službě Azure Synapse Analytics zobrazuje jako funkce označovaná jako Kanály, která umožňuje integrovat datové kanály mezi fondy SQL, fondy Sparku a bezserverovým sql serverem, což poskytuje jediné místo pro všechny vaše analytické potřeby.
Co je míněno orchestrací
Chcete-li použít analogii, zamyslete se nad orchestrem symfonie. Ústředním členem orchestru je vodič. Vodič nehraje nástroje, jednoduše vedou orchestrální členy celou hudbou, kterou provádějí. Hudebníci používají své vlastní dovednosti k vytváření konkrétních zvuků v různých fázích symfonie, takže se mohou učit pouze určité části hudby. Vodič orchestruje celou hudbu, a proto si je vědom celého skóre, které se provádí. Budou také používat specifické pohyby rukou, které poskytují pokyny pro hudebníky, jak se má přehrávat kus hudby.
ADF může použít podobný přístup, zatímco má nativní funkce pro ingestování a transformaci dat, někdy dá jiné službě pokyn, aby prováděla skutečnou práci potřebnou jejím jménem, například Databricks ke spuštění transformačního dotazu. V tomto případě by to tedy byla Databricks, která provádí práci, nikoli ADF. ADF pouze orchestruje provádění dotazu a pak poskytuje kanály pro přesun dat do dalšího kroku nebo cíle.
Poskytuje také bohaté vizualizace pro zobrazení rodokmenu a závislostí mezi vašimi datovými kanály a monitorování všech datových kanálů z jednoho jednotného zobrazení pro jednodušší identifikaci problémů a nastavení výstrah monitorování.
