瞭解 Azure Data Factory

已完成

需要觸發資料的批次移動或設定定期排程,是大多數分析解決方案的需求。 Azure Data Factory (ADF) 這項服務可以用來滿足這類需求。 ADF 提供雲端式的資料整合服務,可協調各種資料存放區和計算資源之間的資料移動和轉換。

Azure Data Factory 是雲端式的 ETL 及資料整合服務,可讓您建立資料驅動工作流程,以協調資料移動及大規模的資料轉換。 使用 Azure Data Factory,可以建立並排程資料驅動的工作流程 (稱為管線),它可以從不同的資料存放區內嵌資料。 您可以建立複雜的 ETL 程序,會透過資料流程或使用計算服務如 Azure HDInsight Hadoop、Azure Databricks、及 Azure Synapse Analytics,以視覺化方式轉換資料。

Azure Data Factory 中大部分功能都會以稱為管線的功能形式出現在 Azure Synapse Analytics 中,可讓您整合 SQL 集區、Spark 集區和 SQL 無伺服器之間的資料管線,為您所有的分析需求提供一站式作業。

協調流程指的是什麼

讓我們用交響樂團來舉個例子。 交響樂團的中心成員是指揮家。 指揮家不演奏樂器,他們僅帶領交響樂團成員演奏整首樂曲。 音樂家使用自己的技能在交響樂的各個階段產生特定音效,因此可能只會學習樂曲的特定部分。 指揮家會協調整首樂曲,因此也瞭解正在演奏作品的整份樂譜。 指揮家也會使用特定的手臂動作,提供音樂家演奏音樂的指示。

Azure Data Factory 可以使用類似的方法,雖然它具有可內嵌和轉換資料的原生功能,有時也可指示其他服務來執行實際所需的工作,例如使用 Databricks 來執行轉換查詢。 因此,在此情況下,工作會由 Databricks 執行,而不是經由 ADF。 ADF 只會協調查詢的執行,然後提供管線將資料移至下一個步驟或目的地。

它也提供豐富的視覺效果來顯示資料管線之間的譜系和相依性,並從單一統一檢視監視所有資料管線,以輕鬆找出問題和設定監視警示。

Data Factory platform