Prozkoumání kanálů příjmu dat
Teď, když rozumíte trochu architektuře rozsáhlého řešení datových skladů a některé z distribuovaných technologií zpracování, které je možné použít ke zpracování velkých objemů dat, je čas prozkoumat, jak se data ingestují do analytického úložiště dat z jednoho nebo více zdrojů.
V Azure je příjem dat ve velkém měřítku nejlépe implementovaný vytvořením kanálů , které orchestrují procesy ETL. Kanály můžete vytvářet a spouštět pomocí služby Azure Data Factory nebo můžete použít funkci kanálu v Microsoft Fabric , pokud chcete spravovat všechny komponenty řešení datových skladů v jednotném pracovním prostoru.
V obou případech se kanály skládají z jedné nebo více aktivit , které pracují s daty. Vstupní datová sada poskytuje zdrojová data a aktivity je možné definovat jako tok dat, který přírůstkově manipuluje s daty, dokud se nezgeneruje výstupní datová sada. Kanály používají propojené služby k načítání a zpracování dat – umožňují používat správnou technologii pro každý krok pracovního postupu. Můžete například použít propojenou službu Azure Blob Store k ingestování vstupní datové sady a pak pomocí služeb, jako je Azure SQL Database, spustit uloženou proceduru, která vyhledá související datové hodnoty, před spuštěním úlohy zpracování dat v Azure Databricks nebo použít vlastní logiku pomocí funkce Azure Functions. Nakonec můžete výstupní datovou sadu uložit do propojené služby, jako je Microsoft Fabric. Kanály můžou také zahrnovat některé předdefinované aktivity, které nevyžadují propojenou službu.