Kompletní scénář služby Data Factory: úvod a architektura
Tento kurz vám pomůže urychlit proces vyhodnocení služby Data Factory v Microsoft Fabric tím, že poskytuje podrobné pokyny pro scénář úplné integrace dat do jedné hodiny. Na konci tohoto kurzu rozumíte hodnotám a klíčovým funkcím služby Data Factory a víte, jak dokončit běžný komplexní scénář integrace dat.
Přehled: Proč služba Data Factory v Microsoft Fabric?
Tato část vám pomůže pochopit obecně roli Prostředků infrastruktury a roli, kterou v ní hraje služba Data Factory.
Vysvětlení hodnoty Microsoft Fabric
Microsoft Fabric poskytuje jednosmístné místo pro všechny analytické potřeby pro každý podnik. Zahrnuje kompletní spektrum služeb, včetně přesunu dat, datového jezera, přípravy dat, integrace dat a datových věd, analýzy v reálném čase a business intelligence. S Fabric není nutné spojovat různé služby od více dodavatelů. Místo toho mají vaši uživatelé ucelený, vysoce integrovaný, jednoduchý a komplexní produkt, který je snadno pochopitelný, onboarding, vytváření a provoz.
Vysvětlení hodnoty služby Data Factory v Microsoft Fabric
Data Factory v Prostředcích infrastruktury kombinuje snadné použití Power Query se škálováním a výkonem služby Azure Data Factory. Spojuje to nejlepší z obou produktů do sjednoceného prostředí. Cílem je zajistit, aby Integrace Dat ve službě Factory dobře fungovaly pro vývojáře pracující s občany i profesionálními daty. Poskytuje prostředí pro přípravu a transformaci dat s nízkou úrovní kódu, transformace s podporou umělé inteligence, petabajtovou transformaci, stovky konektorů s hybridním a multicloudovým připojením. Purview poskytuje zásady správného řízení a služba nabízí závazky na podnikové úrovni Data/Op, CI/CD, správu životního cyklu aplikací a monitorování.
Úvod – seznámení se třemi klíčovými funkcemi služby Data Factory
- Příjem dat: Aktivita Copy v kanálech umožňuje přesunout petabajtová data ze stovek zdrojů dat do data Lakehouse pro další zpracování.
- Transformace a příprava dat: Tok dat Gen2 poskytuje rozhraní s nízkým kódem pro transformaci dat pomocí 300 a více transformací dat s možností načtení transformovaných výsledků do více cílů, jako jsou databáze Azure SQL, Lakehouse a další.
- Kompletní automatizace toku integrace: Kanály poskytují orchestraci aktivit, mezi které patří kopírování, tok dat a aktivity poznámkových bloků a další. Díky tomu můžete spravovat aktivity na jednom místě. Aktivity v kanálu můžou být zřetězený tak, aby fungovaly postupně, nebo můžou pracovat nezávisle paralelně.
V tomto komplexním případě použití integrace dat se naučíte:
- Jak ingestovat data pomocí pomocníka pro kopírování v kanálu
- Jak transformovat data pomocí toku dat s prostředím bez kódu nebo napsáním vlastního kódu pro zpracování dat pomocí skriptu nebo aktivity poznámkového bloku
- Automatizace celého kompletního toku integrace dat pomocí kanálu s aktivačními událostmi a flexibilními aktivitami toku řízení
Architektura
V dalších 50 minutách máte za úkol dokončit kompletní scénář integrace dat. To zahrnuje ingestování nezpracovaných dat ze zdrojového úložiště do bronzové tabulky Lakehouse, zpracování všech dat, přesunutí do zlaté tabulky data Lakehouse, odeslání e-mailu s oznámením o dokončení všech úloh a nakonec nastavení celého toku tak, aby běžel podle plánu.
Scénář je rozdělený do tří modulů:
- Modul 1: Vytvoření kanálu se službou Data Factory pro příjem nezpracovaných dat z úložiště objektů blob do bronzové tabulky v datovém jezeře.
- Modul 2: Transformujte data pomocí toku dat ve službě Data Factory , aby zpracovávala nezpracovaná data z tabulky Bronze a přesunula je do zlaté tabulky v data Lakehouse.
- Modul 3: Dokončením první cesty integrace dat odešlete e-mail s oznámením, že se dokončí všechny úlohy, a nakonec nastavíte celý tok, který se bude spouštět podle plánu.
Jako zdroj dat pro kurz použijete ukázkovou datovou sadu NYC-Taxi . Po dokončení budete moct získat přehled o denních slevách na jízdné ve taxislužbě po určitou dobu pomocí služby Data Factory v Microsoft Fabric.
Související obsah
V tomto úvodu k našemu kompletnímu kurzu pro první integraci dat pomocí služby Data Factory v Microsoft Fabric jste se naučili:
- Hodnota a role Microsoft Fabric
- Hodnota a role služby Data Factory v prostředcích infrastruktury
- Klíčové funkce služby Data Factory
- Co se naučíte v tomto kurzu
Pokračujte k další části a vytvořte datový kanál.