Co je inženýrství dat v Microsoft Fabric?
Příprava dat v Microsoft Fabric umožňuje uživatelům navrhovat, sestavovat a udržovat infrastruktury a systémy, které jejich organizacím umožňují shromažďovat, ukládat, zpracovávat a analyzovat velké objemy dat.
Microsoft Fabric poskytuje různé možnosti přípravy dat, které zajišťují, že vaše data jsou snadno přístupná, dobře uspořádaná a vysoce kvalitní. Na domovské stránce přípravy dat můžete:
Vytvořte a spravujte svá data pomocí lakehouse
Navrhněte kanály pro kopírování dat do datového jezera.
Použití definic úloh Sparku k odeslání dávkové úlohy nebo úlohy streamování do clusteru Spark
Používejte poznámkové bloky pro psaní kódu pro příjem dat, přípravu a transformaci
Jezerní dům
Lakehouses jsou datové architektury, které organizacím umožňují ukládat a spravovat strukturovaná a nestrukturovaná data v jednom umístění pomocí různých nástrojů a architektur pro zpracování a analýzu dat. Tyto nástroje a architektury můžou zahrnovat dotazy a analýzy založené na SQL a také strojové učení a další pokročilé analytické techniky.
Definice úlohy Apache Sparku
Definice úloh Sparku jsou sada instrukcí, které definují, jak spustit úlohu v clusteru Spark. Obsahuje informace, jako jsou vstupní a výstupní zdroje dat, transformace a nastavení konfigurace pro aplikaci Spark. Definice úlohy Sparku umožňuje odeslat úlohu dávkového streamování do clusteru Spark, použít jinou logiku transformace na data hostovaná v jezeře spolu s mnoha dalšími věcmi.
Zápisník
Poznámkové bloky jsou interaktivní výpočetní prostředí, které umožňuje uživatelům vytvářet a sdílet dokumenty, které obsahují živý kód, rovnice, vizualizace a text vyprávění. Umožňují uživatelům psát a spouštět kód v různých programovacích jazycích, včetně Pythonu, R a Scaly. Poznámkové bloky můžete použít k příjmu dat, přípravě, analýze a dalším úlohám souvisejícím s daty.
Datový kanál
Datové kanály představují řadu kroků, které můžou shromažďovat, zpracovávat a transformovat data z nezpracované formy do formátu, který můžete použít k analýze a rozhodování. Jsou důležitou součástí přípravy dat, protože poskytují způsob, jak přesouvat data ze zdroje do cíle spolehlivým, škálovatelným a efektivním způsobem.
Při registraci zkušební verze Fabricmůžete využít datové inženýrství v Microsoft Fabric zdarma. Můžete si také koupit kapacitu Microsoft Fabric nebo rezervovanou kapacitu Fabric
Související obsah
Začínáme s datovým inženýrstvím:
- Další informace o jezerech najdete v tématu Co je to lakehouse v Microsoft Fabric?
- Pokud chcete začít s jezerem, přečtěte si téma Vytvoření jezerahouse v Microsoft Fabric.
- Další informace o definicích úloh Apache Sparku najdete v tématu Co je definice úlohy Apache Spark?
- Pokud chcete začít s definicí úlohy Apache Spark, přečtěte si téma Vytvoření definice úlohy Apache Spark vFabric .
- Další informace o poznámkových blocích najdete v části Autor a spuštění poznámkového bloku.
- Abyste mohli začít s aktivitou kopírování pipeline, přečtěte si téma Jak kopírovat data pomocí aktivity kopírování.