Novinky a plány služby Data Factory v Microsoft Fabric
Důležité
Plány vydaných verzí popisují funkce, které mohly nebo ještě nebyly vydány. Časové osy doručení a předpokládané funkce se můžou změnit nebo nemusí dodávat. Další informace najdete v zásadách Microsoftu.
Data Factory v Microsoft Fabric kombinuje integraci občanských dat a funkce integrace dat pro profesionály do jednoho moderního prostředí integrace dat. Poskytuje připojení k více než 100 relačním a nerelačním databázím, jezerům, datovým skladům, obecným rozhraním, jako jsou rozhraní REST API, OData a další.
Toky dat: Tok dat Gen2 umožňuje provádět rozsáhlé transformace dat a podporuje různé výstupní cíle, které zapisují do Azure SQL Database, Lakehouse, Data Warehouse a další. Editor toků dat nabízí více než 300 transformací, včetně možností založených na umělé inteligenci, a umožňuje snadno transformovat data s větší flexibilitou než jakýkoli jiný nástroj. Bez ohledu na to, jestli extrahujete data z nestrukturovaného zdroje dat, jako je webová stránka, nebo přetváříte existující tabulku v editoru Power Query, můžete snadno použít extrakci dat Power Query podle příkladu, která používá umělou inteligenci (AI) a zjednodušuje proces.
Datové kanály: Datové kanály nabízejí možnost vytvářet všestranné pracovní postupy orchestrace dat, které spojují úlohy, jako je extrakce dat, načítání do upřednostňovaných úložišť dat, spouštění poznámkových bloků, spouštění skriptů SQL a další. Můžete rychle vytvářet výkonné datové kanály řízené metadaty, které automatizují opakující se úlohy. Například načítání a extrahování dat z různých tabulek v databázi, iterace několika kontejnerů ve službě Azure Blob Storage a další. Kromě toho můžete s datovými kanály přistupovat k datům z Microsoftu 365 pomocí konektoru Microsoft Graph Data Connection (MGDC).
Úloha kopírování: Kopírování úlohy zjednodušuje příjem dat díky zjednodušenému a uživatelsky přívětivého procesu, který přesouvá data v petabajtovém měřítku z libovolného zdroje do libovolného cíle. Data můžete kopírovat pomocí různých stylů doručení dat, včetně dávkového kopírování, přírůstkové kopie a dalších.
Úloha Apache Airflow: Úloha Apache Airflow je příští generace Správce orchestrace pracovních postupů služby Azure Data Factory. Je to jednoduchý a efektivní způsob, jak vytvářet a spravovat úlohy orchestrace Apache Airflow, což umožňuje snadno spouštět řízené Acyklické grafy (DAG) ve velkém měřítku. Úloha Apache Airflow vám umožňuje moderní prostředí integrace dat k ingestování, přípravě, transformaci a orchestraci dat z bohaté sady zdrojů dat pomocí kódu.
Zrcadlení databáze: Zrcadlení databází v prostředcích infrastruktury je nízkonákladové řešení s nízkou latencí navržené s otevřenými standardy (např. formát tabulky Delta Lake). Umožňuje rychle replikovat data a metadata z různých systémů. Pomocí zrcadlení databáze můžete průběžně replikovat svá datová aktiva do Microsoft Fabric OneLake pro účely analýzy. Díky vysoce integrovanému a snadno použitelnému prostředí teď můžete zjednodušit, jak začít s analytickými potřebami.
Další informace najdete v dokumentaci.
Investiční oblasti
Během několika příštích měsíců služba Data Factory v Microsoft Fabric rozšíří možnosti připojení a dále přidá do bohaté knihovny transformací a aktivit datového kanálu. Kromě toho umožňuje provádět replikaci dat v reálném čase z provozních databází a přenést tato data do jezera pro účely analýzy.
Podpora CI/CD a veřejných rozhraní API toku dat Gen2
Odhadovaná časová osa vydání: 4. čtvrtletí 2024
Typ verze: Public Preview
Možnosti toku dat Gen2 budou rozšířeny tak, aby podporovaly následující funkce v prostředcích infrastruktury, včetně:
- Možnost zahrnout položky Dataflow Gen2 do kanálů nasazení ALM
- Schopnost využívat položky Toku dat Gen2 s možnostmi správy zdrojového kódu (integrace Gitu)
- Veřejná rozhraní API CRUDLE pro položky Toku dat Gen2
Jedná se o vysoce požadované funkce od mnoha zákazníků a s radostí je zpřístupníme jako funkci Preview.
Sémantické tabulky a oddíly aktualizace modelu
Odhadovaná časová osa vydání: 4. čtvrtletí 2024
Typ verze: Public Preview
Uživatelé kanálu jsou velmi nadšeni z naší velmi oblíbené aktivity kanálu aktualizace sémantického modelu. Běžnou sadou dotazů bylo zlepšit kanál zpracování ELT aktualizací konkrétních tabulek a oddílů v jejich modelech. Tuto funkci jsme teď povolili, aby aktivita kanálu byla nejúčinnějším způsobem, jak aktualizovat sémantické modely Fabric.
Import a export kanálu služby Fabric Data Factory
Odhadovaná časová osa vydání: 4. čtvrtletí 2024
Typ verze: Obecná dostupnost
Jako vývojář kanálu služby Data Factory budete často chtít exportovat definici kanálu a sdílet ji s ostatními vývojáři nebo ji znovu použít v jiných pracovních prostorech. Teď jsme přidali možnost exportu a importu kanálů služby Data Factory z pracovního prostoru Fabric. Tato výkonná funkce umožní ještě více možností spolupráce a bude neocenitelná při řešení potíží s kanály s našimi týmy podpory.
Copilot pro Data Factory (datový kanál)
Odhadovaná časová osa vydání: 4. čtvrtletí 2024
Typ verze: Public Preview
Copilot pro Data Factory (datový kanál) umožňuje zákazníkům vytvářet datové kanály pomocí přirozeného jazyka a poskytuje pokyny k řešení potíží.
Zrcadlení pro Azure SQL DB
Odhadovaná časová osa vydání: 4. čtvrtletí 2024
Typ verze: Obecná dostupnost
Zrcadlení poskytuje bezproblémové prostředí bez ETL pro integraci stávajících dat Azure SQL DB se zbývajícími daty v Microsoft Fabricu. Data Azure SQL DB můžete průběžně replikovat přímo do Fabric OneLake téměř v reálném čase, aniž by to mělo vliv na výkon transakčních úloh.
Další informace o zrcadlení v Microsoft Fabric
Otevřít zrcadlení
Odhadovaná časová osa vydání: 4. čtvrtletí 2024
Typ verze: Public Preview
Open Mirroring je výkonná funkce, která vylepšuje rozšiřitelnost Prostředků infrastruktury tím, že umožňuje libovolné aplikaci nebo poskytovateli dat přenést svá datová aktiva přímo do OneLake s minimálním úsilím. Díky tomu, že povolíte poskytovatelům dat a aplikacím zapisovat data přímo do zrcadlené databáze v rámci prostředků infrastruktury, open mirroring zjednodušuje zpracování složitých změn dat a zajišťuje, aby všechna zrcadlovaná data byla nepřetržitě aktuální a připravená k analýze.
Podpora SPN veřejných datových kanálů
Odhadovaná časová osa vydání: 4. čtvrtletí 2024
Typ verze: Public Preview
Aby bylo používání rozhraní REST API kanálu v prostředcích infrastruktury mnohem jednodušší a bezpečnější, povolíme podporu hlavního názvu služby (instančního objektu) pro veřejná rozhraní API.
Podpora datového kanálu pro proměnné pracovního prostoru Fabric
Odhadovaná časová osa vydání: 4. čtvrtletí 2024
Typ verze: Public Preview
Při implementaci CICD v prostředích kanálu Služby Fabric Data Factory je velmi důležité aktualizovat hodnoty od vývoje po testování na prod atd. Pomocí proměnných uvnitř prostředků infrastruktury můžete nahradit hodnoty mezi prostředími a také sdílet hodnoty mezi kanály podobně jako globální parametry ADF.
Automatická aktualizace místní brány dat
Odhadovaná časová osa vydání: 1. čtvrtletí 2025
Typ verze: Public Preview
Funkce automatického upgradu místní brány dat zajišťuje, že brána bude vždy používat nejnovější verzi, která poskytuje vylepšené funkce, aktualizace zabezpečení a nové funkce bez ručního zásahu. Tato funkce zjednodušuje správu brány tím, že automaticky stahuje a instaluje aktualizace, jakmile budou dostupné.
Podpora datového kanálu pro brány virtuální sítě
Odhadovaná časová osa vydání: 1. čtvrtletí 2025
Typ verze: Public Preview
Brána dat virtuální sítě bude podporovat datový kanál infrastruktury, včetně aktivity kopírování kanálu a dalších aktivit kanálu. Zákazníci se budou moct bezpečně připojit ke svým zdrojům dat v kanálu prostřednictvím brány dat virtuální sítě.
Výstupní cíl toku dat Gen2 do souborů SharePointu
Odhadovaná časová osa vydání: 1. čtvrtletí 2025
Typ verze: Public Preview
Po vyčištění a přípravě dat pomocí toku dat Gen2 tato funkce umožňuje vybrat jako cíl dat sharepointové soubory. Tato funkce usnadňuje export transformovaných dat do souboru CSV a jejich uložení do Microsoft SharePointu, aby je mohli zpřístupnit všem uživatelům s oprávněním k tomuto webu.
Podpora datových kanálů pro triggery pro přeskakující okno
Odhadovaná časová osa vydání: 1. čtvrtletí 2025
Typ verze: Public Preview
Plánování spuštění kanálu pomocí časových oken, která se nepřekrývají, a může se "přehrát" je velmi důležitá funkce v kanálech, které mnoho uživatelů ADF používalo. Jsme velmi rádi, že tuto funkci pro přeskakující okno přeneseme do plánování kanálu do služby Fabric Data Factory.
Položka služby Azure Data Factory
Odhadovaná časová osa vydání: 1. čtvrtletí 2025
Typ verze: Obecná dostupnost
S radostí oznamujeme obecnou dostupnost položky Azure Data Factory v prostředcích infrastruktury. Díky této nové funkci můžou stávající uživatelé ADF rychle a snadno zpřístupnit své datové továrny z Azure do svého pracovního prostoru Fabric. Teď můžete spravovat, upravovat a volat kanály ADF přímo z Prostředků infrastruktury.
Podpora aktivity kopírování datového kanálu pro další zdroje
Odhadovaná časová osa vydání: 1. čtvrtletí 2025
Typ verze: Obecná dostupnost
Rozšiřujeme podporu pro další zdrojové konektory v aktivita Copy, což zákazníkům umožňuje bezproblémově kopírovat data z široké škály zdrojů, včetně Teradata, Sparku, Azure Databricks delta Lake, HubSpot, Cassandra, Salesforce Service Cloud, Oracle (bundled) a dalších.
Paralelní provádění toků dat Gen2
Odhadovaná časová osa vydání: 1. čtvrtletí 2025
Typ verze: Public Preview
"Uživatelé chtějí flexibilní způsob, jak definovat logiku transformací Toku dat Gen2 a paralelizovat provádění s různými argumenty. Dnes musí v rámci jednoho toku dat vytvořit více toků dat nebo více dotazů, aby měli logiku, kterou je možné znovu použít s různými argumenty.
V rámci tohoto vylepšení umožníme uživatelům nastavit smyčku foreach pro celou položku toku dat řízenou samostatným dotazem, který funguje jako seznam hodnot parametrů pro iteraci a řízení tohoto kontejnerizovaného přístupu pro paralelizované a dynamické spouštění.
Správa identit zdroje dat (Azure Key Vault)
Odhadovaná časová osa vydání: 1. čtvrtletí 2025
Typ verze: Public Preview
Podpora služby Azure Key Vault – Klíče a tajné kódy můžete uložit do služby Azure Key Vault a připojit se k němu. Tímto způsobem můžete klíče spravovat na jednom místě.
Zrcadlení pro CosmosDB
Odhadovaná časová osa vydání: 1. čtvrtletí 2025
Typ verze: Obecná dostupnost
Zrcadlení poskytuje bezproblémové prostředí bez ETL pro integraci stávajících dat Azure Cosmos DB se zbývajícími daty v Microsoft Fabricu. Data Azure Cosmos DB můžete průběžně replikovat přímo do Fabric OneLake téměř v reálném čase, aniž by to mělo vliv na výkon transakčních úloh.
Podpora CI/CD a veřejných rozhraní API toku dat Gen2
Odhadovaná časová osa vydání: 1. čtvrtletí 2025
Typ verze: Obecná dostupnost
Položky toku dat Gen2 budou podporovat možnosti CI/CD v Prostředcích infrastruktury, včetně správy zdrojového kódu (integrace Gitu) a kanálů nasazení ALM. Zákazníci navíc budou moct programově pracovat s položkami Toku dat Gen2 v Prostředcích infrastruktury prostřednictvím rozhraní REST API fabric a poskytovat podporu operací CRUDLE přes položky Dataflow Gen2.
Podpora hlavního názvu služby (SPN) toku dat Gen2 pro veřejná rozhraní API
Odhadovaná časová osa vydání: 1. čtvrtletí 2025
Typ verze: Public Preview
Položky toku dat Gen2 budou podporovány prostřednictvím rozhraní REST API prostředků infrastruktury s podporou ověřování instančního objektu.
Přírůstková aktualizace toku dat Gen2
Odhadovaná časová osa vydání: 1. čtvrtletí 2025
Typ verze: Obecná dostupnost
Na konci září 2024 jsme vydali přírůstkovou aktualizaci Dataflow Gen2 jako funkci Public Preview. Budeme dál monitorovat zpětnou vazbu zákazníků a tuto funkci vylepšovat, což povede k její obecné dostupnosti, plánované na konec Q1CY2025.
Podpora přírůstkové aktualizace toku dat Gen2 pro cíl Lakehouse
Odhadovaná časová osa vydání: 1. čtvrtletí 2025
Typ verze: Public Preview
Přírůstková aktualizace toku dat Gen2 optimalizuje provádění toku dat, aby načetla pouze nejnovější data změněná ve zdrojích dat toku dat na základě sloupce oddílu datetime. Tím zajistíte, že se data můžou přírůstkově načíst do OneLake pro podřízené transformace nebo výstup do výstupního cíle toku dat.
V rámci tohoto vylepšení poskytneme přímou podporu přírůstkové aktualizace pro výstup dat přímo do tabulek Fabric Lakehouse.
Parametrizace toku dat Gen2
Odhadovaná časová osa vydání: 1. čtvrtletí 2025
Typ verze: Public Preview
Uživatelé jsou zvyklí na spouštění kanálů řízených metadaty, kde můžou vkládat proměnné nebo parametry do různých aktivit kanálu a tím provádět věci dynamičtějším způsobem: Vytvořit jednou a opakovaně použít vícekrát.
V rámci tohoto vylepšení ho nastavíme tak, aby toky dat spouštěné prostřednictvím datového kanálu v prostředcích fabric byly poskytnuty s hodnotami parametrů pro jejich stávající parametry toku dat.
Podpora toku dat Gen2 pro novou položku Uložit jako
Odhadovaná časová osa vydání: 1. čtvrtletí 2025
Typ verze: Public Preview
Zákazníci často chtějí znovu vytvořit existující tok dat jako nový tok dat. Aby toho bylo možné dosáhnout, musí vytvořit novou položku Toku dat Gen2 od začátku a zkopírovat stávající dotazy nebo využít možnosti šablony Power Query pro export a import. To však není možné pouze kvůli zbytečným krokům, ale také nepřenáší další nastavení toku dat, jako je plánovaná aktualizace a další vlastnosti položky (název, popisek citlivosti atd.).
V rámci tohoto vylepšení poskytneme rychlé gesto Uložit jako v prostředí pro úpravy toku dat Gen2, které uživatelům umožní uložit stávající tok dat jako nový tok dat.
Podpora toku dat Gen1 pro novou položku Uložit jako tok dat Gen2
Odhadovaná časová osa vydání: 1. čtvrtletí 2025
Typ verze: Public Preview
Zákazníci často chtějí znovu vytvořit existující položku Toku dat Gen1 jako novou položku Toku dat Gen2. Aby toho bylo možné dosáhnout, musí vytvořit novou položku Toku dat Gen2 od začátku a zkopírovat stávající dotazy nebo využít možnosti šablony Power Query pro export a import. To však není možné pouze kvůli zbytečným krokům, ale také nepřenáší další nastavení toku dat, jako je plánovaná aktualizace a další vlastnosti položky (název, popisek citlivosti atd.).
V rámci tohoto vylepšení poskytneme rychlé gesto Uložit jako v prostředí pro úpravy toku dat Gen1, které uživatelům umožní uložit stávající položku Toku dat Gen1 jako novou položku Toku dat Gen2.
Úloha kopírování – přírůstková kopie bez toho, aby uživatelé museli zadávat sloupce vodoznaku
Odhadovaná časová osa vydání: 1. čtvrtletí 2025
Typ verze: Public Preview
V úloze kopírování pro klíčové konektory představíme nativní funkci CDC (Change Data Capture). To znamená, že přírůstková kopie automaticky rozpozná změny – zákazníci nemusí zadávat přírůstkové sloupce.
Kopírovat úlohu
Odhadovaná časová osa vydání: 1. čtvrtletí 2025
Typ verze: Obecná dostupnost
Úloha kopírování ve službě Data Factory zvyšuje možnosti příjmu dat na jednodušší a uživatelsky přívětivější proces z libovolného zdroje do libovolného cíle. Teď je kopírování dat jednodušší než kdy dřív. Úloha kopírování podporuje různé styly doručení dat, včetně dávkového kopírování i přírůstkového kopírování, a nabízí flexibilitu pro splnění vašich konkrétních potřeb.
Podpora CI/CD kopírování úloh
Odhadovaná časová osa vydání: 1. čtvrtletí 2025
Typ verze: Public Preview
Položky úlohy kopírování budou podporovat možnosti CI/CD v prostředcích infrastruktury, včetně správy zdrojového kódu (integrace Gitu) a kanálů nasazení ALM.
Podpora veřejných rozhraní API pro kopírování úloh
Odhadovaná časová osa vydání: 1. čtvrtletí 2025
Typ verze: Public Preview
Zákazníci budou moct prostřednictvím kódu programu pracovat s položkami kopírování úloh v prostředcích infrastruktury prostřednictvím veřejných rozhraní API prostředků infrastruktury a poskytovat podporu operací CRUDLE přes položky kopírování úloh.
Podpora toku dat Gen2 pro další zdroje rychlého kopírování
Odhadovaná časová osa vydání: 1. čtvrtletí 2025
Typ verze: Public Preview
Rozšiřujeme rychlé kopírování v Toku dat Gen2, abychom podporovali více zdrojových konektorů, což zákazníkům umožňuje načítat data s vyšším výkonem. Mezi nové konektory patří soubory Fabric Lakehouse, Google BigQuery, Amazon Redshift a další – což umožňuje rychlejší a efektivnější integraci dat.
Podpora kopírování úloh pro další zdroje
Odhadovaná časová osa vydání: 1. čtvrtletí 2025
Typ verze: Public Preview
Rozšiřujeme podporu pro další zdrojové konektory v úloze kopírování, což zákazníkům umožňuje bezproblémově kopírovat data z široké škály zdrojů. Zároveň zachováme zjednodušené prostředí a současně nabídneme různorodé vzory kopírování, včetně úplné kopie i přírůstkové kopie.
Podpora datových kanálů pro triggery událostí úložiště OneLake
Odhadovaná časová osa vydání: 1. čtvrtletí 2025
Typ verze: Public Preview
Oblíbeným mechanismem používaným k vyvolání kanálů ve službě Fabric Data Factory je použití triggeru souboru. Když se v úložišti objektů blob nebo ADLS Gen2 zjistí události souborů (tj. doručení souboru, odstranění souboru...), vyvolá se kanál služby Fabric Data Factory. Teď jsme přidali události souboru OneLake do typů událostí triggeru v Prostředcích infrastruktury.
Povolení parametrizace připojení zákazníkům
Odhadovaná časová osa vydání: 1. čtvrtletí 2025
Typ verze: Public Preview
Připojení poskytují společnou architekturu pro definování připojení a ověřování pro vaše úložiště dat. Tato připojení se dají sdílet mezi různými položkami. Díky podpoře parametrizace budete moct vytvářet složité a opakovaně použitelné kanály, poznámkové bloky, toky dat a další typy položek.
Podpora datového kanálu pro DBT
Odhadovaná časová osa vydání: 1. čtvrtletí 2025
Typ verze: Public Preview
DbT CLI Orchestraation (Data Build Tool): Zahrnuje nástroj pro sestavení dat (dbt) pro pracovní postupy transformace dat.
Podpora spravovaných identit přiřazených uživatelem v připojeních
Odhadovaná časová osa vydání: 2. čtvrtletí 2025
Typ verze: Public Preview
Toto vylepšení podpory spravovaných identit přiřazených uživatelem v připojení přináší významnou hodnotu tím, že nabízí bezpečnější a flexibilnější metodu ověřování pro přístup k datovým prostředkům. Vyhne se pevně zakódování přihlašovacích údajů, zjednodušuje správu tím, že eliminuje potřebu obměňovat tajné kódy, zajišťuje dodržování zásad zabezpečení, bezproblémově se integruje se službami Azure a podporuje škálovatelnost připojení tím, že umožňuje více instancím sdílet stejnou identitu.
Odeslané funkce
Azure Data Factory v prostředcích infrastruktury
Odesláno (3. čtvrtletí 2024)
Typ verze: Public Preview
Přenesení existující služby Azure Data Factory (ADF) do pracovního prostoru Fabric! Toto je nová funkce ve verzi Preview, která umožňuje připojení k existujícím továrnám ADF z pracovního prostoru Fabric.
Teď budete moct plně spravovat továrny ADF přímo z uživatelského rozhraní pracovního prostoru Fabric! Jakmile je služba ADF propojená s pracovním prostorem Prostředky infrastruktury, budete moct aktivovat, spouštět a monitorovat kanály stejně jako v ADF, ale přímo uvnitř prostředků infrastruktury.
Podpora pro vyvolání datových kanálů mezi pracovními prostory
Odesláno (3. čtvrtletí 2024)
Typ verze: Public Preview
Aktualizace aktivity Invoke Pipelines: Povolujeme několik nových a zajímavých aktualizací aktivity Vyvolání kanálu. V reakci na zahlcení požadavků zákazníků a komunity povolujeme spouštění datových kanálů napříč pracovními prostory. Teď budete moct vyvolat kanály z jiných pracovních prostorů, ke kterým máte přístup ke spuštění. To umožní velmi zajímavé vzory pracovních postupů dat, které můžou využívat spolupráci od vašich týmů přípravy dat a integrace napříč pracovními prostory a napříč funkčními týmy.
Podpora místní brány dat (OPDG) přidaná do datových kanálů
Odesláno (3. čtvrtletí 2024)
Typ verze: Obecná dostupnost
Tato funkce umožňuje datovým kanálům používat brány dat Fabric pro přístup k datům, která jsou místní a za virtuální sítí. Pro uživatele, kteří používají místní prostředí Integration Runtime (SHIR), budou moct přejít na místní brány dat v prostředcích infrastruktury.
Kopírovat úlohu
Odesláno (3. čtvrtletí 2024)
Typ verze: Public Preview
Úloha kopírování zjednodušuje prostředí pro zákazníky, kteří potřebují ingestovat data, aniž by museli vytvářet tok dat nebo datový kanál. Úloha kopírování podporuje úplné a přírůstkové kopírování ze všech zdrojů dat do libovolného cíle dat. Zaregistrujte se do privátní verze Preview.
Zrcadlení pro Snowflake
Odesláno (3. čtvrtletí 2024)
Typ verze: Obecná dostupnost
Zrcadlení poskytuje bezproblémové prostředí bez ETL pro integraci stávajících dat Snowflake se zbývajícími daty v Microsoft Fabric. Data Snowflake můžete průběžně replikovat přímo do Fabric OneLake téměř v reálném čase, aniž by to mělo vliv na výkon transakčních úloh.
Vylepšená e-mailová oznámení o selhání aktualizace
Odesláno (3. čtvrtletí 2024)
Typ verze: Public Preview
E-mailová oznámení umožňují tvůrcům Toku dat Gen2 monitorovat výsledky operace aktualizace toku dat (úspěch/selhání).
Podpora rychlého kopírování v Toku dat Gen2
Odesláno (3. čtvrtletí 2024)
Typ verze: Obecná dostupnost
Přidáváme podporu pro příjem velkých objemů dat přímo v prostředí Dataflow Gen2 s využitím možností aktivity kopírování kanálů. Toto vylepšení výrazně vertikálně navyšuje kapacitu zpracování dat toku dat Gen2, která poskytuje možnosti ELT (Extract-Load-Transform).
Podpora přírůstkové aktualizace v Toku dat Gen2
Odesláno (3. čtvrtletí 2024)
Typ verze: Public Preview
Přidáváme podporu přírůstkové aktualizace v Toku dat Gen2. Tato funkce umožňuje přírůstkově extrahovat data ze zdrojů dat, použít transformace Power Query a načíst je do různých výstupních cílů.
Správa identit zdroje dat (spravovaná identita)
Odesláno (3. čtvrtletí 2024)
Typ verze: Public Preview
To umožňuje konfiguraci spravované identity na úrovni pracovního prostoru. Spravované identity Prostředků infrastruktury můžete použít k zabezpečenému připojení ke zdroji dat.
Podpora datových kanálů pro úlohy Azure Databricks
Odesláno (3. čtvrtletí 2024)
Typ verze: Public Preview
Aktualizujeme aktivity datových kanálů služby Data Factory v Azure Databricks tak, aby teď používaly nejnovější rozhraní API pro úlohy, které umožňuje zajímavé funkce pracovních postupů, jako je spouštění úloh DLT.
Copilot pro Data Factory (tok dat)
Odesláno (3. čtvrtletí 2024)
Typ verze: Obecná dostupnost
Copilot pro Data Factory (Tok dat) umožňuje zákazníkům vyjádřit své požadavky pomocí přirozeného jazyka při vytváření řešení integrace dat s toky dat Gen2.
Podpora datových kanálů pro SparkJobDefinition
Odesláno (2. čtvrtletí 2024)
Typ verze: Obecná dostupnost
Teď můžete spustit kód Sparku, včetně souborů JAR, přímo z aktivity kanálu. Stačí nasměrovat na kód Sparku a kanál spustí úlohu v clusteru Spark v prostředcích infrastruktury. Tato nová aktivita umožňuje zajímavé vzory pracovních postupů dat, které využívají výkon modulu Spark v Prostředcích infrastruktury a zároveň zahrnují možnosti toku řízení data factory a toku dat ve stejném kanálu jako úlohy Sparku.
Podpora datových kanálů pro triggery řízené událostmi
Odesláno (2. čtvrtletí 2024)
Typ verze: Public Preview
Běžným případem použití pro vyvolání datových kanálů služby Data Factory je aktivace kanálu při událostech souborů, jako je doručení souboru a odstranění souboru. Pro zákazníky přicházející z ADF nebo Synapse do prostředků infrastruktury je použití událostí úložiště ADLS/Blog velmi běžné jako způsob, jak signalizovat spuštění nového kanálu nebo zachytit názvy vytvořených souborů. Triggery ve službě Fabric Data Factory využívají funkce platformy Fabric, včetně událostí EventStreams a reflexních triggerů. Uvnitř plátna pro návrh kanálu služby Fabric Data Factory budete mít tlačítko Trigger, které můžete stisknout, abyste vytvořili aktivační událost pro váš kanál, nebo můžete trigger vytvořit přímo z prostředí Aktivace dat.
Výchozí nastavení přípravy pro cíl výstupu toku dat Gen2
Odesláno (2. čtvrtletí 2024)
Typ verze: Public Preview
Tok dat Gen2 poskytuje možnosti ingestování dat z široké škály zdrojů dat do Fabric OneLake. Při přípravě těchto dat je možné je transformovat ve velkém měřítku s využitím modulu Gen2 s vysokým měřítkem (založený na výpočetních prostředcích SQL Fabric Lakehouse/Warehouse).
Výchozím chováním toků dat Gen2 je připravit data ve OneLake, aby bylo možné transformovat data ve velkém měřítku. I když to funguje skvěle pro scénáře ve velkém měřítku, nefunguje to stejně jako u scénářů zahrnujících malé objemy přijatých dat vzhledem k tomu, že zavádí další segment směrování (přípravný) pro data předtím, než se nakonec načte do výstupního cíle toku dat.
Díky plánovaným vylepšením dolaďujeme výchozí chování přípravy, které se má zakázat, pro dotazy s výstupním cílem, který nevyžaduje přípravu (konkrétně Fabric Lakehouse a Azure SQL Database).
Pracovní chování je možné ručně nakonfigurovat pro jednotlivé dotazy prostřednictvím podokna Nastavení dotazů nebo místní nabídky dotazu v podokně Dotazy.
Podpora datových kanálů pro Azure HDInsight
Odesláno (2. čtvrtletí 2024)
Typ verze: Obecná dostupnost
HDInsight je služba Azure PaaS pro Hadoop, která vývojářům umožňuje vytvářet velmi výkonná řešení pro velké objemy dat v cloudu. Nová aktivita kanálu HDI umožní aktivitám úloh HDInsights v datových kanálech služby Data Factory podobně jako u stávajících funcationality, které jste v kanálech ADF a Synapse probrali několik let. Tuto funkci jsme teď převedli přímo do datových kanálů Fabric.
Nové konektory pro aktivitu kopírování
Odesláno (2. čtvrtletí 2024)
Typ verze: Public Preview
Do aktivita Copy se přidají nové konektory, které zákazníkům umožní ingestovat z následujících zdrojů a zároveň využívat datový kanál: Oracle, MySQL, Azure AI Search, Azure Files, Dynamics AX, Google BigQuery.
Úloha Apache Airflow: Sestavování datových kanálů využívajících Apache Airflow
Odesláno (2. čtvrtletí 2024)
Typ verze: Public Preview
Úloha Apache Airflow (dříve označovaná jako pracovní postupy dat) využívá Apache Airflow a nabízí integrované prostředí modulu runtime Apache Airflow, které umožňuje snadno vytvářet, spouštět a plánovat dagy Pythonu.
Správa identit zdroje dat (SPN)
Odesláno (2. čtvrtletí 2024)
Typ verze: Obecná dostupnost
Instanční objekt – Pro přístup k prostředkům zabezpečeným tenantem Azure AD musí být entita, která vyžaduje přístup, reprezentována instančním objektem zabezpečení. K vašim zdrojům dat se budete moct připojit pomocí instančního objektu.
Integrace Gitu služby Data Factory pro datové kanály
Odesláno (Q1 2024)
Typ verze: Public Preview
Ke svému úložišti Git se můžete připojit a vyvíjet datové kanály způsobem, který spolupracuje. Integrace datových kanálů s funkcí ALM (Application Lifecycle Management) platformy Fabric umožňuje správu verzí, větvení, potvrzení a žádosti o přijetí změn.
Vylepšení výstupních cílů v Toku dat Gen2 (schéma dotazů)
Odesláno (Q1 2024)
Typ verze: Public Preview
Vylepšujeme výstupní cíle v toku dat Gen2 s následujícími vysoce požadovanými funkcemi:
- Schopnost zpracovávat změny schématu dotazů po konfiguraci cíle výstupu
- Výchozí nastavení cíle pro zrychlení vytváření toků dat
Další informace najdete v tématu Cíle a spravovaná nastavení toku dat Gen2.
Vylepšení prostředí dat (procházení prostředků Azure)
Odesláno (Q1 2024)
Typ verze: Public Preview
Procházení prostředků Azure poskytuje bezproblémovou navigaci pro procházení prostředků Azure. Svoje předplatná Azure můžete snadno procházet a připojovat se ke zdrojům dat prostřednictvím intuitivního uživatelského rozhraní. Pomůže vám rychle najít a připojit se k potřebným datům.
Podpora místní brány dat (OPDG) přidaná do datových kanálů
Odesláno (Q1 2024)
Typ verze: Public Preview
Tato funkce umožňuje datovým kanálům používat brány dat Fabric pro přístup k datům, která jsou místní a za virtuální sítí. Pro uživatele, kteří používají místní prostředí Integration Runtime (SHIR), budou moct přejít na místní brány dat v prostředcích infrastruktury.
Podpora rychlého kopírování v Toku dat Gen2
Odesláno (Q1 2024)
Typ verze: Public Preview
Přidáváme podporu pro příjem velkých objemů dat přímo v prostředí Dataflow Gen2 s využitím možností aktivity kopírování kanálů. To podporuje zdroje, jako jsou soubory Azure SQL Database, CSV a Parquet ve službě Azure Data Lake Storage a Blob Storage.
Toto vylepšení výrazně vertikálně navyšuje kapacitu zpracování dat toku dat Gen2, která poskytuje možnosti ELT (Extract-Load-Transform).
Zrušení podpory aktualizace v Dataflow Gen2
Odesláno (4. čtvrtletí 2023)
Typ verze: Public Preview
Přidáváme podporu pro zrušení probíhajících aktualizací Toku dat Gen2 ze zobrazení položek pracovního prostoru.