Co je nového a plánujeme v Microsoft Fabric Datoví technici
Důležité
Plány vydaných verzí popisují funkce, které mohly nebo ještě nebyly vydány. Časové osy doručení a předpokládané funkce se můžou změnit nebo nemusí dodávat. Další informace najdete v zásadách Microsoftu.
Prostředky infrastruktury Datoví technici umožňují datovým inženýrům transformovat data ve velkém měřítku pomocí Sparku a vytvářet architekturu lakehouse.
Lakehouse pro všechna data vaší organizace: Lakehouse kombinuje to nejlepší z datového jezera a datového skladu v jediném prostředí. Umožňuje uživatelům ingestovat, připravovat a sdílet data organizace v otevřeném formátu v jezeře. Později k němu budete mít přístup prostřednictvím několika modulů, jako je Spark, T-SQL a Power BI. Poskytuje různé možnosti integrace dat, jako jsou toky dat a kanály, klávesové zkratky pro externí zdroje dat a možnosti sdílení datových produktů.
Výkonný modul Spark a modul runtime: Příprava dat infrastruktury poskytuje zákazníkům optimalizovaný modul runtime Sparku s nejnovějšími verzemi Sparku, Delta a Pythonu. Používá Delta Lake jako společný formát tabulky pro všechny moduly, což umožňuje snadné sdílení dat a vytváření sestav bez přesunu dat. Modul runtime se dodává s optimalizacemi Sparku a vylepšuje výkon dotazů bez jakýchkoli konfigurací. Nabízí také úvodní fondy a režim vysoké souběžnosti, které urychlují a znovu používají relace Sparku, což šetří čas a náklady.
Správci Sparku a konfigurace: Správci pracovního prostoru s příslušnými oprávněními můžou vytvářet a konfigurovat vlastní fondy pro optimalizaci výkonu a nákladů na úlohy Sparku. Tvůrci můžou nakonfigurovat prostředí pro instalaci knihoven, vybrat verzi modulu runtime a nastavit vlastnosti Sparku pro své poznámkové bloky a úlohy Sparku.
Prostředí pro vývojáře: Vývojáři můžou k vytváření a spouštění kódu Spark v prostředcích infrastruktury používat poznámkové bloky, úlohy Sparku nebo upřednostňované integrované vývojové prostředí (IDE). Můžou nativně přistupovat k datům lakehouse, spolupracovat s ostatními, instalovat knihovny, sledovat historii, provádět online monitorování a získávat doporučení od poradce pro Spark. Data Wrangler můžou také použít k snadné přípravě dat pomocí uživatelského rozhraní s nízkým kódem.
Integrace platformy: Všechny položky přípravy dat infrastruktury, včetně poznámkových bloků, úloh Sparku, prostředí a jezerahouse, jsou hluboko integrované do platformy Fabric (možnosti správy podnikových informací, rodokmen, popisky citlivosti a doporučení).
Investiční oblasti
Poznámkový blok Pythonu
Odhadovaná časová osa vydání: 4. čtvrtletí 2024
Typ verze: Public Preview
Poznámkové bloky Prostředků infrastruktury podporují čistě prostředí Pythonu. Toto nové řešení se zaměřuje na vývojáře BI a Datoví vědci, kteří pracují s menšími datovými sadami (až několik GB) a používají Pandas a Python jako svůj primární jazyk. Díky tomuto novému prostředí budou moct využívat nativní jazyk Python a jeho nativní funkce a knihovny. Díky tomu budou moct přejít z verze Pythonu na jinou (zpočátku budou podporovány dvě verze) a nakonec získáte lepší využití prostředků pomocí menšího počítače s 2VCore.
Geoanalytics ArcGIS pro Microsoft Fabric Spark
Odhadovaná časová osa vydání: 4. čtvrtletí 2024
Typ verze: Public Preview
Společnost Microsoft a Esri se spojily s cílem přenést prostorovou analýzu do Microsoft Fabric. Tato spolupráce představuje novou knihovnu ArcGIS GeoAnalytics for Microsoft Fabric, která umožňuje rozsáhlou sadu prostorových analýz přímo v poznámkových blocích Microsoft Fabric Spark a definicích úloh Sparku (napříč Datoví technici prostředími a úlohami Datová Věda).
Toto integrované prostředí produktu umožňuje vývojářům Sparku nebo datovým vědcům nativně používat funkce Esri ke spouštění funkcí a nástrojů ArcGIS GeoAnalytics v rámci Fabric Sparku pro prostorovou transformaci, rozšiřování a analýzu trendů dat – i velkých objemů dat – napříč různými případy použití bez nutnosti samostatné instalace a konfigurace.
Instalace knihoven z účtu ADLS Gen2 Storage
Odhadovaná časová osa vydání: 4. čtvrtletí 2024
Typ verze: Public Preview
Podpora nového zdroje pro uživatele k instalaci knihoven Prostřednictvím vytvoření vlastního kanálu conda/PyPI, který je hostovaný ve svém účtu úložiště, můžou uživatelé nainstalovat knihovny ze svého účtu úložiště ve svých prostředích infrastruktury.
Živé správy verzí poznámkového bloku
Odhadovaná časová osa vydání: 1. čtvrtletí 2025
Typ verze: Public Preview
Díky živé správě verzí můžou vývojáři poznámkového bloku Fabric sledovat historii změn provedených v poznámkových blocích, porovnávat různé verze a v případě potřeby obnovit předchozí verze.
Satelitní rozšíření VSCode pro funkce uživatelských dat v prostředcích infrastruktury
Odhadovaná časová osa vydání: 1. čtvrtletí 2025
Typ verze: Public Preview
Rozšíření VSCode Satellite pro User Data Functions bude poskytovat podporu pro vývojáře (úpravy, sestavování, ladění, publikování) pro funkce uživatelských dat v prostředcích infrastruktury.
Funkce uživatelských dat v prostředcích infrastruktury
Odhadovaná časová osa vydání: 1. čtvrtletí 2025
Typ verze: Public Preview
Funkce user Data Functions poskytuje výkonný mechanismus pro implementaci a opětovné použití vlastní, specializované obchodní logiky do pracovních postupů datových věd a datových inženýrů infrastruktury, což zvyšuje efektivitu a flexibilitu.
Veřejná rozhraní API pro monitorování
Odhadovaná časová osa vydání: 1. čtvrtletí 2025
Typ verze: Public Preview
Cílem funkce rozhraní API pro veřejné monitorování pro Fabric Spark je zveřejnit rozhraní API pro monitorování Sparku, která uživatelům umožňují monitorovat průběh úloh Sparku, zobrazovat úlohy provádění a přistupovat k protokolům prostřednictvím kódu programu. Tato funkce je v souladu s veřejnými standardy rozhraní API a poskytuje bezproblémové prostředí pro monitorování aplikací Spark.
Metadata zástupců Lakehouse v kanálech gitu a nasazení
Odhadovaná časová osa vydání: 1. čtvrtletí 2025
Typ verze: Public Preview
Pro zajištění působivého scénáře správy životního cyklu aplikace je nezbytné sledovat metadata objektů v Gitu a podporovat kanály nasazení. V Datoví technici modulů, protože pracovní prostory jsou integrované do Gitu.
V této první iteraci se zástupce OneLake automaticky nasadí napříč fázemi kanálu a pracovními prostory. Místní připojení je možné přemapovat napříč fázemi pomocí nové knihovny proměnných položky Microsoft Fabric s cílem zajistit správnou izolaci a segmentaci prostředí, které zákazníci očekávají.
Vylepšení Delta Lake v prostředíCh Sparku
Odhadovaná časová osa vydání: 1. čtvrtletí 2025
Typ verze: Obecná dostupnost
Správné výchozí hodnoty a sladění s nejnovějšími standardy jsou pro standardy Delta Lake v Microsoft Fabric nejdůležitější. INT64 bude novým výchozím typem kódování pro všechny hodnoty časového razítka. To se odsune od kódování INT96, které Apache Parquet vyřadil před lety. Změny nemají vliv na žádné možnosti čtení, jsou ve výchozím nastavení transparentní a kompatibilní, ale zajistí, aby všechny nové soubory parquet v tabulce Delta Lake byly napsány efektivnějším a budoucím způsobem kontroly pravopisu.
Také vydáváme rychlejší implementaci příkazu OPTIMIZE a přeskočíme již uspořádané soubory V-Ordered.
Podpora snímků probíhajících úloh poznámkového bloku
Odhadovaná časová osa vydání: 1. čtvrtletí 2025
Typ verze: Public Preview
Tato funkce umožňuje uživatelům zobrazit snímek poznámkového bloku, i když je stále spuštěný, což je nezbytné pro monitorování průběhu a řešení potíží s výkonem. Uživatelé uvidí původní zdrojový kód, vstupní parametry a výstupy buněk, aby lépe porozuměli úloze Sparku a mohli sledovat průběh provádění Sparku na úrovni buňky. Uživatelé můžou také zkontrolovat výstup dokončených buněk a ověřit přesnost aplikace Spark a odhadnout zbývající práci. Kromě toho se zobrazí všechny chyby nebo výjimky z již spuštěných buněk, které pomáhají uživatelům včas identifikovat a řešit problémy.
Podpora RLS/CLS pro Spark a Lakehouse
Odhadovaná časová osa vydání: 1. čtvrtletí 2025
Typ verze: Public Preview
Tato funkce umožňuje uživatelům implementovat zásady zabezpečení pro přístup k datům v rámci modulu Spark. Uživatelé můžou definovat zabezpečení na úrovni objektů, řádků nebo sloupců a zajistit, aby byla data zabezpečená podle těchto zásad při přístupu přes Fabric Spark a byla v souladu s iniciativou OneSecurity, která je povolená v rámci Microsoft Fabric.
Konektor Spark pro datový sklad Prostředků infrastruktury – Obecná dostupnost
Odhadovaná časová osa vydání: 1. čtvrtletí 2025
Typ verze: Obecná dostupnost
Konektor Spark pro Microsoft Fabric Data Warehouse umožňuje vývojářům Sparku a datovým vědcům přistupovat k datům ze skladu a koncovému bodu analýzy SQL lakehouse a pracovat s daty. Nabízí zjednodušené rozhraní Spark API, abstrahuje základní složitost a funguje pouze s jedním řádkem kódu a zachovává modely zabezpečení, jako je zabezpečení na úrovni objektů (OLS), zabezpečení na úrovni řádků (RLS) a zabezpečení na úrovni sloupců (CLS).
Odeslané funkce
Možnost řazení a filtrování tabulek a složek v Lakehouse
Odesláno (4. čtvrtletí 2024)
Typ verze: Obecná dostupnost
Tato funkce umožňuje zákazníkům řadit a filtrovat tabulky a složky v Lakehouse několika různými metodami, včetně abecedy, data vytvoření a dalších.
Poznámkové bloky v aplikaci
Odesláno (4. čtvrtletí 2024)
Typ verze: Public Preview
Aplikace organizace jsou k dispozici jako nová položka v prostředcích infrastruktury a můžete zahrnout poznámkové bloky spolu se sestavami a řídicími panely Power BI v aplikacích Fabric a distribuovat je firemním uživatelům. Uživatelé aplikací můžou s widgety a vizuály v poznámkovém bloku pracovat jako s alternativním mechanismem vytváření sestav a zkoumání dat. Díky tomu můžete vytvářet a sdílet bohaté a poutavé příběhy s vašimi daty.
Rozšíření VSCode Core pro Prostředky infrastruktury
Odesláno (3. čtvrtletí 2024)
Typ verze: Public Preview
Základní rozšíření VSCode pro Prostředky infrastruktury poskytne společnou podporu pro vývojáře pro služby Fabric.
Poznámkový blok T-SQL
Odesláno (3. čtvrtletí 2024)
Typ verze: Public Preview
Poznámkové bloky prostředků infrastruktury podporují jazyk T-SQL pro využívání dat v Data Warehouse. Přidáním koncového bodu datového skladu nebo analýzy SQL do poznámkového bloku můžou vývojáři T-SQL spouštět dotazy přímo na připojeném koncovém bodu. Analytici BI můžou také provádět dotazy napříč databázemi za účelem shromáždění přehledů z více skladů a koncových bodů analýzy SQL. Poznámkové bloky T-SQL nabízejí skvělou alternativu k existujícím nástrojům pro uživatele SQL a zahrnují nativní funkce infrastruktury, jako je sdílení, integrace GIT a spolupráce.
VS Code pro web – podpora ladění
Odesláno (3. čtvrtletí 2024)
Typ verze: Public Preview
Visual Studio Code pro web se v současné době podporuje ve verzi Preview pro scénáře vytváření a spouštění. Do seznamu funkcí přidáme možnost ladit kód pomocí tohoto rozšíření pro poznámkový blok.
Vysoká souběžnost v kanálech
Odesláno (3. čtvrtletí 2024)
Typ verze: Obecná dostupnost
Kromě vysoké souběžnosti vpoznámkch Tato funkce vám umožní spouštět více poznámkových bloků v kanálu s jednou relací.
Podpora schématu a pracovní prostor v oboru názvů v Lakehouse
Odesláno (3. čtvrtletí 2024)
Typ verze: Public Preview
To umožní uspořádat tabulky pomocí schémat a dotazovat data napříč pracovními prostory.
Nativní prováděcí modul Sparku
Odesláno (2. čtvrtletí 2024)
Typ verze: Public Preview
Nativní prováděcí modul je zásadní vylepšení pro spouštění úloh Apache Sparku v Microsoft Fabric. Tento vektorizovaný modul optimalizuje výkon a efektivitu dotazů Sparku jejich spuštěním přímo v infrastruktuře lakehouse. Bezproblémová integrace modulu znamená, že nevyžaduje žádné úpravy kódu a zabraňuje uzamčení dodavatele. Podporuje rozhraní Apache Spark API a je kompatibilní s modulem Runtime 1.2 (Spark 3.4) a funguje s formáty Parquet i Delta. Bez ohledu na umístění dat v rámci OneLake nebo pokud přistupujete k datům prostřednictvím zástupců, nativní prováděcí modul maximalizuje efektivitu a výkon.
Konektor Spark pro datový sklad prostředků infrastruktury
Odesláno (2. čtvrtletí 2024)
Typ verze: Public Preview
Konektor Sparku pro Data Warehouse (Data Warehouse) umožňuje vývojáři Sparku nebo datovému vědci přistupovat k datům z datového skladu Fabric a pracovat na nich pomocí zjednodušeného rozhraní Spark API, které doslova funguje jenom s jedním řádkem kódu. Nabízí možnost dotazovat se na data paralelně z datového skladu Fabric, aby se škáluje s rostoucím objemem dat a respektuje model zabezpečení (OLS/RLS/CLS) definovaný na úrovni datového skladu při přístupu k tabulce nebo zobrazení. Tato první verze bude podporovat pouze čtení dat a podpora pro zápis dat zpět bude brzy k dispozici.
Rozhraní Microsoft Fabric API pro GraphQL
Odesláno (2. čtvrtletí 2024)
Typ verze: Public Preview
Rozhraní API pro GraphQL umožní datovým inženýrům infrastruktury, vědcům, architektům datových řešení snadno zveřejnit a integrovat data Fabric, aby mohli rychleji reagovat, provádět a bohaté analytické aplikace s využitím výkonu a flexibility GraphQL.
Vytváření a připojení prostředí
Odesláno (2. čtvrtletí 2024)
Typ verze: Obecná dostupnost
Pokud chcete prostředí Sparku přizpůsobit na podrobnější úrovni, můžete vytvářet a připojovat prostředí k poznámkovým blokům a úlohám Sparku. V prostředí můžete nainstalovat knihovny, nakonfigurovat nový fond, nastavit vlastnosti Sparku a nahrát skripty do systému souborů. To vám dává větší flexibilitu a kontrolu nad úlohami Sparku, aniž by to mělo vliv na výchozí nastavení pracovního prostoru. V rámci ga provádíme různá vylepšení prostředí, včetně podpory rozhraní API a integrace CI/CD.
Řazení úloh do fronty pro úlohy poznámkového bloku
Odesláno (2. čtvrtletí 2024)
Typ verze: Obecná dostupnost
Tato funkce umožňuje, aby se naplánované poznámkové bloky Sparku zařadily do fronty, když je využití Sparku na maximálním počtu úloh, které může spustit paralelně, a pak se spustí, jakmile se využití vrátí pod maximální povolený počet paralelních úloh.
Optimistické přijetí úloh pro Fabric Spark
Odesláno (2. čtvrtletí 2024)
Typ verze: Obecná dostupnost
V případě optimistického přístupu úloh si Spark pouze vyhrazuje minimální počet jader, která úloha musí spustit, na základě minimálního počtu uzlů, na které může úloha vertikálně snížit kapacitu. To umožňuje povolení více úloh, pokud je k dispozici dostatek prostředků pro splnění minimálních požadavků. Pokud se úloha potřebuje vertikálně navýšit kapacitu později, žádosti o vertikální navýšení kapacity se schválí nebo zamítnou na základě dostupných jader v kapacitě.
Automatické ladění Sparku
Odesláno (Q1 2024)
Typ verze: Public Preview
Autotune používá strojové učení k automatické analýze předchozích spuštění úloh Sparku a ladění konfigurací za účelem optimalizace výkonu. Konfiguruje způsob dělení, připojení a čtení dat sparkem. Tímto způsobem výrazně zlepší výkon. Viděli jsme, že úlohy zákazníků s touto schopností běží 2x rychleji.