Správa úloh
Platí pro:✅ Koncový bod sql Analytics a sklad v Microsoft Fabric
Tento článek popisuje architekturu a správu úloh za datovými sklady v Microsoft Fabric.
Zpracování dat
Koncový bod služby Warehouse a SQL Analytics sdílí stejnou základní architekturu zpracování. Při načítání nebo ingestování dat využívá distribuovaný modul vytvořený pro malé i rozsáhlé datové a výpočetní funkce.
Systém zpracování je bezserverový v tom, že výpočetní kapacita back-endu vertikálně navyšuje a snižuje kapacitu nezávisle tak, aby vyhovovala požadavkům úloh.
Když se odešle dotaz, front-end SQL (FE) provede optimalizaci dotazů a určí nejlepší plán na základě velikosti a složitosti dat. Po vygenerování plánu se předá modulu DQP (Distributed Query Processing). DQP orchestruje distribuované spouštění dotazu rozdělením dotazu na menší dotazy, které se spouští na back-endových výpočetních uzlech. Každý malý dotaz se nazývá úkol a představuje distribuovanou spouštěcí jednotku. Čte soubory z OneLake, spojuje výsledky z jiných úkolů, skupin nebo objednávek načtených z jiných úkolů. Pro úlohy příjmu dat také zapisuje data do správných cílových tabulek.
Při zpracování dat se výsledky vrátí do front-endu SQL pro poskytování služeb uživateli nebo volající aplikaci.
Elasticita a odolnost
Výpočetní kapacita back-endu přináší výhody architektury rychlého zřizování. I když pro přiřazení zdrojů neexistuje žádná smlouva SLA, obvykle se do několika sekund získávají nové uzly. S rostoucí poptávkou po prostředcích využívají nové úlohy kapacitu horizontálního navýšení kapacity. Škálování je online operace a zpracování dotazů je nepřerušované.
Systém je odolný proti chybám a pokud uzel není v pořádku, operace spuštěné na uzlu se znovu distribuují do uzlů, které jsou v pořádku pro dokončení.
Koncový bod analýzy WAREHOUSE a SQL poskytují nárazovou kapacitu , která umožňuje úlohám využívat více prostředků k dosažení lepšího výkonu, a zajištění hladkého výkonu zákazníkům, kteří během špičky vytvářejí náhlé špičky, zatímco mají hodně nečinné kapacity, která se nevyužívá. Vyhlazování zjednodušuje správu kapacity rozložením vyhodnocení výpočetních prostředků, aby se zajistilo bezproblémové a efektivní spouštění úloh zákazníků.
Plánování a obnovení
Plánovač distribuovaného zpracování dotazů funguje na úrovni úlohy . Dotazy jsou reprezentovány plánovači jako směrovaný acyklický graf úkolů (DAG). Tento koncept je pro uživatele Sparku známý. DaG umožňuje paralelismus a souběžnost jako úkoly, které na sobě nezávisí, je možné provádět souběžně nebo mimo pořadí.
Při příchodu dotazů se jejich úkoly plánují na základě principů FIFO (first-in-first-out). Pokud existuje nečinná kapacita, plánovač může k optimalizaci souběžnosti použít přístup", který nejlépe vyhovuje.
Když plánovač identifikuje tlak na obnovení, vyvolá operaci škálování. Škálování se spravuje samostatně a s rostoucí souběžností roste back-endová topologie. Vzhledem k tomu, že získání uzlů trvá několik sekund, systém není optimalizovaný pro konzistentní podsekundový výkon dotazů, které vyžadují distribuované zpracování.
Když tlak klesá, back-endová topologie se zkrátí a uvolní prostředek zpět do oblasti.
Izolace příjmu dat
Platí pro:✅ Warehouse v Microsoft Fabric
V back-endovém výpočetním fondu skladu v Microsoft Fabric jsou aktivity načítání poskytovány izolaci prostředků od analytických úloh. Tím se zlepší výkon a spolehlivost, protože úlohy příjmu dat se můžou spouštět na vyhrazených uzlech optimalizovaných pro ETL a nekonkurují jiným dotazům nebo aplikacím pro prostředky.
Přednášky
Koncový bod Warehouse a SQL Analytics má limit uživatelských relací 724 na pracovní prostor. Po dosažení tohoto limitu se vrátí chyba: The user session limit for the workspace is 724 and has been reached.
Poznámka:
Vzhledem k tomu, že Microsoft Fabric je platforma SaaS, existuje mnoho systémových připojení, která běží, aby se prostředí průběžně optimalizovalo. Zobrazení dynamické správy zobrazuje relace systému i uživatelů. Další informace naleznete v tématu Monitorování pomocí zobrazení dynamické správy.
Osvědčené postupy
Pracovní prostor Microsoft Fabric poskytuje hranici přirozené izolace distribuovaného výpočetního systému. Úlohy můžou tuto hranici využít ke správě nákladů i výkonu.
Klávesové zkratky OneLake je možné použít k vytvoření replik tabulek jen pro čtení v jiných pracovních prostorech k distribuci zatížení napříč několika moduly SQL a vytvořením hranice izolace. To může efektivně zvýšit maximální počet relací provádějících dotazy jen pro čtení.
