Plánování, škálování a údržba řešení brány pro důležité obchodní informace
Tento článek je určený pro každého, kdo plánuje nasadit místní bránu dat v důležitém obchodním scénáři. Místní brána dat je důležitá pro firmu, pokud je důležitá pro normální provoz vaší firmy a zpracovává důležitá obchodní data.
Pokud se brány pro důležité obchodní informace nespravují správně, může docházet k neúspěšným dotazům nebo pomalému výkonu. Pokud správně plánujete, škálujete a udržujete řešení brány kritické pro chod firmy, je možné minimalizovat pravděpodobnost problému, který má dopad na firmu.
Terminologie
V tomto článku se používají následující důležité termíny:
- Brána: Aplikace místní brány dat, která je nainstalovaná na počítači.
- Server brány: Počítač s Windows (virtuální počítač nebo fyzický počítač nebo server), na který je nainstalovaná aplikace místní brány dat.
- Cluster brány: Sada bran, které spolupracují (a můžou být vyrovnány zatížení).
- Člen brány: Brána, která je součástí clusteru brány.
Následující obrázek ukazuje vztah mezi koncepty definovanými výše.
Doporučení pro důležité obchodní brány
Pro důležité obchodní brány je potřeba brány nasadit a spravovat správně, aby se zajistila vysoká dostupnost, dobrý výkon a udržovatelná škálovatelnost. Nesprávné nasazení bran může mít za následek nízký výkon, neúspěšné dotazy a potíže při diagnostice potenciálních problémů. Může také bránit vaší schopnosti vertikálně navyšovat a navyšovat kapacitu bran s rostoucím využitím.
Pokud chcete zajistit optimální škálovatelnost, výkon a propustnost, postupujte podle doporučení v dalších částech.
Znalost všech obnovovacích klíčů brány
Ujistěte se, že jsou všechny obnovovací klíče brány známé a uchovávané na bezpečném místě. Bez obnovovacího klíče není možné brány obnovit ani downgradovat. Toto omezení je záměrně. Pokud ztratíte obnovovací klíče, jedinou možností je vytvořit nové brány a znovu vytvořit zdroje dat. Do clusteru navíc nemůžete přidávat nové brány bez obnovovacího klíče, což by omezilo budoucí škálovatelnost.
Obnovovací klíče ukládejte na bezpečném místě stejně jako přihlašovací údaje správce, jako je bezpečné heslo, ke kterému mají přístup jenom autorizovaní správci.
Pokud v současné době neznáte všechny obnovovací klíče brány, jedná se o významné obchodní riziko. Okamžitě vytvořte nové clustery brány a začněte migrovat úlohy do clusterů brány.
Vývojové úlohy a důležité obchodní úlohy
Oddělte vývojové úlohy od důležitých obchodních úloh nastavením jednoho nebo více clusterů vývojových bran a jednoho nebo více clusterů produkčních bran, jak je popsáno níže.
Pomocí clusteru vývojové brány otestujte nové sémantické modely, sestavy, dotazy atd. Po ověření nové úlohy ji migrujte do clusteru brány pro důležité obchodní informace. Tento proces brání novým, neotestovaným nebo experimentálním úlohám, aby měl vliv na výkon produkčních úloh.
Použijte také clustery vývojových bran k otestování nových aktualizací brány před použitím aktualizací pro clustery bran pro důležité obchodní informace. Nové aktualizace brány by se měly nasadit minimálně po dobu 24 hodin v clusterech vývojových bran, než se použijí v clusterech bran pro důležité obchodní informace.
Použití více clusterů brány
Pokud vytváříte cluster brány pro velký počet uživatelů ve vaší organizaci, musíte vytvořit několik clusterů bran založených na organizačních jednotkách nebo menších, abyste omezili potenciální dopad na výkon na malou podmnožinu uživatelů.
Nedoporučujeme používat jeden cluster brány pro důležité obchodní informace pro celou společnost (pokud není společnost malá). Ve scénáři s jedním clusterem brány může jeden uživatel pravděpodobně odeslat dotaz, který způsobí významný dopad na výkon pro veškerý provoz v rámci brány. Pokud se brána používá v celé společnosti, může to mít vliv na výkon celé společnosti. Pokud se cluster brány používá v celé společnosti, může být pro vás také obtížnější zjistit, který dotaz může způsobovat problém s výkonem při použití funkce monitorování výkonu brány.
Použití funkcí vysoké dostupnosti a vyrovnávání zatížení brány
Vždy používejte funkce vysoké dostupnosti a vyrovnávání zatížení brány pro všechny clustery brány pro důležité obchodní informace.
- Vysoká dostupnost: Eliminuje kritický bod selhání.
- Vyrovnávání zatížení: Automaticky distribuuje úlohu mezi všechny servery brány v clusteru.
Nastavte minimálně dvě brány na cluster brány pro případ, že brána z jakéhokoli důvodu přejde do režimu offline. Toto nastavení zajišťuje, že selhání jedné brány nezpůsobí selhání celého clusteru brány. Kromě toho je možné na branách povolit omezení využití procesoru, paměti a souběžnosti, aby se zatížení lépe distribuuje napříč clusterem brány.
Plánování a údržba škálovatelnosti clusteru brány
Nastavení clusteru brány s využitím našich doporučených pokynů pro hardware a software zajišťuje, aby cluster běžel s dobrým výkonem. Brány, které nejsou správně škálované, můžou vést k nízkému výkonu. Existuje mnoho faktorů, které je potřeba zvážit, abyste měli v clusteru brány dobrý výkon.
Určení specifikací hardwaru serveru brány
Specifikace serveru brány (procesor, paměť, disk atd.) jsou důležitým faktorem, protože ve většině případů se transformace Power Query použijí na data na serveru brány. Server brány proto musí mít dostatek prostředků, paměti a výpočetního výkonu pro zpracování všech transformací dat.
Pokud potřebujete zvolit velikost serveru, jsou nejdůležitější dvě metriky: Paměť a procesor. K zpracování kroků transformace dat Power Query v bráně potřebujete dostatek paměti i procesoru. Je důležité, aby server brány byl dostatečně výkonný, aby mohl zpracovat nejvyšší zatížení, které máte. Pokud server brány nemůže zpracovat úlohu, přímý dotaz nebo aktualizace dat se nezdaří. Je také důležité pochopit, kolik dotazů se provádí současně.
Tyto různé možnosti dotazů mají jiný vliv na server brány.
| Typ dotazu | Limit Factor |
|---|---|
| Import | Memory (Paměť) |
| DirectQuery | Procesor |
| Live Připojení | Procesor |
Během importu musí být celá sada dat dotazována a zpracována, což je úloha náročné na paměť. Tento dovoz často trvá i delší dobu. DirectQueries a Živé Připojení iony jsou obvykle náročné na procesor. Ve většině případů se přímé dotazy provádějí mnohokrát, aby zpracovávaly pouze malou část dat. Vzhledem k tomu, že se zpracovává jenom malá část dat, nejsou tyto přímé dotazy obvykle úlohou náročné na paměť. Vzhledem k tomu, že se dotazy provádějí mnohokrát na vyžádání, může to být náročné na procesor.
V závislosti na vaší úloze zvažte optimalizaci serveru brány pro paměť nebo procesor.
Kdy škálovat cluster brány
Škálování je důležitým aspektem clusteru brány pro důležité obchodní informace. S rostoucím využitím clusteru brány je potřeba vertikálně navýšit nebo vertikálně navýšit kapacitu clusteru brány, aby se zajistil dobrý výkon. Pokud jste dříve vertikálně navyšovali kapacitu bran v clusteru, doporučujeme začít vertikálně navyšovat kapacitu clusteru brány.
Škálování a distribuce zatížení provozu mezi jednotlivé uzly v clusteru je složitý proces, který se liší v závislosti na jednotlivých scénářích. I když neexistuje žádný konečný model, který by zajistil, že veškerý provoz brány bude předvídatelně obsluhován, omezení uvedená níže naznačují potřebu škálování. Obecně doporučujeme horizontální navýšení kapacity (přidání uzlů do clusteru) přednostně vertikálně navýšit kapacitu (zvýšení kapacity procesoru, paměti RAM nebo místa na disku na jednotlivých uzlech). Horizontální navýšení kapacity má tendenci být celkově efektivnější ve schopnosti systému jako celku zpracovávat nadbytečný provoz. Horizontální navýšení kapacity má také pozitivní dopad na celkovou šířku pásma, které může cluster zpracovat, zatímco vertikální navýšení kapacity obecně neplatí. Pokud jeden nebo více uzlů brány ukazuje indikátory dosažení níže popsaných prahových hodnot, měli byste zvážit horizontální navýšení kapacity clusteru.
CPU: Procesor je vyšší než 80 % po delší dobu, ale občasné špičky (méně než 5 minut), které maximální počet procesorů nejsou neobvyklé.
PAMĚŤ RAM: Dostupná paměť se pravidelně snižuje pod 20 %.
Disk: Volné místo na disku se často snižuje pod 5 GB. Tato dipová hodnota může také znamenat, že je potřeba nakonfigurovat ukládání do mezipaměti nebo zařazování adresářů strategicky.
Souběžnost: Spouštění více než 40 dotazů současně na jednom uzlu
Vzhledem k tomu, že aktualizace a dotazy distribuované mezi uzly brány můžou mít výrazně odlišné profily, doporučujeme také provést dodatečnou kontrolu u dlouhotrvajících úloh nebo úloh náročných na paměť. Optimalizace dotazů v takových případech může mít obrovský dopad na výkon a škálovatelnost, nejen pro jednotlivé sestavy a aktualizace, ale i na systém jako celek. Doporučujeme izolovat dotčené aktualizace do jednoho vyhrazeného clusteru brány, aby bylo možné vyhodnotit charakteristiky výkonu a provést optimalizaci pomocí diagnostiky plánu dotazů, indikátorů skládání a všech ostatních publikovaných doporučení k výkonu. Tato izolace minimalizuje množství načtených dat a požadované množství po zpracování. Tuto izolaci lze také použít jako dlouhodobou strategii pro sequester dlouhotrvajících úloh ETL do vyhrazeného clusteru brány, aby se snížila kolize s jinými typickými aktualizacemi v celé organizaci.
Vertikální navýšení kapacity clusteru brány
Vertikální navýšení kapacity je, když zvýšíte specifikace (procesor, paměť, disk atd.) serverů brány.
Vertikální navýšení kapacity se může vyžadovat, pokud se dosáhne maximálního využití procesoru nebo paměti, když brána spustí jeden nebo více dotazů. Dotaz lze spustit pouze na jednom serveru brány, a proto musí mít server brány k dispozici dostatek prostředků pro zpracování celého dotazu spolu s výslednými daty.
Horizontální navýšení kapacity clusteru brány
Horizontální navýšení kapacity se vyžaduje, pokud už server brány má vysoké specifikace (jinými slovy, server brány se už vertikálně navyšoval kapacitu) nebo jste dosáhli limitů toho, co může jeden server brány spravovat kvůli počtu souběžných dotazů, které se spouští. Rozšíření zatížení napříč celou sadou členů brány je dobrým ukazatelem toho, že škálování clusteru přidáním uzlů představuje správný postup. Kdy škálovat cluster brány poskytuje konkrétní prahové hodnoty, které indikují, kdy je čas škálovat. Další informace o horizontálním navýšení kapacity najdete v tématu Použití funkcí vysoké dostupnosti a vyrovnávání zatížení brány.
Škálování vytvořením nových clusterů bran
Pokud je využití prostředků clusteru brány vysoké nebo mimořádně velký počet uživatelů spoléhá na cluster brány, můžete vytvořit nový cluster brány. Potom je možné do nového clusteru brány migrovat podmnožinu úlohy. Pokud velký počet uživatelů spoléhá na jeden cluster brány, pravděpodobnost, že uživatel může odeslat dotaz, který způsobí významný dopad na výkon v celém clusteru brány, se výrazně zvýší.
Mimořádně velký počet uživatelů, kteří se spoléhají na jeden cluster brány, je indikátorem, že by se měl vytvořit nový cluster brány.
Monitorování a řešení potíží s výkonem brány
Je důležité monitorovat celkový výkon důležitých podnikových bran pomocí funkce monitorování výkonu brány. Pomocí této funkce můžete také řešit problémy s výkonem, identifikovat kritické body a identifikovat dotazy, které mají vliv na celkový výkon brány. Tato funkce je také důležitým nástrojem, který vám pomůže určit, kdy se má cluster brány škálovat.
Pokud identifikujete dotaz jako náročný dopad na bránu, což vede k nízkému celkovému výkonu, můžete dotaz přepsat tak, aby byl efektivnější a minimalizoval dopad na výkon.
Pokud Microsoft identifikuje nízký výkon způsobený bránou nebo komponentou související s bránou, jako je přetížená kapacita Power BI Premium, musí být přetížená komponenta odstraněna škálováním nebo snížením zatížení. Microsoft nevyšetřuje nízký výkon, pokud je přetížená brána nebo komponenta související s bránou.