Zřízení analýz v cloudovém měřítku
Proces nasazení vstupní zóny pro správu dat
Provozní tým datové platformy zodpovídá za nasazení cílové zóny správy dat. Cílová zóna správy dat by měla mít vlastní úložiště, spravované týmem pro provoz datové platformy.
Opatrnost
Vytvořte a nasaďte cílovou zónu správy dat před nasazením jakékoli cílové zóny dat.
Proces nasazení zóny přistání dat
Týmy mohou používat šablony poskytované provozním týmem datové platformy, aby se vyhnuly začínání od nuly pro každý prostředek. Doporučujeme použít vzor rozvětvení k automatizaci nasazení nové zóny přistání.
Například tým správy zóny přistání dat požaduje novou zónu přistání dat pomocí nástroje pro správu IT nebo Power Apps. Po schválení žádosti spusťte následující pracovní postup pomocí parametrů z požadavku:
- Nasaďte nové předplatné pro novou cílovou zónu dat.
- Vytvořte fork hlavní větve šablony cílové zóny dat a vytvořte nové úložiště.
- Vytvořte připojení služby v novém úložišti.
- Aktualizujte parametry v novém úložišti na základě parametrů z požadavku.
- Vytvořte nasazovací kanál pro nasazení služeb, který bude spuštěn při odevzdání aktualizovaných parametrů.
- Upozorněte provozní tým cílové zóny dat, že je k dispozici nová cílová zóna.
Provozní tým cílové zóny dat teď může změnit nebo přidat šablony Azure Resource Manageru.
Tento pracovní postup je možné automatizovat pomocí několika sad služeb na platformě Azure. Zpracujte některé kroky, například přejmenování parametrů v souborech parametrů pomocí kanálů CI/CD. Další kroky je možné provést pomocí jiných nástrojů pro orchestraci pracovních postupů, jako jsou Logic Apps.
Vzor větvení umožňuje týmům aktualizovat své šablony z původních šablon, které byly použity pro jejich větvení. Pokud jsou v úložištích šablon implementovány vylepšení nebo nové funkce, můžou je provozní týmy načíst do svého forku.
Osvojte si osvědčené postupy pro úložiště, například:
- Zabezpečte hlavní větev.
- Větve můžete používat ke změnám, aktualizacím a vylepšením.
- Před sloučením změn do hlavní větve definujte vlastníky kódu, kteří schvalují žádosti o přijetí změn.
- Ověřte větve prostřednictvím automatizovaného testování.
- Omezte počet akcí a osob v týmu, například kdo může spouštět procesy sestavení a nasazení.
Spropitné
Koordinujte aktivity mezi týmy a zajistěte, aby se vylepšení nebo nové funkce v původních šablonách replikovaly do všech instancí cílové zóny dat. Provozní týmy můžou načíst změny původní šablony do svého forku.
Proces onboardingu je oddělený od procesu nasazení cílové zóny dat. Toto oddělení vychází z předpokladu, že většina organizací má jako součást cloudového provozního modelu standardní proces nasazení předplatného Azure. Proces onboardingu nasadí standardní podnikové komponenty (například nástroj pro správu IT služeb třetí strany). Komponenty specifické pro datovou přistávací zónu jsou nasazeny dále.
V navrhovaném řešení automatizace nejsou k dispozici žádná rozhraní API Gitu pro klonování, aktualizaci, potvrzení nebo nabízení. Proto je naším přístupem použít účet Azure Automation obsahující runbooky PowerShellu, které:
- Nastavení cílové zóny dat
- Vytvoření forku hlavního úložiště do úložiště Git datové platformy
- Nastavení konfigurací podsítě pro cílovou zónu dat
- Nastavení ID Microsoft Entra
Runbooky používají funkce Gitu z modulu GitAutomation PowerShellu pro práci s úložišti Git. Instalací tohoto modulu do účtu Azure Automation můžou uživatelé v úložištích Git vytvářet, klonovat, dotazovat, odesílat změny, vyžádat a potvrdit operace. Následující obrázek ukazuje modul GitAutomation nainstalovaný uvnitř účtu Azure Automation:
Pomocí funkce Copy-GitRepository z modulu GitAutomation naklonujte hlavní úložiště Git z adresy URL určené URL do cesty Git datové platformy určené DestinationPath.
Tento přístup k nasazení cílové zóny dat je flexibilní a zároveň zajišťuje, aby akce splňovaly požadavky organizace. Správa životního cyklu je povolená použitím nových funkcí nebo optimalizací z původních šablon.
Proces nasazení aplikace dat
Po vytvoření přistávací zóny dat může začít zavedení pro týmy pracující s datovými aplikacemi. Provozní týmy datové platformy nebo datové přistávací zóny udělují schválení nasazení.
Nasazení se provádí buď přímo pomocí nástrojů DevOps, nebo je vyvoláno prostřednictvím kanálů či workflowů vystavených jako rozhraní API. Podobně jako přistávací zóna dat, nasazení začíná vytvořením kopie původního úložiště datové aplikace.
- Uživatel odešle žádost o nové datové aplikační služby.
- Proces pracovního postupu vyžaduje schválení od datové platformy nebo provozního týmu cílové zóny dat.
- Pracovní postup volá rozhraní API pro správu IT služeb k vytvoření požadovaných skupin prostředků a vytvoření připojení služby Azure DevOps. Pracovní postup přiřadí týmu k projektu Azure DevOps.
- Pracovní postup rozvětví (fork) původní úložiště datové aplikace a vytvoří cílový projekt Azure DevOps.
- Pracovní postup vytvoří soubor parametrů šablony Azure Resource Manager a pipeline.
- Pracovní postup pak spustí kanál Azure, který vytvoří požadavky na sítě, a další kanál Azure pro nasazení datových aplikačních služeb.
- Pracovní postup upozorní uživatele na dokončení.
Spropitné
Pokud s DataOps začínáte, projděte si DataOps pro moderní datový sklad praktické cvičení v Centru architektury Azure. Scénář testovacího prostředí popisuje fiktivní kancelář pro plánování města, která může toto řešení nasazení používat. Řešení nasazení poskytuje komplexní datový kanál, který se řídí vzorem architektury moderního datového skladu spolu s odpovídajícími procesy DevOps a DataOps, které vyhodnocuje využití parkování a provádí informovaná obchodní rozhodnutí.
Shrnutí
Výše uvedené vzorce poskytují kontrolu, flexibilitu, samoobsluhu a správu životního cyklu zásad.
Na začátku projektu má datová platforma jeden projekt Azure DevOps s jednou nebo více Azure Boards. Jednotlivé týmy DevOps se zaměřují na:
- Jedno úložiště pro cílovou zónu správy dat, kanály a připojení služby ke cloudovému prostředí.
- Jedno úložiště šablon pro cílovou zónu dat, kanály pro nasazení instance cílové zóny dat a připojení služeb do cloudových prostředí.
- Jedno úložiště šablon pro datové služby produktů, kanály pro nasazení instance datového produktu a připojení služeb do cloudových prostředí. Tato připojení jsou rozvětvována z cílové zóny dat Azure DevOps Projects.
Po nasazení cílových zón dat předepisuje analýza na úrovni cloudu následující:
- Každá přistávací zóna dat bude mít svůj vlastní projekt Azure DevOps s jednou nebo více Azure Boards.
- Pro každou datovou aplikaci se po schválení žádosti vytvoří fork projektu Azure DevOps zóny přistání dat.
- Každá datová aplikace zahrnuje:
- Připojení ke službě
- Registrované potrubí.
- Tým DevOps s přístupem ke své desce a úložišti Azure.
- Jiná sada zásad pro forkované úložiště.
Pokud chcete řídit nasazení datových aplikací, postupujte podle těchto postupů:
- Provozní tým cílové zóny dat vlastní a zabezpečuje hlavní větev úložiště.
- K nasazení do testovacího a produkčního prostředí se používá pouze hlavní větev.
- Funkční větve se mohou nasazovat do vývojových prostředí.
- Funkční větve vlastní týmy DataOps. Slouží k testování nových nebo upravených funkcí.
- Týmy DataOps můžou sloučit větve funkcí do jiných větví funkcí bez schválení.
- Týmy DataOps vytvoří žádost o přijetí změn pro sloučení větví funkcí do hlavní větve a provozní tým cílové zóny dat poskytne schválení.
- Nové funkce nebo vylepšení původních šablon se sloučí do rozvětvovaného úložiště, aby se aktualizovaly.