Scénář finanční instituce pro datovou síť
Tento scénář je určený pro zákazníky, kteří chtějí používat analytiku v cloudu pro škálovatelnost a datové sítě architektury. Ukazuje složitý scénář s cílovými zónami, integracemi dat a datovými produkty.
Profil zákazníka
Fiktivní podnik Woodgrove Bank je velká firma poskytující finanční služby s celosvětovou stopou. Data společnosti Woodgrove Bank jsou umístěná v systémech nasazení na místě a v cloudu. V architektuře Woodgrove Bank jsou několik systémů datového skladu pro konsolidovaný marketing a integrované vykazování. Tato architektura zahrnuje několik datových jezer pro neplánovanou analýzu a zjišťování dat. Aplikace Woodgrove Bank jsou vzájemně propojené prostřednictvím vzorů integrace aplikací, které jsou většinou založené na rozhraní API nebo na základě událostí.
Aktuální situace
Kvůli složitosti datových skladů je pro společnost Woodgrove Bank náročné distribuovat data do různých umístění. Integrace nových dat je časově náročná a je lákavá duplikovat data. Společnost Woodgrove Bank zjistí, že kvůli připojení typu point-to-point je obtížné dohlížet na komplexní datovou krajinu. Banka podceňovala poptávku po náročné spotřebě dat. Nové případy použití jsou zavedeny rychle, jeden po druhém. Řízení dat, jako je vlastnictví dat a kvalita, a náklady jsou obtížné řídit. Udržování aktuálních předpisů je obtížné, protože Společnost Woodgrove Bank přesně neví, kde se nacházejí data.
Řešení architektury: Datová síť
V posledních několika letech organizace znají, že data jsou jádrem všeho. Data otevírají nové efektivity, řídí inovace, otevírají nové obchodní modely a zvyšují spokojenost zákazníků. Nejvyšší prioritou pro společnosti je používat metody řízené daty, jako například ve velkém měřítku.
Dosažení fáze, kdy je hlubší hodnota dat přístupná všem členům organizace, je náročná. Starší a úzce propojené systémy, centralizované monolitické platformy a komplexní zásady správného řízení mohou být významnými překážkami pro generování hodnoty z dat.
Informace o datové síti
Koncept datové sítě, termín vytvořený ZhamakEm Dehghanim, zahrnuje data, technologie, procesy a organizace. Koncepčně se jedná o přístup ke správě dat, kdy různé domény používají vlastní data. Datová síť čelí myšlence konvenční centralizace dat. Místo toho, aby se data považovala za jedno velké úložiště, datová síť uvažuje o rozkladu nezávislých datových produktů. Tento posun od centralizovaného až po federované vlastnictví je podporován moderní samoobslužnou datovou platformou, která je obvykle navržená pomocí technologií nativních pro cloud.
Když koncept datové sítě rozdělíte do stavebních bloků, tady je několik klíčových bodů, které je potřeba vzít v úvahu:
- Data jako produkt: Každá (organizační) doména pracuje s daty od začátku do konce. Odpovědnost spočívá s vlastníkem dat v rámci domény. Proudové linie se stanou prioritní záležitostí samotných domén.
- zásad správného řízení federovaných výpočetních dat: Aby každý vlastník dat mohl důvěřovat ostatním a sdílet své datové produkty, musí být vytvořen subjekt zásad správného řízení podnikových dat. Tělo zásad správného řízení implementuje kvalitu dat, centrální viditelnost vlastnictví dat, správu přístupu k datům a zásady ochrany osobních údajů.
- Domain-Oriented vlastnictví dat: Podnik by měl ideálně definovat a modelovat každý uzel datové domény v rámci sítě použitím principů návrhu orientovaného na doménu.
- Self-Serve datová platforma: Datová síť vyžaduje samoobslužnou datovou platformu, která uživatelům umožňuje odebrat technickou složitost a zaměřit se na případy použití jednotlivých dat.
analýza Cloud-Scale
Myšlenka dat jako produktu a model samoobslužné platformy nejsou pro Microsoft žádnou novinkou. Microsoft po mnoho let zaznamenal osvědčené postupy distribuovaných platforem, kanálů napříč doménami, federované vlastnictví a vysvětlující data.
Woodgrove Bank může přejít na datovou síť pomocí analýz v cloudovém měřítku. Analýza na úrovni cloudu je opensourcový a preskriptivní podrobný plán pro navrhování a rychlé nasazování moderních datových platforem. Je v kombinaci s osvědčenými postupy a principy návrhu Azure a je v souladu s architekturou Azure Well-Architected Framework. Analýzy na úrovni cloudu poskytují podnikům 80 % předepsaného pohledu a zbývající 20 procent je přizpůsobitelné.
Analýzy na úrovni cloudu nabízejí podnikům strategickou cestu návrhu směrem k datovým sítím a lze ji použít k rychlému nastavení takové architektury. Nabízí podrobný plán, včetně základních služeb datové platformy pro správu dat.
Na nejvyšší úrovni využívá cloudová analýza schopnosti správy dat, které jsou povoleny prostřednictvím přistávací zóny pro správu dat. Tato zóna zodpovídá za zásady správného řízení federovaných dat organizace (samoobslužné) platformy a datové domény, které řídí obchodní hodnotu prostřednictvím datových produktů. Výhodou tohoto přístupu je, že odstraňuje technickou složitost při současném dodržování stejných standardů. Zajišťuje, aby nedošlo k šíření technologií. Umožňuje také podnikům, aby začaly s modulárním přístupem, s malou stopou, a poté postupně růst.
Cílová zóna správy dat, jak vidíte v následujícím diagramu, obklopuje všechny datové domény. Spojuje všechny domény dohromady a poskytuje dohled, který společnost Woodgrove Bank hledá.
Analýza na úrovni cloudu také podporuje uplatňování konzistentních zásad správného řízení, které při distribuci datových produktů používá společnou architekturu. Architektura umožňuje přímou komunikaci mezi doménami. Zůstává pod kontrolou tím, že klade důraz na centrální katalogování a klasifikaci, aby chránila data a umožňovala skupinám zjišťovat data. Poskytuje vašim datovým aktivům ochrannou kontrolu.
Datové domény
Pokud jako strategickou cestu používáte analýzy v cloudovém měřítku, musíte si představit rozklad vaší architektury a výslednou členitost. Datová mřížka organizuje data, aniž by se řídila technologickými hranicemi. Místo toho používá principy návrhu řízeného doménou (DDD), který se zabývá vývojem softwaru, který zahrnuje složité systémy pro větší organizace. DDD je oblíbený kvůli svému vlivu na moderní postupy vývoje softwaru a aplikací, jako jsou mikroslužby.
Jeden ze vzorů z návrhu řízeného doménou se označuje jako ohraničený kontext. Ohraničené kontexty nastavují logické hranice prostoru řešení domény, aby se zlepšila správa složitosti. Je důležité, aby týmy pochopili, které aspekty, včetně dat, můžou změnit a které jsou sdílené závislosti, které vyžadují koordinaci s ostatními. Datová síť zahrnuje ohraničený kontext. Tento model používá k popisu toho, jak můžou organizace koordinovat s datovými doménami a zaměřit se na poskytování dat jako produktu. Každá datová doména vlastní a provozuje více datových produktů s vlastním technologickým zásobníkem, který je nezávislý na ostatních.
Datové produkty
Při přiblížení vnitřní architektury takové datové domény očekáváte, že v ní najdete datové produkty.
Datové produkty splňují konkrétní potřebu v rámci firem, které používají data. Datové produkty spravují, uspořádají a interpretují data napříč oblastmi a poté prezentují získané přehledy. Datový produkt je výsledkem dat z dat z jedné nebo mnoha integrací dat nebo jiných datových produktů. Datové produkty jsou úzce v souladu s datovými doménami a dědí stejný vytvořený, formalizovaný jazyk dohodnutý zúčastněnými stranami a návrháři. Každá doména, která generuje data, zodpovídá za zpřístupnění těchto datových produktů pro ostatní domény.
K rychlému doručování datových produktů nabízí analýzy v cloudovém měřítku šablony pro distribuci dat a vzory integrace. Architektura poskytuje dávky dat, streamování a analýzy pro řešení potřeb různých spotřebitelů.
Jednou z skvělých věcí týkajících se analýzy v cloudovém měřítku je uspořádání domén a datových produktů. Každá datová doména odpovídá jedné cílové zóně dat, což je logická konstrukce a jednotka škálování v architektuře analýzy v cloudovém měřítku. Umožňuje uchovávání a spouštění datových úloh, které generují přehledy a hodnoty. Každý datový produkt odpovídá jedné skupině prostředků v cílové zóně dat a všechny cílové zóny dat a zóny správy odpovídají předplatným. Tento přístup usnadňuje implementaci a správu.
Všechny šablony analýzy v cloudovém měřítku dědí stejnou sadu zásad z cílové zóny správy dat. Šablony automaticky poskytují potřebná metadata pro zjistitelnost dat, zásady správného řízení, zabezpečení, správu nákladů a efektivitu provozu. Nové datové domény můžete rychle připojit bez nutnosti složitého onboardingu, integrace a testování.
Následující diagram znázorňuje, jak může datový produkt vypadat:
Praktickým přístupem k vytváření datových produktů je buď sesoulad se zdrojem, odkud data pocházejí, nebo se způsobem použití, který využívá data. V obou případech musíte poskytnout abstraktní zobrazení základního (komplexního) datového modelu aplikace. Musíte se pokusit skrýt technické podrobnosti a optimalizovat náročné využití dat. Příkladem sdílení datového produktu mezi různými datovými doménami je zobrazení Azure Synapse nebo soubor Parquet, který logicky seskupuje data dohromady.
Dále potřebujete pracovat na zjistitelnosti dat, původu, využití a rodokmenu. Osvědčeným přístupem je použití služby zásad správného řízení dat, jako je Microsoft Purview, k registraci všech dat. Integrace dat v cloudové analytice perfektně propojuje souvislosti, jelikož umožňuje vytváření těchto datových produktů a zároveň provádí registraci metadat.
Když zarovnáte datové domény a kolekce Microsoft Purview, automaticky zachytíte veškerý původ dat, rodokmen, podrobnosti o kvalitě dat a informace o spotřebě z jednotlivých domén. Díky tomuto přístupu můžete propojit více datových domén a produktů s centralizovaným řešením zásad správného řízení, které ukládá všechna metadata z každého prostředí. Výhodou je, že centrálně integruje všechna metadata a usnadňuje přístup různým příjemcům. Tuto architekturu můžete rozšířit o registraci nových datových produktů.
Následující diagram znázorňuje architekturu datové sítě napříč doménami, která používá analýzu v cloudovém měřítku.
Návrh sítě umožňuje sdílení datových produktů napříč doménami pomocí minimálních nákladů a odstranění jediného bodu selhání a omezení šířky pásma. K zajištění zabezpečení můžete použít model zabezpečení Microsoft Zero Trust. Cloudové analýzy navrhují použití izolace sítě prostřednictvím privátních koncových bodů a komunikace privátními sítěmi, modelu přístupu k datům řízeného identitou, který používá MI, UMI a vnořené skupiny zabezpečení, v souladu se zásadou minimálních oprávnění principu .
Spravované identity můžete použít k zajištění dodržování modelu přístupu s nejnižšími oprávněními. Aplikace a služby v tomto modelu mají omezený přístup k datovým produktům. Zásady Azure spolu s nadcházejícími zásadami dat se používají k umožnění samoobslužného přístupu a zajištění souladu prostředků ve všech datových produktech ve velkém měřítku. Díky tomuto návrhu můžete mít jednotný přístup k datům a přitom plně řídit prostřednictvím centralizovaných zásad správného řízení a auditování dat.
Vývoj směrem k budoucnosti
Analýza na úrovni cloudu je navržená s ohledem na síť dat. Analýzy na úrovni cloudu poskytují osvědčený přístup, pomocí kterého můžou organizace sdílet data napříč mnoha datovými doménami. Tato architektura umožňuje doménám mít autonomii, aby se mohli rozhodnout a řídí architekturu tím, že ji propojí se službami pro správu dat.
Při implementaci datové sítě logicky seskupte a uspořádejte své domény. Tento přístup vyžaduje podnikový pohled a pravděpodobně se jedná o kulturní posun pro vaši organizaci. Posun vyžaduje, abyste federovali vlastnictví dat mezi datovými doménami a vlastníky, kteří zodpovídají za poskytování dat jako produktů. Vyžaduje také, aby týmy odpovídaly centralizovaným možnostem nabízeným cílovou zónou správy dat. Tento nový přístup může vyžadovat, aby jednotlivé týmy vzdaly své současné mandáty, což by pravděpodobně vyvolalo odpor. Možná budete muset provést určitá politická rozhodnutí a zajistit rovnováhu mezi centralizovanými a decentralizovanými přístupy.
Architekturu datové sítě můžete škálovat přidáním dalších cílových zón do architektury pro jednotlivé domény. Tyto cílové zóny využívají virtuálního peeringu sítě pro připojení k zóně správy dat a všem dalším cílovým zónám. Tento model umožňuje sdílet datové produkty a prostředky napříč zónami. Když rozdělíte do samostatných zón, můžete úlohy rozdělit mezi předplatná a prostředky Azure. Tento přístup vám umožní implementovat datovou síť organickým způsobem.
Víc se uč
Zdroje microsoftu:
- šablona cílové zóny správy dat
- šablona pro přistávací zónu dat
Článek od zakladatele datové sítě Zhamak Dehghani: