Co je datová síť?
Datová síť je model architektury pro implementaci podnikových datových platforem ve velkých a složitých organizacích. Datová síť pomáhá škálovat přijetí analýz nad rámec jedné platformy a jednoho implementačního týmu.
Pozadí
Poptávka po analýzách není nedávným vývojem. Organizace konzistentně potřebovaly vyhodnocovat výkonnost podniku a využívaly k tomu počítače již od jejich vzniku. V roce 1980 začaly organizace vytvářet řešení datových skladů pomocí databází speciálně pro podporu rozhodování. Tato řešení datových skladů sloužila organizacím dobře po dlouhou dobu.
Vzhledem k tomu, že obchodní změny a generování různorodějších dat, nemusí být řešení datových skladů, která používají relační databáze, vždy nejlepším řešením. V roce 2000 se velké objemy dat staly běžným termínem. Podniky přijaly nová řešení, která umožňují analýzu velkých objemů různorodých dat, která by mohla být generována velkou rychlostí. Tato řešení zahrnují technologie, jako jsou datová jezera, a škálovací řešení, která analyzují velké objemy dat.
V posledních letech mnoho organizací úspěšně využívá moderní architektonické a analytické vzory, které kombinují technologie datových skladů a novější technologie pro velké objemy dat.
Některé organizace ale narazí na problémy při nasazování analytických řešení, která používají analytické vzory. Tato řešení se běžně implementují jako monolitická řešení, kde jeden tým je poskytovatelem platformy a tým provádí integraci dat. Menší organizace a organizace, které mají vysoký stupeň centralizace z hlediska nastavení týmu, můžou používat jeden tým. Větší organizace, která používá jenom jeden tým, ale často vytváří kritický bod. Příčinou tohoto kritického bodu je obrovský backlog, což vede k tomu, že části organizace čekají na integrační služby dat a analytická řešení.
Tento model se stává častějším, protože organizace přijímají moderní řešení pro datové vědy. Mnoho moderních řešení pro datové vědy vyžaduje více dat než tradiční řešení business intelligence v minulosti.
Nedávný přechod na používání mikroslužeb jako vzor vývoje aplikací je dalším faktorem dlouhých backlogů v oblasti integrace dat, protože zvyšuje počet zdrojů dat.
Problém může být i jeden tým, který zpracovává veškerý příjem dat na jedné platformě ve velké organizaci. Jeden tým má zřídka odborníky pro každý zdroj dat. Většina organizací je decentralizovaná a distribuovaná z obchodní perspektivy. Různé obchodní jednotky a oddělení zpracovávají různé části obchodní operace, takže odborníci na data jsou obvykle rozděleni do různých sektorů.
Pro řešení těchto problémů byl zaveden model označovaný jako datová síť. Cílem datové sítě je umožnit distribuovaným týmům pracovat s informacemi a sdílet je decentralizovaným a agilním způsobem.
Datová síť je technický vzor, který také vyžaduje změnu organizace. Výhody přístupu k datovým sítím se dosahuje implementací více disciplínních týmů, které publikují a využívají datové produkty.
Následující koncepty jsou základem pro pochopení architektury datových sítí:
- Datové domény
- Datové produkty
- Samoobslužné platformy
- Federované zásady správného řízení
Datové domény
Datové domény jsou základem datové sítě. Koncept datových domén pochází z DDD (Domain Driven Development), paradigmatu, které se často používá při vývoji softwaru k modelování složitých softwarových řešení. V datové síti představuje datová doména způsob, jak definovat hranice kolem podnikových dat. Domény se můžou lišit v závislosti na vaší organizaci a v některých případech můžete definovat domény kolem vaší organizace. V jiných případech se můžete rozhodnout modelovat datové domény na základě obchodních procesů nebo zdrojových systémů.
Existují tři aspekty datových domén:
Zvolené hranice se vykreslí k dlouhodobému vlastnictví. Existují po dlouhou dobu a identifikovali vlastníky.
Vaše domény by měly odpovídat realitě, nejen teoretické koncepty.
Vaše domény musí mít atomický integritu. Pokud mezi sebou oblasti nemají žádný vztah, nekombinujte je v doméně dohromady.
Další informace o datových doménách a jejich definování najdete v tématu Datové domény.
Datové produkty
Datové produkty jsou další důležitou součástí datové sítě. Datové produkty se zaměřují na myšlení produktů do světa dat. Aby byl datový produkt úspěšný, musí poskytnout zamýšleným uživatelům dlouhodobou obchodní hodnotu. V datové síti zahrnuje datový produkt data, prostředky kódu, metadata a související zásady. Datové produkty je možné doručovat jako rozhraní API, sestavu, tabulku nebo datovou sadu v datovém jezeře.
Úspěšný datový produkt musí být:
- Použitelné: Váš produkt musí mít uživatele mimo okamžitou doménu dat.
- Cenné: Váš produkt musí udržovat hodnotu v průběhu času. Pokud nemá dlouhodobou hodnotu, nemůže být úspěšná.
- Proveditelné: Váš produkt musí být proveditelný. Pokud ho ve skutečnosti nemůžete sestavit, produkt nemůže být úspěšný. Váš produkt musí být proveditelný z hlediska dostupnosti dat i technického hlediska.
Prostředky kódu datového produktu zahrnují kód, který ho vygeneruje a kód, který ho doručí. Prostředky kódu zahrnují také kanály používané k vytvoření produktu a konečné sestavy produktu.
Další informace o datových produktech najdete v tématu Analytické datové produkty na úrovni cloudu v Azure.
Konkrétní pokyny k používání datové sítě najdete v tématu Co je datový produkt?.
Samoobslužné platformy
Jádrem datové sítě je platforma, která umožňuje datovým doménám vytvářet vlastní datové produkty. Datové domény musí definovat datové produkty pomocí nástrojů a procesů, které jsou relevantní pro uživatele bez silné závislosti na centrální platformě nebo centrálním týmu platformy. V datové síti máte autonomní týmy, které vyvíjejí a spravují autonomní produkty.
Při používání decentralizovanosti a sladění s podnikovými uživateli, kteří chápou vaše data, nezapomeňte na generalisty, kteří pracují také na vaší platformě. Vzhledem k tomu, že máte generalisty, nemůžete mít specializované nástroje, které vyžadují odborné znalosti, aby fungovaly jako základní základ platformy založené na síti.
Samoobslužnou platformu můžete úspěšně implementovat tak, že přijmete postupy popsané v aspektech návrhu pro samoobslužné datové platformy.
Federované zásady správného řízení
Když přijmete samoobslužnou distribuovanou datovou platformu, musíte zdůraznit větší důraz na zásady správného řízení. Nedostatek zásad správného řízení vede k duplikaci dat a sil napříč vašimi datovými doménami. Federujte zásady správného řízení, protože lidé, kteří chápou potřebu zásad správného řízení, existují v rámci týmů v souladu s doménou a mezi vlastníky dat.
Pokud chcete vytvořit federované zásady správného řízení, implementujte automatizované zásady týkající se potřeb platformy i dat. Pro účely testování a monitorování používejte vysoký stupeň automatizace. Přijměte strategii implementace první kód pro zpracování standardů, zásad, datových produktů a nasazení platformy jako kódu.
Další informace o implementaci federovaných aspektů zásad správného řízení najdete v tématu Přehled zásad správného řízení dat.
Shrnutí
Datová síť může být efektivní způsob implementace podnikových datových platforem, ale není to nejlepší řešení pro všechny organizace. Datová síť vyžaduje autonomní týmy, které můžou pracovat nezávisle. Datová síť funguje nejlépe ve velkých a složitých organizacích, které mají nezávislé obchodní jednotky a potřebují škálovat jejich přijetí analýz nad rámec jedné platformy a implementačního týmu.
Při použití datové sítě se při implementaci zásad správného řízení dejte pozor, abyste sila nevytvoříte. Vždy udržujte produkt v myšlení o datech v jádru vaší implementace, abyste zajistili úspěch.