Datové smlouvy

Zodpovědnosti se rozdělují mezi domény v federované architektuře, což může ztížit dohled nad závislostmi a získání přehledů o využití dat. Kontrakty dat vám můžou pomoct získat přehledy o využití dat, protože poskytují informace o tom, kdo vlastní každý datový produkt. Kontrakty dat pomáhají nastavit standardy a s jistotou spravovat datové kanály. Jsou nezbytné pro robustní správu dat a poskytují informace o:

• Které datové produkty se spotřebovávají.
• Kteří uživatelé využívají datové produkty.
• K jakému účelu vedou uživatele k využívání konkrétních datových produktů.

Distribuce a využití datových produktů mají dvě dimenze: technické obavy a obchodní aspekty. Mezi technické aspekty patří zpracování datových kanálů a očekávání vzájemného stability dat. Obchodní aspekty zahrnují smlouvy o účelu sdílení dat, které definují cíle využití, ochrany osobních údajů a účelu, včetně jakýchkoli omezení.

Dvě dimenze zahrnují různé role. Obecně platí, že byste se měli spoléhat na vlastníky aplikací nebo datové inženýry na technické záležitosti a vlastníky produktů nebo obchodní zástupce pro obchodní záležitosti.

Principy kontraktů dat

Kontrakty dat jsou podobné kontraktům služeb nebo smlouvám o doručení dat.

Ve větší nebo distribuované architektuře může být obtížné dohlížet na změny. Dohled můžete zjednodušit implementací správy verzí a správou kompatibility vždy, když máte datový produkt, který je oblíbený a široce používaný.

Pokud jsou aplikace svázané, označuje vysoký stupeň vzájemné závislosti mezi propojenými aplikacemi. Aplikace, které při přistupují nebo využívají data z jiných aplikací, vždy trpí při párování. Jakákoli změna datové struktury, například, bude pravděpodobně mít přímý vliv na jiné aplikace, které k datům přistupují nebo využívají. V situacích, kdy máte mnoho aplikací propojených dohromady, je běžné narazit na kaskádový efekt, kdy malá změna jedné aplikace ovlivňuje mnoho dalších aplikací. Vzhledem ke zvýšené pravděpodobnosti nezamýšlených efektů po i menších změnách se mnoho architektů a softwarových inženýrů vyhněte sestavování propojených architektur.

Smlouva o datech zaručuje kompatibilitu rozhraní a zahrnuje podmínky služby a smlouvu o úrovni služeb (SLA). Podmínky služby popisují způsob použití dat, například omezení jejich použití pouze na vývoj, testování nebo produkci. Smlouvy SLA popisují požadovanou kvalitu doručování dat a rozhraní. Podrobnosti o kvalitě, které můžete zadat ve sla, zahrnují:

• Doba od spuštění
• Míry chyb
• Dostupnost
• Vyřazení z provozu
• Plán
• Čísla verzí

Metadata, která zachytává tyto podrobnosti, můžete umístit do správy zdrojového kódu, což umožňuje automatické spouštění ověření a nasazení. Další informace o správě zdrojového kódu najdete v tématu Správa zdrojového kódu ve službě Azure Data Factory.

Kontrakty dat poskytují přehled o párování a závislostech mezi doménami a aplikacemi. Kontrakt také umožňuje testování kontraktů, což zajišťuje, že všechny změny aplikací a rozhraní se ověřují v požadavcích vašich uživatelů na data. Zjištěním posunu schématu můžete zjistit, kdy se vaše toky dat stanou zranitelnými vůči změnám nadřazeného zdroje dat. Další informace najdete v tématu Posun schématu při mapování toku dat.

Kontrakty dat jsou často součástí architektur příjmu dat řízených metadaty. Kontrakty dat můžete ukládat do záznamů metadat v centrálně spravovaném metastoru. Z tohoto centrálního umístění hrají kontrakty dat důležitou roli v několika oblastech příjmu dat, mezi které patří:

• Spuštění kanálu
• Vytvoření datového produktu
• Ověření datového typu
• Schémata
• Standardy interoperability
• Verze protokolu
• Výchozí pravidla pro chybějící data

Kontrakty dat zahrnují velké množství technických metadat. Pokud chcete zdokumentovat datové kanály a datové produkty, musíte mít jasný popis zdrojů dat, všechny transformace, které vaše data prošly, a způsob, jakým data nakonec doručíte.

V distribuované architektuře distribuujete architekturu datového kanálu napříč různými doménami a domény odpovídají běžnému způsobu práce. Vzhledem k tomu, že domény zpracovávají data sama, řídí je a odpovědnost s nimi zůstávají, zatímco rámec a metadata zůstávají pod centrálními zásadami správného řízení.

Při implementaci federované metody začněte malá. Začněte základy, jako je úložiště metadat pro ověřování schématu, podnikové identifikátory a odkazy na jiné datové sady ve vašem úložišti sdílených metadat. Přidejte podporu rodokmenu dat, která vám pomůžou vizualizovat přesun dat. Spusťte své procesy a implementujte kontroly pro ověření kvality technických dat.

Všechny vaše ovládací prvky by měly být součástí postupů kontinuální integrace. Zachyťte všechny informace o modulu runtime, včetně metrik a protokolování, a zajistěte, aby tyto informace byly součástí vašeho základu metadat pro získání přehledů stability datového kanálu. Toto nastavení zajistí, že budete mít smyčku zpětné vazby mezi vašimi doménami a centrálním kokpitem pro správu.

Při stabilizaci veškerého přesunu dat zachyťte, které atributy dat (například tabulky a sloupce) používají uživatelé dat a tyto informace používají k dalšímu škálování. Tyto informace můžete zahrnout do centrálně spravovaného metastoru. Informace o využití dat umožňují detekovat zásadní změny a identifikovat jejich účinky na producenty a spotřebitele dat. Pokud datová sada datové sady produktů neobsahuje žádné uživatele, můžete ji povolit, aby mohla narušovat změny. Pomocí správy zdrojového kódu (jako je Git) povolte proces handshake mezi poskytovateli a uživateli vašich dat.

Smlouvy o sdílení dat

Smlouvy o sdílení dat jsou rozšířením datových kontraktů. Smlouvy popisují využití dat, ochranu osobních údajů a účel, včetně jakýchkoli omezení. Smlouvy o sdílení dat jsou nezávislé na rozhraní a nabízejí přehled o datech používaných pro konkrétní účel. Fungují také jako vstup pro ovládací prvky zabezpečení dat. Pomocí smlouvy o sdílení dat můžete určit, které filtry nebo ochranu zabezpečení se musí na vaše data použít.

Smlouvy o sdílení dat také pomáhají zabránit nesprávné komunikaci nad používáním dat. Vlastníci domény by měli diskutovat o problémech se sdílením dat a používáním dat před sdílením dat. Společné porozumění je důležité pro vaši schopnost regulovat data a jejich využití a zajistit, abyste mohli vaší organizaci dodat hodnotu. Jakmile se všichni vlastníci domény dostanou ke spolupráci, ujistěte se, že je dokumentují ve smlouvě o sdílení dat. V této smlouvě můžete také řešit oblasti, jako jsou:

• Kvalita funkčních dat
• Historizace
• Správa životního cyklu dat
• Další distribuce dat

K zabezpečení dat použijte klasifikace a podmínky, jako jsou popisky citlivosti nebo podmínky filtrování.

Diagram předchozí části znázorňuje určité prvky označené datovým sajdkářem. Sajdkárna datového produktu je komponenta nebo vrstva pro vkládání provádění zásad, jako jsou řízení přístupu k datům nebo výstupní metody spotřeby dat. Jedná se o abstrakci zabezpečení, která používá kontrakty dat ke zpracování vynucování zabezpečení u dat vaší domény. Ze svého úložiště kontraktů dat můžete vytvořit datový sajdkár jako seznam řízení přístupu (ACL) nebo bezserverové zobrazení, nebo můžete vytvořit datovou sadu, kterou vyberete a vyfiltrujete pro konkrétního příjemce. V obou směrech je cílem odvodit z datových kontraktů zobrazení zabezpečení plně automatizovaným způsobem.

Připojte atributy kontraktů dat a dokumentaci. Ujistěte se, že poskytujete sémantický kontext a vztah ke glosáři, aby uživatelé pochopili, jak se obchodní požadavky překládají na skutečnou implementaci. Pokud je pro vaši organizaci důležitý vztah s obchodními podmínkami, zvažte implementaci zásad, jako je povolení vytvoření datových kontraktů pouze po propojení všech atributů datového produktu s entitami obchodních termínů. Tento typ zásady můžete použít také na kontextové změny, jako jsou úpravy relací nebo definic.

Použití kontraktů dat

Začněte pomalu, když začnete používat datové kontrakty. Nezavádět příliš mnoho změn najednou; kontrakty dat vyžadují kulturní posun a vaši uživatelé se s nimi musí seznámit a porozumět důležitosti vlastnictví dat. V kontraktech dat musíte také najít sladké místo mezi příliš málo a příliš mnoha atributy metadat.

Následující kroky popisují proces implementace kontraktů dat pro vaši organizaci:

1. Ujistěte se, že jsou vaše technické datové kanály stabilní. Případy použití se nemůžou spojit s produkčním prostředím, pokud kanály procházejí neočekávaným přerušením.
2. Při zahájení používání smluv o sdílení umístěte jednoduché a pragmatičtější procesy. Můžete začít návrhem jednoduchého formuláře nebo šablony v Microsoft Forms. Napište jasný a výstižný jazyk, který můžou čtenáři snadno pochopit. Cílem této první fáze je kulturní posun a shromažďování požadavků. Ujistěte se, že nepřekomplikujete věci; přijměte ruční procesy, omezte počáteční požadavky na metadata a iterujte, dokud tyto požadavky nebudou stabilní.
3. Jakmile budete mít první procesy pevně na místě, začněte ručně nahrazovat formuláře webovou aplikací, databází a/nebo frontou zpráv. Váš centrální tým zásad správného řízení dat by měl být během této fáze stále zodpovědný za dohled. Členitost přístupu k datům je v tomto okamžiku obvykle hrubě odstupňovaná a zaměřuje se na složky nebo soubory. Kdykoli je to možné, použijte rozhraní REST API k automatickému zřizování zásad přístupu k datům nebo seznamů ACL.
4. Vlastníci dat nebo správci dat mají na starosti silný pracovní postup pro správu schválení. Vaše centrální úloha správy dat by teď měla dohlížet na schvalování jen z vedlejší pozice a pravidelně kontrolovat všechny datové smlouvy. V tomto okamžiku byste měli mít katalog dat, jako je Microsoft Purview, spuštěný, který zobrazuje všechny vaše datové produkty připravené k použití. Vylepšete možnosti vynucování dat a zabezpečení tím, že umožníte jemně odstupňované výběry a filtrování a zvažte použití technik, jako je dynamické maskování dat, aby se zabránilo duplikování dat.
5. V poslední fázi vaší cesty implementace kontraktu dat by všechno mělo být samoobslužné a plně automatizované. Automatizované strojové učení by mělo předpovědět schválení dat. Zabezpečená zobrazení se například po schválení automaticky nasadí.

Kontrakty dat jsou relativně novým, ale důležitým doplňkem architektury datových sítí, což poskytuje transparentnost pro využití dat a závislosti. Při prvním použití kontraktů dat se zaměřte na technickou stabilitu a standardizaci a pak při iteraci využijte proces, který jste se naučili. Pomalu sestavte a automatizujte zásady správného řízení dat, abyste nezvyšují režijní náklady vaší organizace.

V rámci dokumentace ke smlouvě o datech potřebujete také podmínky služeb a smluv o úrovni služeb (SLA). Pomocí smluv SLA můžete nastínit požadavky na kvalitu pro doručování dat a rozhraní, včetně doby provozu, chybovosti a dostupnosti. Smlouvy SLA můžou zahrnovat také všechny požadavky na vyřazení, plán a číslo verze, které je potřeba definovat.

Další kroky

• Aspekty návrhu pro samoobslužné datové platformy