Analytické datové produkty v cloudovém měřítku v Azure
Datové produkty jsou data obsluhovaná jako produkty a vypočítaná, uložená a obsluhovaná službami polyglotního uchovávání, což může být požadováno určitými případy použití. Proces vytváření a poskytování datového produktu může vyžadovat služby a technologie, které nejsou zahrnuty do cílové zóny dat základních služeb. Příkladem by bylo hlášení s konkrétními požadavky, jako je hlášení o dodržování předpisů a daních.
Aspekty návrhu
Cílová zóna dat může obsluhovat více datových produktů vytvořených ingestováním dat ze stejné cílové zóny dat nebo napříč několika cílovými zónami dat. Toto je znázorněno v následujícím diagramu.
Výše uvedený příklad ukazuje:
- Spotřeba dat uvnitř pásma:
- Datový produkt B využívá data z datového produktu A a dalších dat nebo datových produktů existujících v datovém jezeře ve vlastní cílové zóně.
- Datové produkty C a D využívají data pouze z jejich vlastních cílových zón dat.
- Spotřeba dat mezi pásmy:
- Datový produkt B také využívá data z datového produktu C a dat v datovém jezeře cílové zóny 3.
Důležitý
V případě spotřeby mezizonetových dat, jelikož je datový produkt B vytvořen čtením z datové přistávací zóny 3, tento přístup pro čtení vyžaduje schválení od operací datové přistávací zóny a a od týmů integrace operací a datové přistávací zóny 3.
Důležitý
Datový produkt B využívá data z datových produktů A a C. Než k tomu dojde, musí datový produkt B zaregistrovat spotřebu datových produktů prostřednictvím smluv o sdílení dat. Tato smlouva o sdílení dat by měla aktualizovat rodokmen z datového produktu A na datový produkt B a z datového produktu C do datového produktu B.
Skupina prostředků pro datový produkt zahrnuje všechny služby potřebné k jeho vytvoření a údržbě. Tuto skupinu prostředků můžeme nazvat datovou aplikací. Mezi příklady služeb, které můžou být součástí datové aplikace, patří Azure Functions, Azure App Service, Logic Apps, Azure Analysis Services, Azure Cognitive Services, Azure Machine Learning, Azure SQL Database, Azure Database for MySQL a Azure Cosmos DB.
Datové produkty mají data z READ zdroje dat, u kterých byla použita transformace dat. Příkladem může být nově sestavená datová sada nebo BI zpráva.
Doporučení k návrhu
Vytvářejte datové produkty v cílové zóně dat tím, že dodržujete principy návrhu, které vám umožní škálovat se zásadami správného řízení dat. Následující části obsahují doporučení k návrhu, která vám pomůžou při plánování ekosystému datových aplikací.
Nasazení několika skupin prostředků
Každá datová aplikace je skupina prostředků. Vzhledem k tomu, že datové aplikace jsou výpočetní služby, polyglotní perzistentní služby, nebo obojí, jsou vyžadovány pouze na základě určitých případů použití. Proto se považují za volitelnou komponentu cílové zóny dat. V případech, kdy potřebujete datové aplikace, vytvořte podle datové aplikace více skupin prostředků, jak ukazuje následující diagram.
Nastavení mantinely
Azure Policy řídí výchozí konfiguraci služeb v cílové zóně dat. Provozní analýzy si můžete představit jako několik skupin prostředků, které si váš datový produktový tým může vyžádat ze standardního katalogu služeb. Pomocí služby Azure Policy můžete nakonfigurovat hranici zabezpečení a požadovanou sadu funkcí.
Důležitý
Pokud chcete řídit konzistenci, nakonfigurujte jednu službu Azure Policy pro každou datovou aplikaci.
Využívání dat z více míst
Datové aplikace spravují, uspořádají a získají představu o datech z více datových prostředků a zobrazí všechny získané přehledy. Datový produkt je výsledkem dat z jedné nebo mnoha datových aplikací v rámci cílových zón dat. V případě potřeby povolte datovým aplikacím přístup k datům z více a různých zdrojů.
Škálování podle potřeby
Služby, které tvoří datové aplikace, jsou přírůstková nasazení do cílové zóny dat. Podle potřeby škálujte datové aplikace.
Povolení zjišťování dat
Automatické registrace datových produktů v katalogu dat, jako je Microsoft Purview, aby bylo možné skenovat data.
Identifikace datových produktů
Při zahájení plánování přistávací zóny dat identifikujte tolik datových produktů a datových aplikací, které je vytvářejí a udržují, kolik je potřeba k vytvoření architektury vaší datové produktové aplikace. Při rozhodování by měla hrát největší roli shoda s implementovanými zásadami správného řízení platforem.
Zaměřte se na to, jak jsou datové aplikace producenty a spotřebiteli dat pro ostatní. Předpokládejme například, že jste identifikovali sadu datových produktů (A, B, C a D), které se vytvářejí a spotřebovávají. Potřebujete datové produkty A a D jako zdroje dat v aplikaci Data B pro datový produkt B. Datový produkt B se vytvoří z dat, která aplikace Dat B využívá z datových produktů A a D. Aplikace dat B funguje jako samotný výrobce dat a také vytváří data pro datový produkt C.
Řízení prostředí datové aplikace pomocí infrastruktury jako kódu
Zásady správného řízení a infrastruktura jako kód by měly řídit prostředí datových aplikací v ekosystému datových produktů, jak je znázorněno v předchozím diagramu.
Publikování datových modelů
Týmy datových produktů by měly publikovat své datové modely v úložišti modelování.
Nastavení očekávání pro uživatele datového produktu
Aktualizujte kontrakty sdílení dat pomocí smluv o úrovni služeb a certifikací datových produktů, abyste mohli vyjádřit přesná očekávání potenciálním uživatelům datového produktu.
Zachytávání rodokmenu
Pokud je produkt B vytvořen z dat pocházejících z datových produktů A a D, musí být rodokmen zachycen z A a D do B. Další rodokmen by měl být zaznamenán také pro datový produkt C, protože je vytvořen pomocí dat z datového produktu B. Aktualizovaný rodokmen by se měl zachytit v aplikaci rodokmenu dat před každým vydáním datového produktu.
Poznámka
Pomocí Azure Pipelines můžete vytvářet schvalovací fáze a volat funkce, které umožňují zajistit, aby metadata, provenience a smlouvy SLA byly zaregistrované ve správné službě pro správu.
Definování architektury datových aplikací
Musíte vytvořit podrobnou architekturu pro každý datový produkt, který plně definuje jeho vztah k jiným datovým produktům, jeho závislostem a požadavkům na přístup.