Několik datových zón pro analýzy v cloudovém měřítku v Azure
Tato referenční architektura je určená pro organizace, které implementovaly základní verzi analýz v cloudovém měřítku a jsou teď připravené hostovat nové obchodní jednotky, aby pomohly modernizovat své analytické operace. Tento složitější scénář používá více cílových zón, datových aplikací a datových produktů.
Apache Hive a logo Hive jsou registrované ochranné známky nebo ochranné známky nadace Apache Software Foundation ve Spojených státech amerických a/nebo jiných zemích. Použití těchto značek neznamená schválení od Apache Software Foundation.
Formulace problému
Relecloud, fiktivní společnost v tomto příkladu, je poskytovatel privátního cloudu, který nabízí sdílené výpočetní a úložné prostředky globálním organizacím. I když Relecloud poskytuje výpočetní prostředky, nechtějí omezit svou platformu vlastními interními operacemi. Proto se spoléhají na Microsoft Azure pro potřeby interního výpočetního prostředí.
Datoví analytici ve skupině operací používají telemetrická data z cloudových služeb, aby pochopili, jak zákazníci používají platformu. Samostatný tým analytiků ve fakturační skupině studuje data fakturace, aby získal přehled o tom, které služby generují nejvíce výnosů.
Minulý čtvrtletí provozní tým modernizoval svou analytickou platformu migrací do Azure. Jedním z cílů při implementaci analýz na úrovni cloudu bylo maximalizace potenciálu škálování platformy a přidání nových organizačních úloh.
Dnes fakturační skupina přerostla své současné analytické řešení. Objem faktur, které se mají analyzovat, je pro místní server příliš velký. Tým se rozhodne řídit se příkladem skupiny operací a modernizovat svou platformu pro analýzu dat v Azure.
Analytici ve fakturační skupině mají jiné dovednosti než analytici v provozní skupině. Fakturační analytici nechtějí být omezeni tak, aby používali stejné nástroje jako operace. Fakturační skupina je v jiné části organizace a chce flexibilitu implementovat zásady a postupy, které vyhovují jejich potřebám.
Architektonické řešení
Relecloud škáluje svou analytickou platformu přidáním nové cílové zóny pro fakturační skupinu. Tato cílová zóna poskytuje virtuální pracovní prostor fakturační skupiny pro implementaci analytických řešení, která vyhovují jejich obchodním potřebám. Tím, že je cílová zóna oddělená od ostatních prostředků organizace, může fakturační skupina implementovat vlastní zásady přístupu a zohlednit náklady na své služby.
Následující diagram nepředstavuje všechny služby Azure. Diagram je zjednodušený, aby zvýrazňoval základní koncepty uspořádání prostředků v rámci architektury.
Přistávací zóna pro správu dat
Klíčovým požadavkem implementace analýzy na úrovni cloudu je cílová zóna správy dat. Toto předplatné obsahuje prostředky sdílené napříč všemi cílovými zónami, včetně sdílených síťových komponent, jako je brána firewall nebo privátní zóny DNS. Zahrnuje také prostředky pro data a zásady správného řízení v cloudu. Microsoft Purview a Databricks Unity Catalog byly nasazeny jako služby na úrovni tenanta.
Relecloud vytvořil cílovou zónu správy dat při nasazení řešení analýzy dat pro skupinu operací. Když se fakturační skupina připojí k platformě, použije stejnou cílovou zónu správy dat ke sdílení společných prostředků se skupinou operací.
Přistávací zóna pro provozní data
Skupina operací má v cílové zóně dat následující řešení.
Provozní datové aplikace
Tým vytvořil zdrojově zarovnanou datovou aplikaci, která používá úlohy Apache Sparku v Azure Databricks pro ingestování telemetrických dat služby a jejich uložení do účtu Azure Data Lake Storage.
Tento proces zkopíruje data as-is ze zdrojového systému, ale netransformuje je. Analytici můžou pracovat s zkopírovanými daty v analytické platformě bez přetížení zdrojového systému. Místo vytvoření vyhrazeného nasazení pro tuto datovou aplikaci používá provozní tým pracovní prostor Databricks ve sdílené skupině prostředků Ingest & Zpracování.
Zákazníci Relecloudu můžou vytvářet cloudové účty pro správu prostředků a fakturace v jejich privátních cloudech. Každý zákazník může mít více účtů. Analytický tým vytvořil datovou aplikaci pro import dat cloudového účtu. Vzhledem k tomu, že objem a frekvence dat jsou mnohem nižší než u telemetrických dat, nemusí tým používat úlohy Sparku. Místo toho vytvořili kanály Azure Data Factory pro kopírování dat.
Azure Database for MySQL funguje jako metastore Hive a Azure SQL Database je metastorem služby Azure Data Factory.
Provozní datové produkty
Analytici Relecloud získají hodnotu z dat v datových aplikacích sladěných se zdroji tím, že vytvoří nové datové aplikace sladěné se spotřebiteli. Jednou z těchto datových aplikací orientovaných na spotřebitele je doporučovací model cloudové služby . Datoví vědci relecloudu použili Azure Machine Learning k vytvoření modelu, který sleduje služby, které cloudový účet využívá, a navrhuje související služby, které by mohly být užitečné. Tým nasadí tento model do clusteru Azure Kubernetes Service (AKS) běžícího v cílové zóně a spravovaném službou Azure Machine Learning. Aplikace, které běží mimo analýzu v cloudu, můžou volat koncový bod AKS, aby získaly doporučení.
Jakmile fakturační tým vytvoří cílovou zónu, provozní tým vytvoří nový datový produkt, který si vyžádá tým pro správu. Tým pro správu chce vědět, kolik výnosů generuje datová aplikace doporučovaná cloudovou službou . Nový produkt Doporučení pro výnosy dat využívá Azure Synapse Analytics ke kombinování dat z doporučovačů cloudových služeb a výnosů podle služby do nového datového produktu. Obchodní analytici se můžou připojit k Azure Synapse pomocí Microsoft Power BI a najít a hlásit přehledy z tohoto nového datového produktu.
Zóna převzetí fakturačních dat
Fakturační skupina používala pro analýzy místní systém, ale s růstem objemu dat a tím, jak se společnost více spoléhala na jejich práci, systém nemohl držet krok. Skupina modernizuje svou platformu přechodem do cloudu.
Fakturační skupina nesdílí cílovou zónu se skupinou operací, ale získá vlastní cílovou zónu, kde má možnost vytvořit platformu, která nejlépe vyhovuje jejich potřebám. Nová cílová zóna je propojena s přistávací zónou pro správu dat a všemi ostatními datovými přistávacími zónami pomocí partnerského propojení virtuální sítě. Tento mechanismus umožňuje bezpečné sdílení dat prostřednictvím interní sítě Azure.
Aplikace fakturačních dat
Fakturační skupina vytváří dvě datové aplikace pro nasazení dat z existujících systémů do analytické platformy. První aplikace ingestuje zákaznická data, včetně úplného seznamu zákazníků a všech souvisejících dat, jako jsou adresy zákazníků, umístění a přiřazení prodejce. Druhá aplikace naimportuje historii faktur společnosti, která zahrnuje všechny fakturační poplatky zákazníkům a související platební data.
Obě tyto aplikace využívají kanály ve sdíleném pracovním prostoru Azure Synapse. Každá aplikace má vyhrazený výpočetní fond, který usnadňuje účtování nákladů a hranice zabezpečení. Vzhledem k tomu, že aplikace je možné plně implementovat se sdílenými prostředky, fakturační skupina nemusí pro tyto datové aplikace vytvářet nasazení.
Produkt fakturačních dat
Fakturační analytici vytvoří nový datový produkt s názvem Revenue by service, který analyzuje, kolik výnosů každá cloudová služba generuje pro Relecloud. Tento produkt spoléhá na data v rámci příjmu dat faktur . Produkt se také připojí k cílové zóně operací a přečte data o využití služby. Stejně jako datové aplikace závisí datový produkt také na sdíleném pracovním prostoru Azure Synapse.
Další kroky
Pokračujte ve scénáři Lamna Healthcare pro zabezpečené analýzy na úrovni cloudu v Azure.
Další informace najdete v následujících článcích: