Tento článek poskytuje přístup k architektuře pro přípravu předplatných cílových zón Azure pro škálovatelné nasazení služby Azure Synapse Analytics s rozšířeným zabezpečením. Azure Synapse, podniková analytická služba, kombinuje datové sklady, zpracování velkých objemů dat, integraci a správu dat.
V článku se předpokládá, že jste už implementovali základ platformy, který je nutný k efektivnímu vytvoření a zprovoznění cílové zóny.
Apache®, Spark a logo plamene jsou registrované ochranné známky nebo ochranné známky nadace Apache Software Foundation v USA a/nebo v jiných zemích. Použití těchto značek nevyžaduje žádné doporučení Apache Software Foundation.
Architektura
Stáhněte si soubor aplikace Visio s touto architekturou.
Tok dat
- Základní součástí této architektury je Azure Synapse, sjednocená služba, která poskytuje celou řadu funkcí, od příjmu dat a zpracování dat až po obsluhu a analýzu. Azure Synapse ve spravované virtuální síti poskytuje izolaci sítě pro pracovní prostor. Povolením ochrany před exfiltrací dat můžete omezit odchozí připojení jenom na schválené cíle.
- Prostředky Azure Synapse, prostředí Azure Integration Runtime a fondy Sparku umístěné ve spravované virtuální síti se můžou připojit ke službě Azure Data Lake Storage, Azure Key Vault a dalším úložištím dat Azure se zvýšeným zabezpečením pomocí spravovaných privátních koncových bodů. Fondy Azure Synapse SQL hostované mimo spravovanou virtuální síť se můžou připojit ke službám Azure přes privátní koncový bod v podnikové virtuální síti.
- Správci můžou vynutit privátní připojení k pracovnímu prostoru Azure Synapse, Data Lake Storage, Key Vaultu, Log Analytics a dalším úložištům dat prostřednictvím zásad Azure použitých napříč cílovými zónami dat na úrovni skupiny pro správu. Můžou také povolit ochranu před exfiltrací dat, aby poskytovala lepší zabezpečení pro odchozí provoz.
- Uživatelé přistupují k Synapse Studiu pomocí webového prohlížeče z omezené místní sítě prostřednictvím služby Azure Synapse Private Link Hubs. Služba Private Link Hubs se používá k načtení synapse Studia přes privátní propojení s rozšířeným zabezpečením. Jeden prostředek služby Azure Synapse Private Link Hubs se nasadí v předplatném připojení s privátním koncovým bodem ve virtuální síti centra. Virtuální síť centra je připojená k místní síti přes Azure ExpressRoute. Prostředek Private Link Hubs se dá použít k privátnímu připojení ke všem pracovním prostorům Azure Synapse přes Synapse Studio.
- Datoví inženýři používají kanály Azure Synapse aktivita Copy spuštěné v místním prostředí Integration Runtime k ingestování dat mezi úložištěm dat hostovaným v místním prostředí a cloudovými úložišti dat, jako jsou Data Lake Storage a fondy SQL. Místní prostředí je připojené přes ExpressRoute k centrální virtuální síti v Azure.
- Datoví inženýři používají aktivitu azure Synapse Tok dat a fondy Sparku k transformaci dat hostovaných v cloudových úložištích dat připojených ke spravované virtuální síti Azure Synapse prostřednictvím spravovaných privátních koncových bodů. U dat umístěných v místním prostředí vyžaduje transformace s fondy Sparku připojení prostřednictvím vlastní služby Private Link. Vlastní služba Private Link používá k připojení k místnímu úložišti dat virtuální počítače překladu adres (NAT). Informace o nastavení služby Private Link pro přístup k místním úložištům dat ze spravované virtuální sítě najdete v tématu Postup přístupu k místnímu SQL Serveru ze spravované virtuální sítě služby Data Factory pomocí privátního koncového bodu.
- Pokud je v Azure Synapse povolená ochrana před exfiltrací dat, bude protokolování aplikace Spark do pracovního prostoru služby Log Analytics směrováno prostřednictvím prostředku oboru služby Azure Monitor Private Link, který je připojený k spravované virtuální síti Azure Synapse prostřednictvím spravovaného privátního koncového bodu. Jak je znázorněno v diagramu, jeden prostředek oboru privátního propojení služby Azure Monitor je hostovaný v předplatném připojení s privátním koncovým bodem ve virtuální síti centra. Ke všem pracovním prostorům služby Log Analytics a prostředkům Application Insights je možné přistupovat soukromě prostřednictvím oboru služby Azure Monitor Private Link.
Komponenty
- Azure Synapse Analytics je podniková analytická služba, která zrychluje dobu přehledu napříč datovými sklady a systémy pro velké objemy dat.
- Spravovaná virtuální síť Azure Synapse poskytuje izolaci sítě pro pracovní prostory Azure Synapse z jiných pracovních prostorů.
- Privátní koncové body spravované službou Azure Synapse jsou privátní koncové body vytvořené ve spravované virtuální síti přidružené k pracovnímu prostoru Azure Synapse. Spravované privátní koncové body vytvářejí připojení privátního propojení k prostředkům Azure mimo spravovanou virtuální síť.
- Pracovní prostor Azure Synapse s ochranou před exfiltrací dat zabraňuje exfiltraci citlivých dat do umístění mimo rozsah organizace.
- Azure Private Link Hubs jsou prostředky Azure, které fungují jako konektory mezi zabezpečenou sítí a webovým prostředím Synapse Studio.
- Prostředí Integration Runtime je výpočetní infrastruktura, kterou kanály Azure Synapse používají k poskytování možností integrace dat v různých síťových prostředích. Spusťte aktivitu Tok dat ve spravovaném prostředí Azure Compute Integration Runtime nebo aktivita Copy napříč sítěmi pomocí místního prostředí Compute Integration Runtime.
- Azure Private Link poskytuje privátní přístup ke službám hostovaným v Azure. Služba Azure Private Link je odkazem na vaši vlastní službu, která využívá službu Private Link. Službu, která běží za nástrojem pro vyrovnávání zatížení Azure Standard, můžete povolit pro přístup k Private Linku. Službu Private Link pak můžete rozšířit do spravované virtuální sítě Azure Synapse prostřednictvím spravovaného privátního koncového bodu.
- Apache Spark v Azure Synapse je jednou z několika implementací Apache Sparku v cloudu. Azure Synapse usnadňuje vytváření a konfiguraci možností Sparku v Azure.
- Data Lake Storage používá Azure Storage jako základ pro vytváření podnikových datových jezer v Azure.
- Key Vault umožňuje ukládat tajné kódy, klíče a certifikáty s rozšířeným zabezpečením.
- Cílové zóny Azure jsou výstupy prostředí Azure s více předplatnými, které zohledňuje škálování, zásady správného řízení zabezpečení, sítě a identitu. Cílová zóna umožňuje migraci, modernizaci a inovace v podnikovém měřítku v Azure.
Podrobnosti scénáře
Tento článek obsahuje přístup k přípravě předplatných cílových zón Azure pro škálovatelné a vylepšené nasazení zabezpečení Azure Synapse. Řešení dodržuje osvědčené postupy architektury přechodu na cloud pro Azure a zaměřuje se na pokyny pro návrh cílových zón na podnikové úrovni.
Mnoho velkých organizací s decentralizovanými a autonomními obchodními jednotkami chce přijmout analytická řešení a řešení pro datové vědy ve velkém měřítku. Je důležité, aby vytvořili správné základy. Azure Synapse a Data Lake Storage jsou centrálními komponentami pro implementaci analýz v cloudovém měřítku a architektury datových sítí.
Tento článek obsahuje doporučení pro nasazení Azure Synapse napříč skupinami pro správu, topologií předplatného, sítěmi, identitou a zabezpečením.
Pomocí tohoto řešení můžete dosáhnout:
- Dobře řízená analytická platforma s rozšířeným zabezpečením, která se škáluje podle vašich potřeb napříč několika cílovými zónami dat.
- Menší provozní režie pro týmy datových aplikací Můžou se zaměřit na přípravu a analýzu dat a nechat správu platformy Azure Synapse provoznímu týmu cílové zóny dat.
- Centralizované vynucování dodržování předpisů organizace napříč cílovými zónami dat
Potenciální případy použití
Tato architektura je užitečná pro organizace, které vyžadují:
- Plně integrovaná a provozní rovina řízení a roviny dat pro úlohy Azure Synapse přímo od začátku.
- Vylepšená implementace zabezpečení Azure Synapse se zaměřením na zabezpečení dat a ochranu osobních údajů.
Tato architektura může sloužit jako výchozí bod pro rozsáhlá nasazení úloh Azure Synapse napříč předplatnými cílových zón dat.
Topologie předplatného
Organizace vytvářející rozsáhlé platformy pro data a analýzy hledají způsoby, jak v průběhu času konzistentně a efektivně škálovat své úsilí.
- Díky použití předplatných jako jednotky škálování pro cílové zóny dat můžou organizace překonat omezení na úrovni předplatného, zajistit správnou izolaci a správu přístupu a zajistit flexibilní budoucí růst využití datové platformy. V cílové zóně dat můžete seskupit Azure Synapse a další datové prostředky pro konkrétní případy použití analýz v rámci skupiny prostředků.
- Za nastavení skupiny pro správu a předplatného zodpovídá vlastník cílové zóny, který správcům datových platforem poskytuje požadovaný přístup ke zřizování Azure Synapse a dalších služeb.
- Všechny zásady dodržování předpisů pro data v celé organizaci se použijí na úrovni skupiny pro správu, aby bylo možné vynutit dodržování předpisů napříč cílovými zónami dat.
Topologie sítě
Doporučení pro cílové zóny, které používají topologii sítě Virtual WAN (hvězdicová topologie), najdete v tématu Topologie sítě Virtual WAN. Tato doporučení jsou v souladu s osvědčenými postupy architektury přechodu na cloud.
Tady je několik doporučení pro síťovou topologii Azure Synapse:
Implementujte izolaci sítě pro prostředky Azure Synapse prostřednictvím spravované virtuální sítě. Implementujte ochranu exfiltrace dat omezením odchozího přístupu jenom na schválené cíle.
Konfigurace privátního připojení pro:
- Služby Azure, jako jsou Data Lake Storage, Key Vault a Azure SQL, prostřednictvím spravovaných privátních koncových bodů.
- Místní úložiště dat a aplikace přes ExpressRoute prostřednictvím místního prostředí Integration Runtime Pokud nemůžete použít místní prostředí Integration Runtime, použijte vlastní službu Private Link k připojení prostředků Sparku k místním úložištím dat.
- Synapse Studio prostřednictvím center private link nasazených v předplatném připojení.
- Pracovní prostor Služby Log Analytics prostřednictvím oboru služby Private Link služby Azure Monitor nasazený v předplatném připojení.
Správa identit a přístupu
Podniky obvykle používají pro provozní přístup nejméně privilegovaný přístup. Pro správu přístupu používají Id Microsoft Entra, řízení přístupu na základě role (RBAC) Azure a vlastní definice rolí.
- Implementujte jemně odstupňované řízení přístupu v Azure Synapse pomocí rolí Azure, rolí Azure Synapse, rolí SQL a oprávnění Gitu. Další informace o řízení přístupu k pracovnímu prostoru Azure Synapse najdete v tomto přehledu.
- Role Azure Synapse poskytují sady oprávnění, která můžete použít v různých oborech. Tato členitost umožňuje snadno udělit správcům, vývojářům, pracovníkům v oblasti zabezpečení a operátorům odpovídající přístup k výpočetním prostředkům a datům.
- Řízení přístupu můžete zjednodušit pomocí skupin zabezpečení, které jsou v souladu s rolemi úloh. Pokud chcete spravovat přístup, stačí přidat a odebrat uživatele z příslušných skupin zabezpečení.
- Zabezpečení komunikace mezi Azure Synapse a dalšími službami Azure, jako jsou Data Lake Storage a Key Vault, můžete zajistit pomocí spravovaných identit přiřazených uživatelem. Tím se eliminuje nutnost spravovat přihlašovací údaje. Spravované identity poskytují identitu, kterou můžou aplikace používat při připojování k prostředkům, které podporují ověřování Microsoft Entra.
Automatizace aplikací a DevOps
- Kontinuální integrace a doručování pracovního prostoru Azure Synapse se dosahuje prostřednictvím integrace Gitu a povýšení všech entit z jednoho prostředí (vývoj, testování, produkce) do jiného prostředí.
- Implementujte automatizaci pomocí šablon Bicep nebo Azure Resource Manageru za účelem vytvoření nebo aktualizace prostředků pracovního prostoru (fondů a pracovního prostoru). Migrujte artefakty, jako jsou skripty SQL a poznámkové bloky, definice úloh Sparku, kanály, datové sady a další artefakty, pomocí nástrojů pro nasazení pracovního prostoru Synapse v Azure DevOps nebo na GitHubu, jak je popsáno v kontinuální integraci a doručování pro pracovní prostor Azure Synapse Analytics.
Důležité informace
Tyto aspekty implementují pilíře dobře architektuře Azure, sadu hlavních principů, které můžete použít ke zlepšení kvality úlohy. Další informace naleznete v tématu Microsoft Azure Well-Architected Framework.
Spolehlivost
Spolehlivost zajišťuje, aby vaše aplikace splňovala závazky, které uděláte pro své zákazníky. Další informace najdete v tématu Přehled pilíře spolehlivosti.
- Azure Synapse, Data Lake Storage a Key Vault jsou služby spravované platformy jako služby (PaaS), které mají integrovanou vysokou dostupnost a odolnost. K zajištění vysoké dostupnosti místního prostředí Integration Runtime a virtuálních počítačů NAT v architektuře můžete použít redundantní uzly.
- Informace o smlouvě o úrovni služeb (SLA) najdete ve smlouvě SLA pro Azure Synapse Analytics.
- Doporučení pro provozní kontinuitu a zotavení po havárii pro Azure Synapse najdete v tématu Body obnovení databáze pro Azure Synapse Analytics.
Zabezpečení
Zabezpečení poskytuje záruky proti záměrným útokům a zneužití cenných dat a systémů. Další informace najdete v tématu Přehled pilíře zabezpečení.
- Tento směrný plán zabezpečení používá pokyny z srovnávacího testu zabezpečení Azure 2.0 na vyhrazené fondy SQL služby Azure Synapse.
- Informace o kontrolních prvcích zabezpečení Azure Policy pro Azure Synapse najdete v tématu Řízení dodržování právních předpisů azure Policy pro Azure Synapse Analytics.
- Důležité předdefinované zásady pro pracovní prostor Azure Synapse najdete v tématu Předdefinované definice služby Azure Policy pro Azure Synapse Analytics.
Optimalizace nákladů
Optimalizace nákladů se týká snížení zbytečných výdajů a zlepšení efektivity provozu. Další informace najdete v tématu Přehled pilíře optimalizace nákladů.
- Analytické prostředky se měří v jednotkách datového skladu (DWU), které sledují procesor, paměť a vstupně-výstupní operace. Doporučujeme začít s malými jednotkami DWU a měřit výkon operací náročných na prostředky, jako je načítání nebo transformace náročných na data. To vám může pomoct určit, kolik jednotek potřebujete k optimalizaci úloh.
- Ušetřete peníze s průběžnými platbami pomocí předem zakoupených jednotek potvrzení Azure Synapse (SCU).
- Pokud chcete prozkoumat cenové možnosti a odhadnout náklady na implementaci služby Azure Synapse, podívejte se na ceny azure Synapse Analytics.
- Tento odhad cen obsahuje náklady na nasazení služeb pomocí kroků automatizace popsaných v další části.
Nasazení tohoto scénáře
Požadavky: Musíte mít účet Azure. Pokud nemáte předplatné Azure, vytvořte si před zahájením bezplatný účet .
Veškerý kód pro tento scénář je k dispozici v úložišti Synapse Enterprise CodeBase na GitHubu.
Automatizované nasazení používá šablony Bicep k nasazení následujících komponent:
- Skupina prostředků
- Virtuální síť a podsítě
- Úrovně úložiště (bronzová, stříbrná a zlatá) s privátními koncovými body
- Pracovní prostor Azure Synapse se spravovanou virtuální sítí
- Služba a koncové body služby Private Link
- Nástroj pro vyrovnávání zatížení a virtuální počítače NAT
- Prostředek místního prostředí Integration Runtime
Skript PowerShellu pro orchestraci nasazení je k dispozici v úložišti. Můžete spustit skript PowerShellu nebo pomocí souboru pipeline.yml ho nasadit jako kanál v Azure DevOps.
Další informace o šablonách Bicep, krocích nasazení a předpokladech najdete v souboru readme .
Přispěvatelé
Tento článek spravuje Microsoft. Původně byla napsána následujícími přispěvateli.
Hlavní autoři:
- Vidya Narasimhan | Hlavní architekt cloudového řešení
- Sabyasachi Samaddar | Vedoucí architekt cloudových řešení
Další přispěvatel:
- Mick Alberts | Technický spisovatel
Pokud chcete zobrazit neveřejné profily LinkedIn, přihlaste se na LinkedIn.
Další kroky
- Informace o vytvoření ucelené datové a analytické platformy najdete v doprovodných materiálech pro analýzy na úrovni cloudu.
- Prozkoumejte datovou síť jako model architektury pro implementaci podnikových datových platforem ve velkých a složitých organizacích.
- Podívejte se na dokument white paper o zabezpečení Azure Synapse.
Další informace o službách popsaných v tomto článku najdete v těchto zdrojích informací: