Metodologie úspěšnosti implementace Synapse: Vyhodnocení návrhu integrace dat

Poznámka:

Tento článek je součástí úspěchu implementace Azure Synapse podle řady článků. Přehled série najdete v tématu Úspěšné implementace Azure Synapse podle návrhu.

Azure Synapse Analytics obsahuje stejný modul pro integraci dat a prostředí jako Azure Data Factory (ADF), který umožňuje vytvářet bohaté kanály ETL ve velkém měřítku, aniž byste opustili Azure Synapse Analytics.

Tento článek popisuje, jak vyhodnotit návrh komponent integrace dat pro váš projekt. Konkrétně vám pomůže určit, jestli jsou kanály Azure Synapse nejvhodnější pro vaše požadavky na integraci dat. Čas investovaný do vyhodnocení návrhu před vývojem řešení může pomoct eliminovat neočekávané změny návrhu, které můžou mít vliv na časovou osu projektu nebo náklady.

Přizpůsobení analýzy mezer

Měli byste provést důkladnou analýzu mezer mezi strategiemi integrace dat. Pokud jako nástroj pro integraci dat zvolíte kanály Azure Synapse, projděte si následující body a ujistěte se, že jsou nejvhodnější pro vaše požadavky na integraci dat a orchestraci. I když zvolíte různé nástroje pro integraci dat, měli byste stále zkontrolovat následující body, abyste ověřili, že byly považovány všechny klíčové body návrhu a že zvolený nástroj bude podporovat vaše potřeby řešení. Tyto informace by měly být zachyceny během vašeho hodnocení provedeného dříve v této metodologii.

• Zkontrolujte zdroje a cíle dat (cíle):
  • Ověřte, že zdrojová a cílová úložiště jsou podporovaná úložiště dat.
  • Pokud nejsou podporované, zkontrolujte, jestli můžete použít rozšiřitelné možnosti.
• Projděte si aktivační body integrace dat a frekvenci:
  • Kanály Azure Synapse podporují plány, přeskakující okno a triggery událostí úložiště.
  • Ověřte minimální interval opakování a podporované události úložiště podle vašich požadavků.
• Zkontrolujte požadované režimy integrace dat:
  • Plánované, pravidelné a aktivované dávkové zpracování je možné efektivně navrhovat v kanálech Azure Synapse.
  • Pokud chcete implementovat funkci Change Data Capture (CDC), použijte produkty třetích stran nebo vytvořte vlastní řešení.
  • Pokud chcete podporovat streamování v reálném čase, použijte Azure Event Hubs, Azure Event Hubs z Apache Kafka nebo Azure IoT Hubu.
  • Pokud chcete spouštět balíčky microsoft SQL Server Integration Services (SSIS), můžete úlohy služby SSIS přesunout do cloudu a přesunout je do cloudu.
• Kontrola návrhu výpočetních prostředků:
  • Musí být výpočetní prostředky potřebné pro kanály bez serveru nebo zřízené?
  • Kanály Azure Synapse podporují oba režimy prostředí Integration Runtime (IR): bezserverové prostředí nebo místní hostování na počítači s Windows.
  • Při použití místního prostředí IR (zřízeného) ověřte porty a brány firewall a nastavení proxy serveru.
• Zkontrolujte požadavky na zabezpečení, konfiguraci sítě a brány firewall prostředí a porovnejte je s návrhem konfigurace zabezpečení, sítí a brány firewall:
  • Zkontrolujte, jak jsou zdroje dat zabezpečené a síťové.
  • Zkontrolujte, jak jsou cílová úložiště dat zabezpečená a síťová. Kanály Azure Synapse mají různé strategie přístupu k datům, které poskytují bezpečný způsob připojení úložišť dat prostřednictvím privátních koncových bodů nebo virtuálních sítí.
  • K ukládání přihlašovacích údajů použijte Azure Key Vault , kdykoli je to možné.
  • Pro šifrování přihlašovacích údajů spravovaného zákazníkem (CMK) použijte ADF a uložte je do místního prostředí IR.
• Zkontrolujte návrh pro průběžné monitorování všech komponent integrace dat.

Aspekty architektury

Při kontrole návrhu integrace dat zvažte následující doporučení a pokyny, které zajistí, aby komponenty integrace dat vašeho řešení poskytovaly průběžnou efektivitu provozu, efektivitu výkonu, spolehlivost a zabezpečení.

Provozní dokonalost

Z hlediska efektivity provozu vyhodnoťte následující body.

• Prostředí: Při plánování prostředí je oddělte vývojem/testováním, uživatelským akceptačním testováním (UAT) a produkčním prostředím. Pomocí možností organizace ve složce uspořádejte kanály a datové sady podle úloh business/ETL, aby bylo možné zajistit lepší udržovatelnost. Pomocí poznámek označte kanály , abyste je mohli snadno monitorovat. Vytvořte opakovaně použitelné kanály pomocí parametrů a iterace a podmíněných aktivit.
• Monitorování a upozorňování: Pracovní prostory Synapse zahrnují centrum monitorování, které obsahuje bohaté informace o monitorování jednotlivých a každé spuštění kanálu. Integruje se také se službou Log Analytics pro další analýzu protokolů a upozorňování. Tyto funkce byste měli implementovat, abyste mohli poskytovat proaktivní oznámení o chybách. K implementaci přizpůsobeného zpracování chyb použijte také cesty Při selhání.
• Automatizované nasazení a testování: Kanály Azure Synapse jsou integrované do pracovního prostoru Synapse, takže můžete využít automatizaci a nasazení pracovních prostorů. Pomocí šablon ARM můžete minimalizovat ruční aktivity při vytváření pracovních prostorů Synapse. Integrujte také pracovní prostory Synapse s Azure DevOps a sestavte správu verzí kódu a automatizujte publikování.

Efektivita výkonu

Z hlediska efektivity výkonu vyhodnoťte následující body.

• Při práci s aktivitou kopírování postupujte podle pokynů k výkonu a funkcí optimalizace .
• Zvolte optimalizované konektory pro přenos dat místo obecných konektorů. Například místo hromadného vložení použijte PolyBase při přesunu dat z Azure Data Lake Storage Gen2 (ALDS Gen2) do vyhrazeného fondu SQL.
• Při vytváření nového prostředí Azure IR nastavte umístění oblasti jako automatické překlad nebo vyberte stejnou oblast jako úložiště dat.
• V případě místního prostředí IR zvolte velikost virtuálního počítače Azure na základě požadavků na integraci.
• Pro zajištění rychlé a konzistentní šířky pásma zvolte stabilní síťové připojení, jako je Azure ExpressRoute.

Spolehlivost

Když kanál spustíte pomocí Azure IR, je to bezserverová povaha, takže zajišťuje odolnost. Pro zákazníky je málo, aby je mohli spravovat. Pokud se ale kanál spustí v místním prostředí IR, doporučujeme ho spustit pomocí konfigurace vysoké dostupnosti na virtuálních počítačích Azure. Tato konfigurace zajišťuje, že kanály integrace nebudou přerušené ani v případě, že virtuální počítač přejde do offline režimu. Doporučujeme také použít Azure ExpressRoute pro rychlé a spolehlivé síťové připojení mezi místním prostředím a Azure.

Zabezpečení

Zabezpečená datová platforma je jedním z klíčových požadavků každé organizace. Měli byste důkladně naplánovat zabezpečení pro celou platformu, a ne pro jednotlivé komponenty. Tady jsou některé pokyny zabezpečení pro řešení kanálů Azure Synapse.

• Zabezpečení přesunu dat do cloudu pomocí privátních koncových bodů Azure Synapse
• Pro ověřování použijte spravované identity Microsoft Entra.
• K autorizaci použijte řízení přístupu na základě role (RBAC) Azure a Synapse RBAC .
• Ukládejte přihlašovací údaje, tajné kódy a klíče ve službě Azure Key Vault místo v kanálu. Další informace najdete v tématu Použití tajných kódů služby Azure Key Vault v aktivitách kanálu.
• Připojte se k místním prostředkům přes Azure ExpressRoute nebo VPN přes privátní koncové body.
• Povolte možnosti zabezpečeného výstupu a zabezpečeného vstupu v aktivitách kanálu, když parametry ukládají tajné kódy nebo hesla.

Další kroky

V dalším článku o úspěchu Azure Synapse podle řady návrhů se dozvíte, jak vyhodnotit návrh vyhrazeného fondu SQL, abyste identifikovali problémy a ověřili, že splňuje pokyny a požadavky.