本文提供架構方法來準備 Azure 登陸區域訂用帳戶,以進行 Azure Synapse Analytics 可調整且增強的安全性部署。 Azure Synapse 是企業分析服務,結合了資料倉儲、巨量資料處理、資料整合和管理。
本文假設您已經實作有效建構和運作登陸區域所需的平台基礎。
Apache®、Spark 和火焰標誌是 Apache Software Foundation 在美國和/或其他國家/地區的註冊商標或商標。 使用這些標記不會隱含 Apache Software Foundation 的背書。
架構
下載此架構的 Visio 檔案。
資料流程
- 此架構的核心元件是 Azure Synapse,這是一種統一的服務,可提供一系列功能,從資料擷取和資料處理到服務和分析。 受控虛擬網路中的Azure Synapse 會為工作區提供網路隔離。 藉由啟用資料外流保護,您可以將輸出連線限制為僅核准的目標。
- 位於受控虛擬網路中的 Azure Synapse 資源、Azure Integration Runtime 和 Spark 集區,都可以使用受控私人端點來連線到 Azure Data Lake Storage、Azure Key Vault 和其他具有更高安全性的 Azure 資料存放區。 裝載於受控虛擬網路外部的 Azure Synapse SQL 集區可以透過企業虛擬網路中的私人端點連線到 Azure 服務。
- 系統管理員可以透過在管理群組層級跨資料登陸區域套用的 Azure 原則,強制執行 Azure Synapse 工作區、Data Lake Storage、ey Vault、Log Analytics 和其他資料存放區的私人連線。 它們也可以啟用資料外流保護,為輸出流量提供增強的安全性。
- 使用者可透過 Azure Synapse 私人連結中樞,從受限制的內部部署網路使用網頁瀏覽器存取 Synapse Studio。 私人連結中樞可用來透過具有增強安全性的私人連結載入 Synapse Studio。 單一 Azure Synapse 私人連結中樞資源會部署在具有中樞虛擬網路中私人端點的連線訂用帳戶中。 中心虛擬網路透過 Azure ExpressRoute 連接到內部部署網路。 私人連結中樞資源可用來透過 Synapse Studio 私下連線到所有 Azure Synapse 工作區。
- 資料工程師會使用在自我裝載整合執行階段中執行的 Azure Synapse 管線複製活動,在裝載於內部部署環境和雲端資料存放區的資料存放區之間內嵌資料,例如 Data Lake Storage 和 SQL 集區。 內部部署環境透過 ExpressRoute 連接到 Azure 上的中心虛擬網路。
- 資料工程師會使用 Azure Synapse 資料流活動和 Spark 集區,轉換透過受控私人端點連線到 Azure Synapse 受控虛擬網路雲端資料存放區上裝載的資料。 針對位於內部部署環境的資料,使用 Spark 集區的轉換需要透過自訂私人連結服務連線。 自訂私人連結服務會使用網路位址轉換 (NAT) VM 連線到內部部署資料存放區。 有關設定私人連結服務以從受控虛擬網路存取內部部署資料存放區的資訊,請參閱如何使用私人端點從受控於 Data Factory 的 VNet 存取內部部署 SQL Server。
- 如果在 Azure Synapse 中啟用資料外流保護,Spark 應用程式記錄至 Log Analytics 工作區會透過透過受控私人端點連線到 Azure Synapse 受控虛擬網路的 Azure 監視器私人連結範圍資源路由傳送。 如圖所示,單一 Azure 監視器私人連結範圍資源會裝載於具有中樞虛擬網路中私人端點的連線訂用帳戶中。 所有 Log Analytics 工作區和 Application Insights 資源都可以透過 Azure 監視器私人連結範圍私下連線。
元件
- Azure Synapse Analytics 是一項企業分析服務,可讓您更快速地取得資料倉儲和巨量資料系統間的深入解析。
- Azure Synapse 受控虛擬網路從其他工作區提供 Azure Synapse 工作區的網路隔離。
- Azure Synapse 受控私人端點是在與 Azure Synapse 工作區關聯的受控虛擬網路中建立的私人端點。 受控私人端點會建立與受控虛擬網路外部 Azure 資源的私人連結連線。
- 具有資料外流保護 的 Azure Synapse 工作區可防止敏感資料外流至組織範圍外的位置。
- Azure 私人連結中樞是 Azure 資源,可做為網路與 Synapse Studio Web 體驗之間的安全連接器。
- 整合執行階段是 Azure Synapse 管線用來跨不同網路環境提供資料整合功能的計算基礎結構。 使用自我裝載的計算整合執行階段,在受控 Azure 計算整合執行階段或跨網路複製活動中執行資料流活動。
- Azure 私人連結提供對 Azure 上託管的服務的私人存取。 Azure私人連結服務是對私人連結提供支援的您自己的服務的參考。 可以為在 Azure 標準 Load Balancer 後面執行的服務啟用私人連結存取。 然後,您可以透過受控私人端點,將私人連結服務延伸至 Azure Synapse 受控虛擬網路。
- Azure Synapse 中的 Apache Spark 是 Apache Spark 在雲端的多個 Microsoft 實作之一。 使用 Azure Synapse,可以輕鬆地在 Azure 上建立和設定 Spark 功能。
- Data Lake Storage 使用 Azure 儲存體做為在 Azure 上建置企業資料湖的基礎。
- Key Vault 可讓您使用增強的安全性來儲存秘密、金鑰和憑證。
- Azure 登陸區域是多訂用帳戶 Azure 環境的輸出,它考慮了規模、安全性控管、網路和身分識別。 登陸區域可在 Azure 上啟用企業規模的移轉、現代化和創新。
案例詳細資料
本文提供方法來準備 Azure 登陸區域訂用帳戶,以進行 Azure Synapse 可調整且增強的安全性部署。 此解決方案遵循 Azure 最佳做法的 雲端採用架構,並著重於企業級登陸區域的設計指導方針。
許多具有分散式自主業務單位的大型組織想要大規模採用分析和資料科學解決方案。 他們建立正確的基礎至關重要。 Azure Synapse 和 Data Lake Storage 是實作雲端規模分析和資料網格架構的中央元件。
本文提供跨管理群組、訂用帳戶拓撲、網路、身分識別之安全性部署 Azure Synapse 的建議。
使用此解決方案,您可以實現:
- 妥善控管的增強式安全性分析平台,可根據您跨多個資料登陸區域的需求進行調整。
- 減少資料應用程式小組的作業額外負荷。 他們可以專注於資料工程和分析,並將 Azure Synapse 平台管理留給資料登陸區域作業小組。
- 集中強制執行跨資料登陸區域的組織合規性。
潛在使用案例
此架構對於需要以下功能的組織很實用:
- 從一開始就為 Azure Synapse 工作負載提供完全整合的操作控制和資料平面。
- Azure Synapse 的增強安全性實作,著重於資料安全性和隱私權。
此架構可做為跨資料登陸區域訂用帳戶大規模部署 Azure Synapse 工作負載的起點。
訂用帳戶拓撲
建置大規模資料和分析平台的組織會尋找一致且有效率地隨著時間調整其工作的方式。
- 藉由使用訂用帳戶做為資料登陸區域的縮放單位,組織可以克服訂用帳戶層級的限制,確保適當的隔離和存取管理,並取得資料平台使用量的彈性未來成長。 在資料登陸區域內,您可以針對資源群組內的特定分析使用案例,將 Azure Synapse 和其他資料資產分組。
- 管理群組和訂用帳戶設定是登陸區域平台擁有者的責任,他們提供資料平台系統管理員佈建 Azure Synapse 和其他服務所需的存取權。
- 所有全組織的資料合規性原則都會在管理群組層級套用,以在整個資料登陸區域強制執行合規性。
網路拓樸
如需使用虛擬 WAN 網路拓撲 (中樞和輪輻) 登陸區域的建議,請參閱虛擬 WAN 網路拓撲。 這些建議與雲端採用架構最佳做法一致。
以下是 Azure Synapse 網路拓撲的一些建議:
透過受控虛擬網路實作 Azure Synapse 資源的網路隔離。 將輸出存取限制為僅限已核准的目標,以實作資料外流保護。
設定私人連線至:
- 透過受控私人端點,例如 Data Lake Storage、Key Vault 和 Azure SQL 等 Azure 服務。
- 透過自我裝載整合執行階段進行的 ExpressRoute 的內部部署資料存放區和應用程式。 如果您無法使用自我裝載整合執行階段,請使用自訂私人連結服務將 Spark 資源連線到內部部署資料存放區。
- Synapse Studio,透過部署在連線訂用帳戶中的私人連結中樞。
- Log Analytics 工作區,透過部署在連線訂用帳戶中的 Azure 監視器私人連結範圍。
身分識別與存取權管理
企業通常會使用最低許可權的方法進行作業存取。 他們會使用Microsoft Entra ID、Azure 角色型存取控制 (RBAC) 和自訂角色定義來進行存取管理。
- 使用 Azure 角色、Azure Synapse 角色、SQL 角色和 Git 許可權,在 Azure Synapse 中實作更細緻的存取控制。 有關 Azure Synapse 工作區存取控制的詳細資訊,請參閱此概述。
- Azure Synapse 角色提供了可在不同範圍套用的權限集。 這種細微程度可讓您輕鬆地將適當的存取權授與管理員、開發人員、安全性人員和操作員,以計算資源和資料。
- 您可以透過使用與作業角色一致的安全群組來簡化存取控制。 若要管理存取許可權,您只需在適當的安全群組中新增和移除使用者。
- 您可以使用使用者指派的受控識別,為 Azure Synapse 和其他 Azure 服務之間的通訊提供安全性,例如 Data Lake Storage 和 Key Vault。 如此一來,就不需要管理認證。 受控身分識別可提供應用程式在連接到支援 Microsoft Entra 驗證的資源時可以使用的身分識別。
應用程式自動化和 DevOps
- Azure Synapse 工作區的持續整合和傳遞是透過 Git 整合,並將所有實體從一個環境 (開發、測試、生產) 提升至另一個環境來達成。
- 使用 Bicep/Azure Resource Manager 範本實作自動化,以建立或更新工作區資源 (集區和工作區)。 使用 Azure DevOps 或 GitHub 上的 Synapse 工作區部署工具移轉 SQL 指令碼和筆記本、Spark 作業定義、管線、資料集和其他成品等成品,如 Azure Synapse Analytics 工作區的持續整合和傳遞中所述。
考量
這些考量能實作 Azure Well-Architected Framework 的支柱,其為一組指導原則,可以用來改善工作負載的品質。 如需更多資訊,請參閱 Microsoft Azure 結構完善的架構。
可靠性
可靠性可確保您的應用程式符合您對客戶的承諾。 如需更多資訊,請參閱可靠性支柱的概觀。
- Azure Synapse、Data Lake Storage 和 Key Vault 是受控平台即服務 (PaaS) 服務,內建高可用性和復原能力。 您可以使用備援節點,讓架構中的自我裝載整合執行階段和 NAT VM 具有高可用性。
- 如需服務等級協定 (SLA) 資訊,請參閱 Azure Synapse Analytics 的 SLA。
- 如需 Azure Synapse 的商務持續性和災害復原建議,請參閱 Azure Synapse Analytics 的資料庫還原點。
安全性
安全性可提供保證,以避免刻意攻擊和濫用您寶貴的資料和系統。 如需詳細資訊,請參閱安全性支柱的概觀。
- 此安全性基準會將 Azure 安全性基準 2.0 的指引套用至 Azure Synapse 專用 SQL 集區。
- 如需 Azure Synapse Azure 原則安全性控制的相關資訊,請參閱 Azure Synapse Analytics 的 Azure 原則法規合規性控制。
- 如需 Azure Synapse 工作區的重要內建原則,請參閱 Azure Synapse Analytics 的內建定義 Azure 原則。
成本最佳化
成本最佳化是關於減少不必要的費用,並提升營運效率。 如需詳細資訊,請參閱成本最佳化支柱的概觀。
- 分析資源會以追蹤 CPU、儲存體和 IO 的資料倉儲單位 (DWU) 來測量。 建議您從小型 DWU 開始,並測量資源密集型作業的效能,例如繁重的資料載入或轉換。 這麼做可協助您判斷最佳化工作負載所需的單位數量。
- 使用預先購買的 Azure Synapse 認可單位 (SCUS) 節省隨用隨付價格的費用。
- 若要探索定價選項並預估實作 Azure Synapse 的費用,請參閱 Azure Synapse Analytics 定價。
- 此定價預估包含使用下一節所述的自動化步驟來部署服務的費用。
部署此案例
先決條件:您必須擁有 Azure 帳戶。 如果您沒有 Azure 訂用帳戶,請在開始之前先建立免費帳戶。
此案例的所有程式碼都可在 GitHub 上的 Synapse Enterprise Codebase 存放庫中取得。
自動化部署會使用 Bicep 範本來部署下列元件:
- 資源群組
- 虛擬網路和子網路
- 具有私人端點的儲存層 (銅級、銀級和金級)
- 具有受控虛擬網路的 Azure Synapse 工作區
- 私人連結服務和端點
- Load Balancer 和 NAT VM
- 自我裝載整合執行階段資源
用於協調部署的 PowerShell 指令碼可在存放庫中取得。 您可以執行 PowerShell 指令碼,或使用 pipeline.yml 檔案將它部署為 Azure DevOps 中的管線。
如需 Bicep 範本、部署步驟和假設的詳細資訊,請參閱讀我檔案。
參與者
本文由 Microsoft 維護。 原始投稿人如下。
主要作者:
- Vidya Narasimhan | 首席雲解決方案架構師
- Sabyasachi Samaddar | 資深雲端解決方案架構師
其他投稿人:
- Mick Alberts | 技術寫入員
若要查看非公開的 LinkedIn 設定檔,請登入 LinkedIn。
下一步
- 如需建立端對端資料和分析平台的資訊,請參閱雲端規模分析指引。
- 探索資料網格做為架構模式,以在大型複雜組織中實作企業資料平台。
- 請參閱 Azure Synapse 安全性白皮書。
如需本文所述服務的詳細資訊,請參閱下列資源: