雲端級分析資料管理登陸區域概觀
資料管理登陸區域屬於管理功能,是雲端分析的核心。 該區域負責分析平台的治理。
您的資料管理登陸區域是一個獨立的訂閱,具有相同的標準 Azure 登陸區域服務。 該區域允許透過爬蟲來對您的資料進行資料治理,爬蟲會連接至您的資料登陸區域中的資料湖和多語言儲存。 虛擬網路對等互連將您的資料管理登陸區域與您的資料登陸區域和連線訂閱相連結。
使用此架構作為起點。 下載 Visio 檔案,並在規劃您的資料管理登陸區域實施時,修改它以符合您特定的業務和技術需求。
注意
多語言持續性是一個儲存術語,描述您在不同資料儲存/資料儲存技術之間的選擇,以支援您的各種資料類型及其儲存需求。 基本上,多語言持續性的概念是應用程式可以使用一種以上的核心資料庫或儲存技術。
重要
您的資料管理登陸區域必須在具有適當治理權的管理群組下,作為獨立訂閱來部署。 然後,您可以控制整個組織的治理。 Azure 登陸區域加速器說明您應該如何處理 Azure 登陸區域。
資料目錄
資源群組:Governance-rg
資料目錄將資料資訊集中登錄和維護,並提供給組織使用。 可確保企業避免因不同專案團隊複寫擷取資料而造成的複寫資料產品。
我們建議您建立資料目錄服務,以定義儲存於各資料登陸區域的資料產品的中繼資料。
雲端級分析依賴 Microsoft Purview 來登錄企業資料來源、對資料來源進行分類、確保資料品質,並提供安全的自助式存取。
Microsoft Purview 是租用戶型的服務,可透過建立部署到資料登陸區域的管理虛擬網路,與每個資料登陸區域進行通訊。 您可以在任何可用的 Microsoft Purview 區域中的 Microsoft Purview Managed Virtual Networks 內部署 Azure Managed Virtual Network Integration Runtimes (IR)。 從那裡,受控虛擬網路 IR 可以使用私有端點安全地連接和掃描支援的資料來源。 如需更多資訊,請參閱使用含 Microsoft Purview 帳戶的受控虛擬網路。 在受控虛擬網路中建立受控虛擬網路 IR 可確保資料整合程序是隔離且安全的。
注意
雖然本文件主要著重於使用 Microsoft Purview 進行治理,但企業可能已投資其他產品,例如 Alation、Okera 或 Collibra。 這些解決方案都是以訂閱為基礎,我們建議將這些解決方案部署到資料管理登陸區域。 請注意,可能需要一些自訂整合。
如需更多資訊,請參閱適用於雲端級分析的資料目錄和 Microsoft Purview 部署最佳實務。
資料品質管理
資源群組:Governance-rg2
繼續使用目前的解決方案。
您應該盡可能靠近資料來源來管理資料品質,以避免品質問題複製到您的分析與 AI 產業。 將品質指標和驗證移至資料整合,可讓品質流程與最接近資料的團隊保持一致。 這些團隊對您的資料資產有最深入的了解。
資料譜系也能提供資料品質的信心,您應該為所有資料產品和產品提供資料譜系。
有關資料品質管理的更多資訊,請參閱資料品質。
資料模型存放庫
資源群組:Governance-rg2
您應該在資料管理登陸區域的中央位置擷取並儲存實體關係模型。 這可為資料取用者提供尋找概念圖的單一位置。
許多取用者客戶使用 ER Studio 和 iServer 在擷取之前為他們的資料產品建模。
主要資料管理
資源群組:Governance-rg2
主資料管理控制位於資料管理登陸區域。 資料網格中的主資料管理包含您應該針對資料網格提出的特定注意事項。
許多主資料管理解決方案與 Microsoft Entra ID 完全整合。 此整合可讓您保護資料安全,並為不同的使用者群組提供不同的檢視。
如需更多資訊,請參閱主資料管理系統。
API 目錄
資源群組:Governance-rg2
您的資料應用程式團隊可能會為他們的資料應用程式建立各種 API。 可能很難在您的組織中發現這些 API。 在您的資料管理登陸區域放置 API 目錄可以解決這個問題。
API 目錄可協助您將文件標準化,並為 API 的內部協作提供場所。 該目錄還可以推動整個組織的消費、發佈和治理控制。
資料共用和合約
資源群組:Governance-rg2
雲端級分析使用 Microsoft Entra 權利管理或 Microsoft Purview 原則來控制資料分享的存取。 即使如此,您可能仍需要一個共用與合約存放庫。 此存放庫屬於組織功能,應該位於您的資料管理登陸區域。
您的合約應提供有關資料驗證、模型和安全原則的資訊。
如需更多資訊,請參閱資料合約。
Azure Container Registry
資源群組:containers-rg
您的資料管理登陸區域託管 Azure Container Registry。 Azure Container Registry 可讓您的資料平台作業部署標準容器,供資料應用程式團隊使用的資料科學專案使用。
Azure Synapse Private Link 中樞
資源群組:synapse-link-rg
Azure Synapse Analytics Private Link 中樞是連線安全網路與 Azure Synapse Studio Web 體驗的 Azure 資源。 雲端級分析使用這些中樞的私人連結,將您的 Azure 虛擬網路安全地連至 Azure Synapse Studio。
使用私人連結連線到 Azure Synapse Studio 有兩個步驟。
- 建立 Private Link 中樞資源。
- 從您的 Azure 虛擬網路建立私有端點到該 Private Link 中樞。
然後,您可以使用私人端點來與 Azure Synapse Studio 安全地通訊。 將私人端點與您的 DNS 解決方案 (您的內部部署解決方案或 Azure 私人 DNS) 整合。
如需更多資訊,請參閱使用私人連結連接至 Azure Synapse studio。
自動化介面 (選擇性)
您的組織可能會決定建立許多自動化服務,以增強雲端級分析功能。 這些自動化服務為您的分析狀態推動符合性和上線解決方案。
如果您決定建立這些自動化服務,您應該有一個使用者介面,同時作為資料市場和操作主控台。 這個介面應該依賴於底層的元資料儲存,就像我們之前在中繼資料標準中討論過的一樣。
您的資料市場或作業主控台會呼叫微服務的中間層,以促進上線、中繼資料註冊、安全性佈建、資料生命週期和可檢視性。
您可以佈建 automationdb-rg 資源群組,以託管您的中繼資料儲存。
重要
這些自動化服務都不是產品,也沒有說明任何路線圖項目。 列出這些服務是為了幫助您考慮可能要自動化的項目。
服務
服務 | 服務範圍 |
---|---|
資料登陸區域佈建 | 此服務會建立新的資料登陸區域。 雖然使用率不高,但為了端對端上線解決方案的完整性,仍包含此服務。 如需更多資訊,請參閱佈建雲端級分析 |
資料產品上線 | 此服務會建立和修改與已上線租用戶相關的資源群組。 還包含升級和降級 SKU 的功能,以及啟用和停用任何已加入租用戶或服務的資源群組的功能。 此服務建立了新的資料登陸區域 DevOps。 如需更多資訊,請參閱佈建雲端級分析 |
存取佈建 | 此服務使用 SPN/UPN 建立存取套件、存取原則和資產存取核准程序 (手動或自動)。 也可以揭露 API,以提供使用者在過去 90 天內送出的訂閱要求 (資產) 清單。 如需更多資訊,請參閱資料存取管理 |
資料無關擷取 | 此微服務會建立新的資料來源,以便擷取至您的資料登陸區域。 透過與每個資料登陸區域中的 Azure Data Factory SQL 資料庫中繼存放區通訊來完成此工作。 如需更多資訊,請參閱自動化擷取架構如何在 Azure 中支援雲端級分析 |
中繼資料 | 此服務為平台揭露並建立中繼資料。 如需更多資訊,請參閱中繼資料標準 |
資料生命週期 | 這項服務負責根據中繼資料維護您的資料生命週期。 此維護可包括將資料移至冷儲存體,以及刪除不再需要保留的記錄。 如需更多資訊,請參閱資料生命週期管理 |
資料網域上線 | 僅適用於資料網格。 此服務會擷取與新網域相關的中繼資料,並視需要加入新網域。 也可以建立、更新、啟用及停用您可能建立到微服務中的任何網域或服務項目。 如需更多資訊,請參閱佈建雲端級分析 |
資料標準化
雖然這並非資料管理登陸區域的特定功能或產品,但您應該在所有服務中強調資料標準化。 資料標準化定義您的資料應該以何種格式登陸與儲存。
提示
盡可能使用 Delta Lake 格式作為跨所有服務與儲存的事實標準。
如需更多資訊,請參閱資料標準化。