數據網格的金融機構案例
此案例適用於想要使用雲端規模分析達到擴展性和 數據網格 架構的客戶。 它展現了具有登陸區域、資料整合和資料產品的複雜情境。
客戶資料
一家虛構的企業伍德格羅夫銀行是一家擁有全球足跡的大型金融服務公司。 Woodgrove Bank 的數據會存放在內部部署和雲端部署系統中。 在 Woodgrove Bank 架構中，有數個數據倉儲系統可用於合併行銷和整合報告。 此架構包含數個用於非計劃性分析和數據探索的數據湖。 Woodgrove Bank 應用程式會透過應用程式整合模式進行互連，這些模式大多是以 API 為基礎或事件為基礎。
目前的情況
由於數據倉儲的複雜性，Woodgrove Bank 很難將數據散發到不同的位置。 整合新資料相當耗時，而且容易讓人想要複製資料。 Woodgrove Bank 發現，由於點對點連線，難以監督端對端數據環境。 該銀行低估了對密集數據耗用量的需求。 新的使用案例會以一個接一個的速度快速導入。 數據控管，例如數據擁有權和品質，以及成本很難控制。 遵守法規是困難的，因為 Woodgrove Bank 不知道其數據所在的確切位置。
架構解決方案：數據網格
在過去的幾年裡，組織認識到數據是一切的核心。 提升效率、推動創新、解鎖新的商業模式，並提升客戶滿意度。 公司的首要優先事項是使用以數據驅動的方法，例如利用大規模數據。
達到所有組織成員可存取數據更深層次價值的階段，是一項挑戰。 舊版和緊密互連的系統、集中式整合型平臺，以及複雜的治理，可能是產生數據價值的重要障礙。
關於數據網格
數據網格的概念，Zhamak Dehghani 所創造的詞彙，包含數據、技術、程序和組織。 從概念上講，這是一種易於使用的方法來管理數據，各自領域可以使用他們自己的數據。 數據網格挑戰傳統集中化數據的想法。 數據網格會考慮獨立數據產品的分解，而不是將數據視為一個巨大的存放庫。 這種從集中式到同盟擁有權的轉變是由通常使用雲端原生技術設計的現代自助數據平臺所支援。
當您將數據網格概念細分為建置組塊時，以下是需要考慮的一些重點：
- 數據作為產品：每個（組織）領域都會全面管理、運作其數據。 責任在於網域中的數據擁有者。 管線會成為網域本身的一流關注點。
- 同盟計算數據控管：為了確保每個數據擁有者都可以信任其他人並共用其數據產品，必須建立企業數據控管主體。 治理機構會執行資料品質、資料擁有權的集中可見度、資料存取管理和資料隱私政策。
- Domain-Oriented 數據擁有權：企業應該藉由套用領域導向設計的原則，在網格內定義和模型化每個數據域節點。
- Self-Serve 數據平臺：數據網格需要自助數據平臺，讓用戶能夠移除技術複雜性，並將焦點放在其個別數據使用案例上。
Cloud-Scale 分析
數據即產品思維和自助平臺模型並非Microsoft新手。 Microsoft觀察到分散式平臺、跨網域管線、同盟擁有權和自我解釋數據多年來的最佳做法。
Woodgrove Bank 可以透過使用雲端規模分析來轉型至數據網格。 雲端規模分析是開放原始碼和規範的藍圖，可設計和快速部署新式數據平臺。 它與 Azure 最佳做法和設計原則結合，並與 Azure Well-Architected 架構一致。 雲端規模分析讓企業有 80% 的指定觀點，其餘 20% 可自定義。
雲端規模分析為企業提供數據網格的戰略設計路徑，並可用來快速設定這類架構。 它提供藍圖，包括用於數據管理的核心數據平台服務。
在最高層級，雲端規模分析會使用透過數據管理登陸區域啟用的數據管理功能。 此區域負責組織 （自助式） 平臺的同盟數據治理，以及透過數據產品推動商業價值的數據網域。 這種方法的優點是，它會移除技術複雜性，同時遵守相同的標準。 它確保技術沒有擴散。 它也允許企業開始模組化，使用量小，然後隨著時間成長。
如下圖所示，數據管理登陸區域會圍繞所有數據域。 它將所有領域連結在一起，並提供伍德格羅夫銀行所需的監督。
雲端規模分析還倡導在分散數據產品時，採用共同架構的一致治理方法。 架構允許網域之間的直接通訊。 它會藉由強調集中編錄和分類來保護數據，並允許群組探索數據，以維持控制狀態。 它為您的數據資產提供保護。
數據域
當您將雲端級別分析作為策略性路徑時，您需要考慮架構的分解及所產生的粒度。 數據網格超越技術界限來解構數據。 相反地，它會套用領域驅動設計（DDD）的原則，這是軟體開發的方法，涉及大型組織的複雜系統。 DDD 很受歡迎，因為它對現代軟體和應用程式開發實務的影響，例如微服務。
網域驅動設計中的一個模式被稱為界限上下文。 限定內容會設定網域解決方案空間的邏輯界限，以更妥善地管理複雜度。 團隊必須瞭解包括哪些層面和數據可以變更，以及哪些是需要與其他人員協調的共享依賴關係。 數據網格採用限定的內容。 它會使用此模式來描述組織如何協調數據網域，並專注於將數據傳遞為產品。 每個數據域都會擁有並操作多個數據產品，其技術堆疊與其他數據堆疊無關。
數據產品
當您放大這類數據網域的內部架構時，您預期會在其中尋找數據產品。
數據產品符合使用數據的企業內的特定需求。 數據產品會跨網域管理、組織及了解數據，然後呈現他們取得的見解。 數據產品從一或多個數據整合或其他數據產品的數據產生。 數據產品與數據網域緊密配合，並繼承項目關係人和設計師所同意的相同建構、正式化語言。 產生數據的每個網域都會負責讓這些數據產品可供其他網域使用。
為了協助快速提供數據產品，雲端規模分析提供數據散發和整合模式的範本。 架構提供數據批次、串流和分析，以解決各種取用者的需求。
雲端大規模分析的一大好處是如何組織各種領域和資料產品。 每個數據網域都與一個數據登陸區域一致，這是邏輯建構和雲端規模分析架構中的縮放單位。 它能夠保存數據並執行數據負載，從而產生見解和價值。 每個數據產品都會與數據登陸區域內的一個資源群組一致，而所有數據登陸區域和管理區域都會與訂用帳戶一致。 此方法可簡化實作和管理。
所有雲端規模分析範本都會從數據管理登陸區域繼承相同的原則集。 範本會自動提供必要的元數據，以取得數據可探索性、治理、安全性、成本管理和卓越營運。 您可以快速上線新的數據網域，而不需要複雜的上線、整合和測試。
下圖說明資料產品的外觀：
建置數據產品的務實策略是要與數據來源或取用範例對齊。 在這兩種情況下，您需要提供基礎（複雜）應用程式數據模型的抽象檢視。 您必須嘗試隱藏技術細節，並優化系統以應對大量數據消耗。 以邏輯方式將數據群組在一起的 Azure Synapse 檢視或 Parquet 檔案，就是數據產品如何跨各種數據域共用的範例。
接下來，您必須處理數據可探索性、來源、使用和譜系。 經過證實的方法是使用數據控管服務，例如 Microsoft Purview，來註冊所有數據。 雲端規模分析中的數據整合能完美地連接所有相關要素，因為它在執行元數據註冊的同時，允許構建這些數據產品。
藉由對齊數據域和Microsoft Purview 集合，您會自動從個別網域擷取所有數據來源、譜系、數據品質詳細數據，以及取用資訊。 透過這種方法，您可以將多個數據域和產品連線到集中式治理解決方案，以儲存每個環境的所有元數據。 其優點是它會集中整合所有元數據，並讓各種取用者輕鬆存取。 您可以擴充此架構來註冊新的數據產品。
下圖說明使用雲端規模分析的跨網域數據網格架構。
網路設計可讓數據產品跨網域共用，方法是使用最低成本並消除單一失敗點和頻寬限制。 為了協助確保安全性，您可以使用 Microsoft 零信任 安全性模型。 雲端規模分析建議透過私人端點和專用網路通訊實現網路隔離，並且使用由 MIs、UMIs 和巢狀安全組組成的身分識別驅動數據存取模型，遵循最小權限原則的
您可以使用受控識別來確保遵循最低許可權存取模型。 此模型中的應用程式和服務對資料產品有限制的存取。 Azure 原則結合即將推出的數據政策，用於啟用自助服務，並在所有數據產品中大規模執行合規資源。 透過此設計，您可以擁有統一的數據存取權，同時透過集中式數據控管和稽核完全控制。
向未來發展
雲端規模的分析是以數據網格為重設計的。 雲端規模分析提供經過證實的方法，讓組織可以在許多數據網域之間共享數據。 此架構可讓網域擁有自主性來做出選擇，並透過使用數據管理服務來控制架構。
當您實作數據網格時，以邏輯方式分組和組織您的網域。 採用這種方法需要從企業的角度來看，並且可能會成為貴組織的文化改變。 此變革要求您在數據領域和負責將其數據作為產品提供的擁有者之間協調數據所有權。 它也要求小組符合數據管理登陸區域所提供的集中式功能。 這種新方法可能需要個別小組放棄他們目前的授權，這可能會產生阻力。 您可能必須做出某些政治選擇，並在集中式和分散式方法之間取得平衡。
您可以透過將更多著陸區新增至架構來擴展針對個別網域的數據網格架構。 這些登陸區域會使用虛擬網路對等來連線到資料管理登陸區域和其他所有登陸區域。 此模式可讓您跨區域共用數據產品和服務。 當您分割成不同的區域時，您可以將工作負載分散到 Azure 訂用帳戶和資源。 此方法可讓您以有機方式實作數據網格。
瞭解更多資訊
Microsoft資源：
數據網格體系的提出者 Zhamak Dehghani 的文章：