中繼資料標準
中繼資料管理在資料架構中扮演重要角色。 中繼資料是其他資料的相關資料。 其描述數據,提供可協助您尋找、保護和控制數據的參考。 中繼資料也將資料結合在一起。 它可以用來驗證數據的完整性和品質、路由或將數據復寫到新的位置、轉換數據,以及了解數據的意義。 中繼資料對於透過自助服務入口網站實現資料民主化也至關重要。
業界的趨勢日益增強,使用使用更多元數據的入口網站,讓數據分析師和科學家更接近數據分析師和科學家。 這個趨勢稱為資料可檢視性。 資料可檢視性使用中繼資料湖、知識圖表或中繼資料圖表等概念來描述集中式中繼資料的平台。 這是在使用分散式數據網格時,建立組織內部數據使用和來源統一視角的好方法。
良好的中繼資料管理策略是有機成長的。 從簡單和小處著手,首先找出最重要的區域。 良好的元數據管理策略還需要有服務和明確的流程來支援。 若要開始使用,最好注意不同的元數據類別:
- 商業中繼資料描述用於治理、尋找和了解所有方面的資料。 一些著名的例子包括商務術語和定義,以及有關資料擁有權、使用和起源的資訊。
- 技術中繼資料描述資料在設計時的結構方面。 一些著名的例子包括結構描述資訊、資料格式和通訊協定資訊,以及加密和解密金鑰。
- 作業中繼資料描述資料在執行時的處理方面。 一些著名的例子包括流程資訊、執行時間、流程失敗資訊和工作識別碼。
- 社會中繼資料描述資料取用者的使用者觀點。 一些著名的例子包括使用和使用者追蹤資訊、搜尋結果資料、篩選和點擊、檢視時間、個人資料點擊率和註解。
在分散式資料架構中,中繼資料管理是一項組織挑戰,需要在集中管理的中繼資料與聯合管理的中繼資料之間找到平衡。 當您規劃元數據管理時,請務必瞭解 Azure 中雲端規模分析的團隊和功能。 使用共同作業數據管理實務可以改善小組之間的通訊、整合和數據流自動化。 您可以藉由在中央治理和網域擁有權之間取得正確的平衡,來解決一些元數據管理的複雜性。
在您決定要如何將元數據集中管理或聯邦化至您的數據域,並開始實作時,思考以下問題:
- 哪些商務中繼資料至關重要?
- 互通性需要哪些技術中繼資料?
- 哪些流程和串流會擷取資料?
- 模型或結構描述在哪裡建立和維護?
- 小組需要集中提供哪些資訊,才能讓數據控管部門正確執行其工作?
使用這些問題的答案,對應每個元數據數據流的內容生命週期,並判斷所有相依性。 如此一來,您就有一個可以連接商務網域、流程、技術和資料的中繼資料模型。
知道您需要哪些元數據之後,您必須選擇要儲存和處理它的位置。 您可以為此使用 Microsoft Purview。
使用 Microsoft Purview 來管理您的資料資產
Microsoft Purview 是統一資料治理解決方案,可協助您管理及治理內部部署、多雲端與軟體即服務 (SaaS) 資料。 其會大規模管理元數據,因為它是一項完全自動化的服務,可智慧地執行數據探索、數據掃描、數據品質及存取管理。 它也提供整體地圖,其中包含許多有關數據網格架構的深入解析。
Microsoft Purview 是一套全面的解決方案,其可協助您的組織治理、保護和管理資料 (無論資料位於何處)。 Microsoft Purview 解決方案提供整合的涵蓋範圍,並協助解決跨組織數據的分散、缺乏阻礙數據保護和治理的可見度,以及傳統IT管理角色的模糊。
Microsoft Purview 將資料治理與合規性解決方案和服務結合在一起,成為一個統一的平台,以協助您的組織:
- 深入了解整個組織的資料
- 保護及管理其生命週期中的敏感數據,無論數據位於何處
- 以全新和全面的方式流暢治理資料
- 管理重要資料風險和法規要求
實作 Microsoft Purview 時,請避免快速導入太多變更和複雜度。 技術元數據構成了 Microsoft Purview 的基礎。 您需要先收集和組織您的元數據,然後才能理解它。
取得中繼資料之後,從基本入手:
- 商務術語
- 權威資料來源的清單
- 資料庫清單
- 控管定義域
- 結構描述資訊
- 資料擁有權
- 資料監管
- 安全性
- 資料品質
然後慢慢讓更多的網域擁有者和資料管理員參與,並增加更多的分類和敏感度標籤,以擴大規模。 這些新增專案可改善搜尋體驗,並啟用更佳的數據存取管理。
Microsoft Purview 提供稱為治理網域的功能,可在您的面向域架構中為資料產品和商務概念建立統一治理、擁有權和發現界線。 如需詳細資訊,請參閱 Microsoft Purview中的
使用 Azure Cosmos DB 建立知識圖表
數據深入解析解決方案必須描述如何使用數據,以及源數據與數據產品等實體之間的關聯性,以及某個網域中的數據產品與另一個網域相依產品之間的關聯性。 您可以使用圖表資料庫或自訂使用者介面來建模這些關係。
若要使用自定義用戶體驗來建置貴組織數據的統一檢視,請考慮使用 Azure Cosmos DB。 Azure Cosmos DB 是具有 NoSQL 端點的全域分散式多模型資料庫服務。 它透過適用於Apache Gremlin的 Azure Cosmos DB 提供圖形資料庫服務,其可儲存具有數十億個頂點和邊緣的大型圖形。
Azure Cosmos DB 架構的最終成果是組織範圍的圖形資料庫,可透過端到端的上下文提供組織中所有數據的統一化檢視。 元數據湖不僅僅是關於儲存資料。 它也會透過將元數據連線至其他服務和工具,主動將元數據組織為圖形。 這個有組織的圖表可讓您交叉關聯許多主題區域,包括:
- 網域
- 資料品質
- 資料使用量
- 商務功能
- 應用程式功能
- 技術架構資訊
- 運作事件
- 組織中繼資料
- 應用程式擁有權中繼資料
- 位置資訊
- 應用程式生命週期管理資訊