使用 Unity 目錄和 Microsoft Purview 進行資料控管
資料控管對於確保組織內的資料受到安全、高效且合規的管理至關重要。 Azure Databricks 搭配 Unity 目錄和 Microsoft Purview,可提供功能強大的解決方案,有效管理和控管資料。
資料控管工具
接下來將說明如何使用 Unity 目錄和 Microsoft Purview 實作資料控管的概觀。
Unity 目錄
Unity 目錄是 Azure Databricks 中的一項功能,提供涵蓋所有資料和 AI 資產的統一治理解決方案。 該功能提供集中式的中繼存放區,可管理組織內所有工作區的資料物件。
Microsoft Purview
Microsoft Purview 是統一資料治理服務,可協助您管理及治理內部部署、多雲端與軟體即服務 (SaaS) 資料。 其功能包括資料探索、資料分類、資料譜系以及資料存取控管等。
Unity 目錄概觀
Azure Databricks 中的 Unity 目錄是集中式的中繼存放區,可管理跨 Databricks 工作區的所有資料資產和 AI 資產的中繼資料。 此功能可在大規模支援更細緻的安全性控制和治理原則,協助您更輕鬆安全地管理跨多個小組和專案的資料。
Unity 目錄的主要特色
統一的命名空間:Unity 目錄會為所有工作區的資料集、檔案和機器學習模型提供單一命名空間,讓您更輕鬆地管理和探索資產。
精細的存取控制:該功能支援管理員使用標準 SQL GRANT 和 REVOKE 陳述式來設定資料的精確存取控制,從而遵循最低權限原則。
資料譜系:Unity 目錄會擷取並顯示資料譜系,這對於追蹤資料流,並掌握其一段時間內的轉換至關重要。
集中式中繼資料管理:集中管理所有中繼資料,確保專案和工作區之間的定義、描述和其他中繼資料保持一致。
整合 Databricks SQL:Unity 目錄已完全整合 Databricks SQL,可讓您流暢查詢和管理資料資產,無需將資料移至平台之外。
Microsoft Purview 概觀
Microsoft Purview 提供了一套資料控管工具,設計用於提供整個組織資料的可見度、控制項和深入解析。 這套工具可協助您探索、分類、保護及監控資料,無論資料位於何處。
適用於 Azure Databricks 的 Microsoft Purview 主要功能
資料探索與分類:使用內建分類器自動掃描和分類整個 Azure Databricks 環境的資料,並建立自訂分類器。
資料譜系:提供資料譜系的詳細可見度,顯示資料在不同的系統和流程之間轉換和移動的方式,包括在 Azure Databricks 內部。
資料對應:將各種資料來源的中繼資料彙總至可搜尋的目錄,讓使用者能夠理解資料環境及其關聯性。
存取和原則管理:允許建立治理原則,在 Azure Databricks 和其他整合系統中強制執行資料的存取和使用方式。
深入解析和報告:提供資料探索、敏感度分類和存取分析的詳細報告,協助確保遵循法規並最佳化資料控管策略。