(預覽) 管理重要數據元素的數據品質
CDE) (重要數據元素是數據源中數據表中重要數據行的邏輯群組,可讓您策略性地專注於治理工作,以發揮最大效果。
Microsoft Purview 資料品質 提供整合式解決方案來測量重要數據元素 (CDE) 的品質,讓組織確保這些重要數據元素符合精確度、完整性、一致性和完整性的必要標準。
組織可以建立 CDE 必須符合才能維持其品質的特定品質閾值。 這些臨界值會套用在邏輯 CDE 層級,但會向下套用至組成 CDE 的所有個別數據行。 這些規則可以包含數據品質的各個層面,包括驗證、清理、標準化和擴充。 例如:數據質量規則可能會指定客戶位址必須標準化為特定格式,或員工標識碼必須遵守特定模式。
將數據品質規則套用至 CDE 之後,Microsoft Purview 資料品質 系統地評估基礎實體數據元素,以評估其是否符合這些規則。 藉由使用 Purview Data Quality 的整合方法,組織可以主動監視和管理其重要數據元素的品質,確保它們保持可靠、準確且符合目的。 這不但可增強決策制定程式,也有助於降低與數據錯誤或不一致相關的風險,最終推動更好的業務成果。
支援的資產類型
- Azure Data Lake Storage (ADLS Gen2)
- 檔類型:Delta 和 Parquet
- Azure SQL Database
- OneLake 中的網狀架構數據資產包括快捷方式和鏡像數據資產。 只有 Lakehouse 差異資料表和 Parquet 檔案才支援資料質量掃描。
- 鏡像數據資產:CosmosDB、Snowflake、Azure SQL
- 快捷方式數據資產:AWS S3、GCS、AdlsG2 和 dataverse
- Azure Synapse 無伺服器和數據倉儲
- Azure Databricks Unity 目錄
- Snowflake
- Google Big Query (私人預覽)
CDE 的可用資料質量規則
Microsoft Purview 資料品質 啟用下列 CDE 規則的設定。 選取規則會帶您前往一般 數據質量規則一文 ,以取得詳細資訊。
規則 | 定義 |
---|---|
唯一的值 | 確認數據行中的值是唯一的。 |
數據類型相符 | 確認數據列中的值符合其數據類型需求。 |
空白/空白欄位 | 在應該有值的數據行中尋找空白和空白欄位。 |
設定 CDE 的數據品質
透過下列方式開啟您的 CDE:
- 開啟 [Microsoft Purview 整合式目錄],然後選取 [數據管理] 下拉式清單和 [治理網域] 子功能表。
- 從清單中選取 治理網域 。
- 選取 [ 重要數據元素] 圖格。
- 從清單中選取重要數據元素。
選取重要資料元素中的 [ 資料品質 ] 索引標籤。
選取 [新增規則],將新 規則新增至關鍵數據元素。
選取您想要使用 的數據質量規則類型 ,然後選取 [ 下一步]。
提供規則類型所需的詳細數據。
選擇您要將規則切換為 [關閉 ] 或 [ 開啟]。
選取 [建立]。
執行 CDE 的數據質量規則
針對具有與 CDE 相關聯之資料行的可用資料資產執行資料質量掃描時,您為該 CDE 設定的數據質量規則將會產生分數。
在執行時監視資料質量掃描作業的進度,確保它完成時不會發生錯誤或中斷。 檢查已套用的數據質量規則是否已從歷程記錄快照集成功執行。
檢閱掃描作業的結果 ,以根據套用的規則來評估 CDE 數據資產的品質。
分析數據質量掃描工作的結果,以找出與 CDE 數據資產相關的任何問題、異常或改進區域。 這可能牽涉到清理、標準化或擴充數據,以改善其品質。