共用方式為

Google BigQuery (Preview) 的數據品質

  • 發行項

支援的功能

掃描 Google BigQuery 來源時，Microsoft Purview 支援：

  • 擷取技術元數據，包括：
    • 項目和數據集
    • 包含數據行的數據表
    • 包含數據行的檢視
  • 擷取數據表和檢視表之間資產關聯性的靜態譜系。

設定掃描時，您可以選擇掃描整個 Google BigQuery 專案。 您也可以將掃描範圍設定為符合指定名稱或名稱模式的數據集子集。

已知限制

  • 目前，Microsoft Purview 僅支持掃描美國多區域位置的 Google BigQuery 數據集。 如果指定的數據集位於其他位置，例如us-east1或EU，您會看到掃描完成，但 Microsoft Purview 中未顯示任何資產。
  • 從數據源刪除物件時，目前不會自動移除 Purview 中的對應資產Microsoft後續掃描。

設定數據圖掃描以在 Microsoft Purview 中將 Google BigQuery 數據編目

註冊Google BigQuery專案

  • 開啟 [Microsoft][Purview]，然後選取左側導覽上的 [數據對應]。
  • 選取 [登錄]。
  • 在 [註冊來源] 上，選取 [Google BigQuery]。 選取 [繼續]。
    • 輸入要在目錄中列出數據來源的 [名稱]。
    • 輸入 ProjectID。 這應該是完整的專案標識碼。 例如，mydomain.com：myProject
    • 從清單中選取集合。
    • 選取 [登錄]。

設定Google BigQuery 項目的數據圖掃描

  • 請確定已設定自我裝載整合運行時間。 如果未設定，請使用必要條件中所述的步驟
  • 流覽至 [來源]。
  • 選取已註冊的 BigQuery 專案。
  • 選取 [+ 新增掃描]。
  • 提供下列詳細資料：
    • 名稱：掃描的名稱
    • 透過整合運行時間連線：選取設定的自我裝載整合運行時間
    • 認證：設定 BigQuery 認證時，請務必：
      • 選取 [基本身份驗證] 作為驗證方法
      • 在 [用戶名稱] 欄位中提供服務帳戶的電子郵件識別碼。 例如，xyz@developer.gserviceaccount.com
      • 請遵循下列步驟來產生私鑰。 複製整個 JSON 金鑰檔案，並將其儲存為 金鑰保存庫 密碼的值。
      • 若要從 Google 的雲端平臺建立新的私鑰：
        • 在導覽功能表中，選取 [IAM (身分識別存取管理]) ，然後選取 [管理員 --> 服務帳戶 --> 選取專案 -->
        • 選取您要建立金鑰之服務帳戶的電子郵件位址。
        • 選取 [金鑰] 索引標籤。
        • 選取 [新增金鑰] 下拉功能表，然後選取 [建立新密鑰]。
        • 選擇 [JSON 格式]。
    • 指定執行自我裝載整合運行時間之計算機中 JDBC (Java 資料庫連線) 驅動程式位置的路徑。 例如：D：\Drivers\GoogleBigQuery。
    • 指定要匯入的 BigQuery 數據集清單。 例如，dataset1;dataset2。 當清單空白時，會匯入所有可用的數據集。
    • VM (虛擬機上可用的最大記憶體 (為 GB) ，) 掃描進程使用。 這取決於要掃描的Google BigQuery專案大小。
  • 選取 [測試連線]。
  • 選取 [繼續]。
  • 選擇掃描觸發程式。 您可以設定排程或執行掃描一次。
  • 檢閱您的掃描，然後選取 [ 儲存並執行]。

掃描之後，Google BigQuery 專案中的數據資產將可在 整合式目錄 搜尋中使用。 如需如何在 Microsoft Purview 中連線和管理 Google BigQuery 的詳細 資訊，請遵循本檔。

重要事項

刪除掃描並不會刪除從先前掃描建立的類別目錄資產。

設定與Google BigQuery項目的連線以進行數據質量掃描

此時，我們已備妥掃描的資產，以進行編目和治理。 將掃描的資產與治理網域中的數據產品建立關聯，以設定數據質量掃描。

  1. 選取 [數據品質 > 控管網域 >管理] 索引標籤以建立連線。

    顯示連線頁面導覽的螢幕快照。

  2. 設定連線

    • 新增連線名稱和描述
    • 選取來源類型 Google BigQuery
    • 新增項目識別碼、數據集名稱和數據表名稱
    • 選取服務帳戶私鑰
      • 新增 Azure 訂用帳戶
      • 金鑰保存庫連線
      • 秘密名稱
      • 秘密版本

  3. 測試連線以成功設定數據源連線。

    顯示如何設定Google BigQuery線上的螢幕快照。

    顯示如何設定Google BigQuery線上的螢幕快照。

重要事項

數據質量負責人需要Google BigQuery 的唯讀 存取權，才能設定數據質量連線。 針對數據質量掃描服務，Google BigQuery 數據源尚不支援 vNet 和私人端點。

Google BigQuery 中數據的分析和數據質量掃描

成功完成連線設定之後，您可以在Google BigQuery 中分析、建立和套用規則，以及執行資料的數據質量掃描。 請遵循下列檔中所述的逐步指導方針：

參考檔