在 Google BigQuery 上執行同盟查詢

發行項
12/26/2024

重要

這項功能處於公開預覽狀態。

本文說明如何 set up Lakehouse 同盟，對 Azure Databricks 未管理的 BigQuery 數據執行同盟查詢。若要深入了解 Lakehouse 同盟，請參閱什麼是 Lakehouse 同盟？。

若要使用 Lakehouse 同盟連線到 BigQuery 資料庫，您必須在 Azure Databricks Unity Catalog 中繼存放區中建立下列專案：

與 BigQuery 資料庫的連線。
在 Unity Catalog 中鏡像 BigQuery 資料庫的 外來 catalog，讓您可以使用 Unity Catalog 查詢語法和數據管理工具，來管理使用者對 Azure Databricks 資料庫的存取權。

開始之前

工作區需求：

針對 Unity Catalog啟用工作區。

計算需求：

從 Databricks Runtime 叢集或 SQL 倉儲到目標資料庫系統的網路連線。請參閱 Lakehouse 同盟的網路建議。
Azure Databricks 叢集必須使用 Databricks Runtime 13.3 LTS 或更新版本，以及共用或單一使用者存取模式。
SQL 倉儲必須是 Pro 或無伺服器。

所需的權限：

若要建立連線，您必須是中繼存放區系統管理員或具有附加至工作區之 Unity Catalog 中繼存放區 CREATE CONNECTION 許可權的使用者。
若要建立外部 catalog，您必須擁有中繼存放區的 CREATE CATALOG 權限，並且必須是連線的擁有者或擁有該連線的 CREATE FOREIGN CATALOG 權限。

後續每個基於工作的章節中會指定其他權限需求。

建立連線

連線指定存取外部資料庫系統的路徑和 credentials。若要建立連線，您可以在 Azure Databricks 筆記本或 Databricks SQL 查詢編輯器中使用 Catalog Explorer 或 CREATE CONNECTION SQL 命令。

注意

您也可使用 Databricks REST API 或 Databricks CLI 來建立連線。請參閱 POST /api/2.1/unity-catalog/connections 和 Unity Catalog 命令。

需要的權限：具有 CREATE CONNECTION 權限的中繼存放區系統管理員或使用者。

Catalog 探索者

在 Azure Databricks 工作區中，按兩下 Catalog。
在 [Catalog] 窗格頂端，按兩下 [新增] 圖示，然後 select從功能表新增連線。

或者，從 [快速存取] 頁面，按兩下 [外部數據 >] 按鈕，移至 [Connections] 索引標籤，然後按兩下 [建立連線。
輸入使用者易記的 [連線名稱]。
Select BigQuery 的 連接類型。

輸入 BigQuery 執行個體的下列連線屬性。

GoogleServiceAccountKeyJson：用來指定 BigQuery 專案並提供驗證的原始 JSON 物件。您可以 generate 此 JSON 物件，並從 Google Cloud 中的 [金鑰] 底下的服務帳戶詳細數據頁面下載。服務帳戶必須具有 BigQuery 中授與的適當權限，包括 BigQuery 使用者和 BigQuery 資料檢視器。以下是一個範例。

{
  "type": "service_account",
  "project_id": "PROJECT_ID",
  "private_key_id": "KEY_ID",
  "private_key": "PRIVATE_KEY",
  "client_email": "SERVICE_ACCOUNT_EMAIL",
  "client_id": "CLIENT_ID",
  "auth_uri": "https://accounts.google.com/o/oauth2/auth",
  "token_uri": "https://accounts.google.com/o/oauth2/token",
  "auth_provider_x509_cert_url": "https://www.googleapis.com/oauth2/v1/certs",
  "client_x509_cert_url": "https://www.googleapis.com/robot/v1/metadata/x509/SERVICE_ACCOUNT_EMAIL",
  "universe_domain": "googleapis.com"
}

(選擇性) 輸入 BigQuery 執行個體的下列連線屬性：

項目識別碼：用於針對此連線下執行之所有查詢計費的 BigQuery 專案名稱。預設為服務帳戶的專案識別碼。
(選擇性) 按下 [測試連線] 以確認網路連線。此動作不會測試驗證。
(選擇性) 新增註解。
按一下 [建立]。

SQL

在筆記本或 Databricks SQL 查詢編輯器中，執行下列命令。將 <GoogleServiceAccountKeyJson> 取代為指定 BigQuery 專案並提供驗證的原始 JSON 物件。您可以 generate 此 JSON 物件，並從 Google Cloud 中的 [金鑰] 底下的服務帳戶詳細數據頁面下載。服務帳戶需要具有 BigQuery 中授與的適當權限，包括 BigQuery 使用者和 BigQuery 資料檢視器。如需範例 JSON 物件，請檢視此頁面上 Catalog Explorer 索引標籤。

CREATE CONNECTION <connection-name> TYPE bigquery
OPTIONS (
  GoogleServiceAccountKeyJson '<GoogleServiceAccountKeyJson>'
);

建議您使用 Azure Databricks 秘密值，而不是純文本字串來處理 values 等敏感資料，例如 credentials。例如：

CREATE CONNECTION <connection-name> TYPE bigquery
OPTIONS (
  GoogleServiceAccountKeyJson secret ('<secret-scope>','<secret-key-user>')
)

如需設定祕密的相關資訊，請參閱祕密管理。

建立外部 catalog

外部 catalog 會鏡像外部數據系統中的資料庫，讓您可以使用 Azure Databricks 和 Unity Catalog查詢和管理該資料庫中數據的存取權。若要建立外來 catalog，請使用已經定義的資料來源連線。

若要建立外部 catalog，您可以在 Azure Databricks 筆記本或 Databricks SQL 查詢編輯器中使用 Catalog Explorer 或 CREATE FOREIGN CATALOG。

注意

您也可以使用 Databricks REST API 或 Databricks CLI 來建立 catalog。請參閱 POST /api/2.1/unity-catalog/catalogs 或 Unity Catalog 命令。

必要權限：中繼存放區的 CREATE CATALOG 權限，以及連線的所有權或連線的 CREATE FOREIGN CATALOG 權限。

Catalog 探險者

在 Azure Databricks 工作區中，按兩下 [Catalog 以開啟 Catalog Explorer。
在 [Catalog] 窗格頂端，單擊 [新增] 圖示，然後從功能表 select[新增 catalog]。

或者，從 [快速存取] 頁面中，按一下 [Catalogs] 按鈕，然後按一下 [建立 catalog] 按鈕。
（選擇性）輸入下列 catalog 屬性：

數據項目標識碼：BigQuery 專案的名稱，其中包含將對應至此 catalog的數據。默認為連線層級的計費專案標識碼 set。
請遵循在 Create catalogs中建立外部 catalogs 的指示。

SQL

在筆記本或 Databricks SQL 編輯器中，執行下列 SQL 命令。括弧中的項目是選擇性的。取代占位符 values。

<catalog-name>：Azure Databricks 中 catalog 的名稱。
<connection-name>：指定數據源、路徑和存取 credentials的連接物件。

CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>;

支援的下推

支援下列下推：

篩選
投影
Limit
函式：部分，僅適用於篩選條件運算式。 (字串函式、數學函式、資料、時間和時間戳函式，以及其他其他函式，例如 Alias、Cast、SortOrder)
彙總
當與 limit 搭配使用時進行排序

不支援下列下推：

聯結
視窗函式

資料類型對應

下列 table 顯示 BigQuery 與 Spark 數據類型的對應。

BigQuery 類型	Spark 類型
bignumeric、numeric	DecimalType
int64	LongType
float64	DoubleType
陣列、地理、間隔、json、字串、結構	VarcharType
bytes	BinaryType
bool	BooleanType
date	DateType
日期時間、時間、時間戳記	TimestampType/TimestampNTZType

如果 Timestamp (預設值)，當您從 BigQuery 讀取時，BigQuery TimestampType 會對應至 Spark preferTimestampNTZ = false。如果 Timestamp，BigQuery TimestampNTZType 會對應至 preferTimestampNTZ = true。

共用方式為