在 Google BigQuery 上运行联合查询

项目
02/12/2025

本文介绍如何设置 Lakehouse Federation，以便对不受 Azure Databricks 管理的 BigQuery 数据运行联合查询。若要详细了解 Lakehouse Federation，请参阅什么是 Lakehouse Federation？。

若要使用 Lakehouse Federation 连接到 BigQuery 数据库，必须在 Azure Databricks Unity Catalog 元存储中创建以下内容：

与 BigQuery 数据库的连接。
一个外部目录，它镜像 Unity Catalog 中的 BigQuery 数据库，以便你可使用 Unity Catalog 查询语法和数据治理工具来管理 Azure Databricks 用户对数据库的访问。

开始之前

工作区要求：

已为 Unity Catalog 启用工作区。

计算要求：

从 Databricks Runtime 群集或 SQL 仓库到目标数据库系统的网络连接。请参阅 Lakehouse Federation 网络建议。
Azure Databricks 群集必须使用 Databricks Runtime 16.1 或更高版本以及共享或单用户访问模式。
SQL 仓库必须是 Pro 或无服务器仓库。

所需的权限：

若要创建连接，你必须是元存储管理员或对附加到工作区的 Unity Catalog 元存储具有 CREATE CONNECTION 权限的用户。
若要创建外部目录，必须对元存储具有 CREATE CATALOG 权限，并且是连接的所有者或对连接具有 CREATE FOREIGN CATALOG 特权。

后面的每个基于任务的部分中都指定了其他权限要求。

创建连接

连接指定用于访问外部数据库系统的路径和凭据。若要创建连接，可以使用目录资源管理器，或者使用 Azure Databricks 笔记本或 Databricks SQL 查询编辑器中的 CREATE CONNECTION SQL 命令。

注意

你还可以使用 Databricks REST API 或 Databricks CLI 来创建连接。请参阅 POST /api/2.1/unity-catalog/connections 和 Unity Catalog 命令。

所需的权限：具有 CREATE CONNECTION 特权的元存储管理员或用户。

目录资源管理器

在 Azure Databricks 工作区中，单击 “目录”。
在“目录”窗格顶部，单击 “添加”图标，然后从菜单中选择“添加连接”。

也可在“快速访问”页中单击“外部数据 >”按钮，转到“连接”选项卡，然后单击“创建连接”。
在“设置连接”向导的“连接基本信息”页面上，输入用户友好的连接名称。
为“连接类型”选择“Google BigQuery”，然后单击“下一步”。

在 身份验证 页上，输入 BigQuery 实例的 Google 服务帐户密钥 json。

这是一个原始 JSON 对象，用于指定 BigQuery 项目并提供身份验证。可以在 Google Cloud 的“KEYS”下的服务帐户详细信息页中生成此 JSON 对象并下载。该服务帐户必须具有 BigQuery 中授予的适当权限，包括“BigQuery 用户”和“BigQuery 数据查看者”。下面是一个示例。

{
  "type": "service_account",
  "project_id": "PROJECT_ID",
  "private_key_id": "KEY_ID",
  "private_key": "PRIVATE_KEY",
  "client_email": "SERVICE_ACCOUNT_EMAIL",
  "client_id": "CLIENT_ID",
  "auth_uri": "https://accounts.google.com/o/oauth2/auth",
  "token_uri": "https://accounts.google.com/o/oauth2/token",
  "auth_provider_x509_cert_url": "https://www.googleapis.com/oauth2/v1/certs",
  "client_x509_cert_url": "https://www.googleapis.com/robot/v1/metadata/x509/SERVICE_ACCOUNT_EMAIL",
  "universe_domain": "googleapis.com"
}

（可选）输入 BigQuery 实例的 项目 ID：

此为 BigQuery 项目的名称，专用于为在该连接下运行的所有查询进行计费。默认为服务帐户的项目 ID。服务帐户必须在 BigQuery 中为此项目授予适当的权限，包括 BigQuery 用户。此项目中可能会创建用于存储 BigQuery 临时表的其他数据集。
（可选）添加注释。
单击“创建连接”。
在 目录基础 页上，输入外国目录的名称。外部目录镜像外部数据系统中的数据库，以便可以使用 Azure Databricks 和 Unity Catalog 查询和管理对该数据库中数据的访问。
（可选）单击“测试连接”以确认其正常工作。
单击“创建目录”。
在“Access”页上，选择工作区，使用户可以在其中访问您所创建的目录。可以选择 让所有工作区都有访问权限，或单击 分配给工作区，选择工作区，然后单击分配。
更改 所有者，使其能够管理对目录中所有对象的访问。开始在文本框中键入主体，然后在返回的结果中单击该主体。
授予对目录的特权。单击“授权”：
1. 指定有权访问目录中对象的主体。开始在文本框中键入主体，然后在返回的结果中单击该主体。
2. 选择“特权预设”以对每个主体授权。默认情况下，向所有帐户用户授予 BROWSE。
  - 在下拉菜单中选择“数据读取者”，以授予对目录中对象的 read 权限。
  - 在下拉菜单中选择“数据编辑者”，以授予对目录中对象的 read 和 modify 权限。
  - 手动选择要授予的权限。
3. 单击“授权”。
单击 “下一步” 。
在“元数据”页上，指定标记键值对。有关详细信息，请参阅将标记应用于 Unity Catalog 安全对象。
（可选）添加注释。
单击“保存”。

SQL

在笔记本或 Databricks SQL 查询编辑器中运行以下命令。将 <GoogleServiceAccountKeyJson> 替换为指定 BigQuery 项目并提供身份验证的原始 JSON 对象。可以在 Google Cloud 的“KEYS”下的服务帐户详细信息页中生成此 JSON 对象并下载。该服务帐户需要具有 BigQuery 中授予的适当权限，包括 BigQuery 用户和 BigQuery 数据查看者。有关示例 JSON 对象，请查看此页面上的 Catalog Explorer 选项卡。

CREATE CONNECTION <connection-name> TYPE bigquery
OPTIONS (
  GoogleServiceAccountKeyJson '<GoogleServiceAccountKeyJson>'
);

建议对凭据等敏感值使用 Azure Databricks 机密而不是纯文本字符串。例如：

CREATE CONNECTION <connection-name> TYPE bigquery
OPTIONS (
  GoogleServiceAccountKeyJson secret ('<secret-scope>','<secret-key-user>')
)

有关设置机密的详细信息，请参阅机密管理。

创建外部目录

注意

如果使用 UI 创建与数据源的连接，则会包含外部目录创建，可以跳过此步骤。

外部目录镜像外部数据系统中的数据库，以便可以使用 Azure Databricks 和 Unity Catalog 查询和管理对该数据库中数据的访问。若要创建外部目录，请使用与已定义的数据源的连接。

若要创建外部目录，可以使用 Catalog Explorer，或者使用 Azure Databricks 笔记本或 Databricks SQL 查询编辑器中的 CREATE FOREIGN CATALOG。你还可以使用 Databricks REST API 或 Databricks CLI 来创建目录。请参阅 POST /api/2.1/unity-catalog/catalogs 或 Unity Catalog 命令。

所需的权限：对元存储具有 CREATE CATALOG 权限，并且具有连接的所有权或对连接具有 CREATE FOREIGN CATALOG 权限。

目录资源管理器

在 Azure Databricks 工作区中，单击 “目录”以打开目录资源管理器。
在“目录”窗格顶部，单击 “添加”图标，然后从菜单中选择“添加目录”。

也可在“快速访问”页中单击“目录”按钮，然后单击“创建目录”按钮。
（可选）输入下面的目录属性：

数据项目 ID：包含将映射到此目录的数据的 BigQuery 项目的名称。默认为连接级别设置的计费项目 ID。
按照创建目录中的说明创建外部目录。

SQL

在笔记本或 Databricks SQL 编辑器中运行以下 SQL 命令。括号中的项是可选的。替换占位符值。

<catalog-name>：Azure Databricks 中目录的名称。
<connection-name>：指定数据源、路径和访问凭据的连接对象。

CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>;

支持的下推

支持以下下推：

筛选器
投影
限制
函数：部分，仅适用于筛选器表达式。（字符串函数、数学函数、数据、时间和时间戳函数以及其他杂项函数，例如 Alias、Cast、SortOrder）
聚合
排序，与限制一起使用时
联接（Databricks Runtime 16.1 或更高版本）

不支持以下下推：

Windows 函数

数据类型映射

下表显示了 BigQuery 到 Spark 数据类型的映射。

BigQuery 类型	Spark 类型
bignumeric, numeric	DecimalType
int64	LongType
float64	DoubleType
array, geography, interval, json, string, struct	VarcharType
bytes	BinaryType
bool	BooleanType
date	DateType
datetime, time, timestamp	TimestampType/TimestampNTZType

从 BigQuery 读取时，如果 Timestamp，则 BigQuery TimestampType 将映射到 Spark preferTimestampNTZ = false（默认）。如果 Timestamp，则 BigQuery TimestampNTZType 将映射到 preferTimestampNTZ = true。

通过

在 Google BigQuery 上运行联合查询

开始之前

创建连接

目录资源管理器

SQL

创建外部目录

目录资源管理器

SQL

支持的下推

数据类型映射

反馈

其他资源