在 Teradata 上运行联合查询

项目
02/10/2025

重要说明

此功能目前以公共预览版提供。

本文介绍如何设置 Lakehouse 联邦，以执行针对非 Azure Databricks 管理的 Teradata 数据的联邦查询。若要详细了解 Lakehouse Federation，请参阅什么是 Lakehouse Federation？。

若要使用 Lakehouse Federation 连接到 Teradata 数据库，必须在 Azure Databricks Unity Catalog 元存储中创建以下内容：

与 Teradata 数据库的连接。
一个外部目录，用于镜像 Unity Catalog 中的 Teradata 数据库，以便可以使用 Unity Catalog 查询语法和数据治理工具来管理对该数据库的 Azure Databricks 用户访问权限。

开始之前

开始之前，请确保符合此部分的要求。

Databricks 要求

工作区要求：

为 Unity Catalog 启用的工作区。

计算要求：

从计算资源到目标数据库系统的网络连接。请参阅 Lakehouse Federation 的网络建议。
Azure Databricks 计算必须使用 Databricks Runtime 16.1（或更高版本）以及“共享”或“单用户”访问模式。
SQL 仓库必须是 Pro 或无服务器仓库，且必须使用 2024.50 或更高版本。

所需的权限：

若要创建连接，你必须是元存储管理员，或者是对附加到工作区的 Unity Catalog 元存储具有 CREATE CONNECTION 权限的用户。
若要创建外部目录，你必须对元存储具有 CREATE CATALOG 权限，并且必须是连接的所有者或对连接具有 CREATE FOREIGN CATALOG 权限。

接下来的每个基于任务的部分中都指定了其他权限要求。

Teradata 要求

在主机服务器上启用 TLS。默认情况下，SSLMODE 为 REQUIRE。有关详细信息，请参阅 Teradata 文档中如何使用 TLS 保护连接。

创建 Azure Databricks 连接

连接会指定用于访问外部数据库系统的路径和凭据。若要创建连接，可以使用目录资源管理器，或者使用 Azure Databricks 笔记本或 Databricks SQL 查询编辑器中的 CREATE CONNECTION SQL 命令。

注释

还可以使用 Databricks REST API 或 Databricks CLI 来创建连接。请参阅 POST /api/2.1/unity-catalog/connections 和 Unity Catalog 命令。

所需的权限：元存储管理员或者拥有 CREATE CONNECTION 权限的用户。

目录资源管理器

在 Azure Databricks 工作区中，单击 “目录”。
在“目录”窗格顶部，单击 “添加”图标，然后从菜单中选择“添加连接”。

也可以在“快速访问”页中单击“外部数据”>按钮，转到“连接”选项卡，然后单击“创建连接”。
在“设置连接”向导的“连接基本信息”页上，输入用户友好的连接名称。
选择“Teradata”的“连接类型”。
（可选）添加注释。
单击 “下一步” 。
在 身份验证 页上，输入 Teradata 实例的以下连接属性：
- 主机：例如 teradata-demo.teradata.com
- 端口：例如 1025
- 用户：例如 teradata_user
- 密码：例如 password123
单击“创建连接”。
在 目录基本信息 页面上，输入外部目录的名称。一个外部目录会镜像外部数据系统中的数据库，以便使用 Azure Databricks 和 Unity Catalog 查询和管理对该数据库中数据的访问。
（可选）单击“测试连接”确认其正常工作。
单击 创建目录。
在“Access”页上，选择允许用户访问你创建的目录的工作区。可以选择“所有工作区都有访问权限”，或单击“分配到工作区”，选择工作区，然后单击“分配”。
更改将能够管理对目录中所有对象的访问的“所有者”。开始在文本框中键入主体，然后单击返回的结果中的主体。
授予对目录的“权限”。单击“授予”：
1. 指定主体谁有权访问目录中的对象。开始在文本框中键入主体，然后单击返回的结果中的主体。
2. 选择要授予每个主体的“权限预设”。默认情况下，向所有帐户用户授予 BROWSE。
  - 从下拉菜单中选择 数据读取器，以授予对目录中对象的 read 特权。
  - 从下拉菜单中选择 数据编辑器，以授予对目录中对象的 read 和 modify 权限。
  - 手动选择要授予的权限。
3. 单击“授予”。
单击 “下一步” 。
在“元数据”页上，指定标签键值对。有关详细信息，请参阅将标记应用于 Unity 目录安全对象。
（可选）添加注释。
单击“保存”。

SQL

在笔记本或 Databricks SQL 查询编辑器中运行以下命令：

CREATE CONNECTION <connection-name> TYPE teradata
OPTIONS (
  host '<hostname>',
  port '<port>',
  user '<user>',
  password '<password>'
);

Databricks 建议对凭据等敏感值使用 Azure Databricks 机密，而不是纯文本字符串。例如：

CREATE CONNECTION <connection-name> TYPE teradata
OPTIONS (
  host '<hostname>',
  port '<port>',
  user secret ('<secret-scope>','<secret-key-user>'),
  password secret ('<secret-scope>','<secret-key-password>')
)

如果必须在笔记本 SQL 命令中使用纯文本字符串，请避免通过使用 \ 将特殊字符（如 $）进行转义来截断字符串。例如：\$。

若要了解如何设置机密，请参阅机密管理。

创建外部目录

注释

如果使用 UI 创建与数据源的连接，则包含外部目录创建，你可以跳过此步骤。

外部目录镜像外部数据系统中的数据库，以便你可以使用 Azure Databricks 和 Unity Catalog 查询和管理对该数据库中数据的访问。若要创建外部目录，请使用与已定义的数据源的连接。

要创建外部目录，可以使用目录资源管理器，或者在 Azure Databricks 笔记本或 SQL 查询编辑器中使用 CREATE FOREIGN CATALOG SQL 命令。

还可以使用 Databricks REST API 或 Databricks CLI 来创建目录。请参阅 POST /api/2.1/unity-catalog/catalogs 和 Unity Catalog 命令。

所需权限：对元存储具有 CREATE CATALOG 权限，并且具有连接的所有权或对连接具有 CREATE FOREIGN CATALOG 权限。

目录资源管理器

在 Azure Databricks 工作区中，单击 “目录”打开目录资源管理器。
在“目录”窗格顶部，单击 “添加”图标，然后从菜单中选择“添加目录”。

也可在“快速访问”页中单击“目录”按钮，然后单击“创建目录”按钮。
按照创建目录中的说明创建外部目录。

SQL

在笔记本或 SQL 查询编辑器中运行以下 SQL 命令。括号中的项是可选的。替换占位符值：

<catalog-name>：Azure Databricks 中目录的名称。
<connection-name>：指定数据源、路径和访问凭据的连接对象。
<database-name>：要在 Azure Databricks 中作为目录镜像的数据库的名称。

CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS (database '<database-name>');

支持的下推

支持以下下推：

筛选器
投影
限制
聚合
强制转换
Contains、Startswith、Endswith、Like

数据类型映射

从 Teradata 读取到 Spark 时，数据类型的映射如下：

Teradata 类型	Spark 类型
字节、Blob	BinaryType
Byteint、Smallint、Integer	IntegerType
BigInt	LongType
浮点数、双精度浮点数、双精度	DoubleType
Number（n， m）	DecimalType
数字（，m）、数字（）、数字	不支持
Varchar（N）	StringType
时间、时间戳	TimestampType

通过

在 Teradata 上运行联合查询

开始之前

Databricks 要求

Teradata 要求

创建 Azure Databricks 连接

目录资源管理器

SQL

创建外部目录

目录资源管理器

SQL

支持的下推

数据类型映射

反馈

其他资源