为 Azure Databricks 创建链接服务

已完成

若要在 Azure Databricks 工作区中运行笔记本,Azure 数据工厂管道必须能够连接到该工作区;这需要进行身份验证。 要启用此经过身份验证的连接,必须执行两项配置任务:

  1. 为 Azure Databricks 工作区生成访问令牌。
  2. 在使用访问令牌连接到 Azure Databricks 的 Azure 数据工厂资源中创建链接服务。

生成访问令牌

访问令牌为 Azure Databricks 提供身份验证方法,替代用户名和密码形式的凭据。 你可以为应用程序生成访问令牌,并指定到期期限,在此期限后必须在客户端应用程序中重新生成并更新令牌。

要创建访问令牌,请使用 Azure Databricks 门户中“用户设置”页面“开发人员”选项卡上的“生成新令牌”选项。

A screenshot of the Access tokens tab in the User Settings page in the Azure Databricks portal.

创建链接服务

若要从 Azure 数据工厂连接到 Azure Databricks,需要为 Azure Databricks 计算创建链接服务。 你可以在 Azure 数据工厂工作室的“管理”部分的“链接服务”页面中创建链接服务。

A screenshot of the New linked service wizard in Azure Data Factory Studio.

创建 Azure Databricks 链接服务时,必须指定以下配置设置:

设置 说明
名称 链接服务的唯一名称
说明 有意义的说明
集成运行时 用于在此链接服务中运行活动的集成运行时。 有关详细信息,请参阅 Azure 数据工厂中的集成运行时
Azure 订阅 预配了 Azure Databricks 的 Azure 订阅
Databricks 工作区 Azure Databricks 工作区
群集 将运行活动代码的 Spark 群集。 可以使用 Azure Databricks 按需动态预配作业群集,也可以在工作区中指定现有群集。
身份验证类型 Azure Databricks 将如何对链接的连接进行身份验证。 例如使用访问令牌(在这种情况下,需指定为工作区生成的访问令牌)。
群集配置 群集的 Databricks 运行时版本、Python 版本、工作器节点类型和工作器节点数。