为 Azure Databricks 创建链接服务
若要在 Azure Databricks 工作区中运行笔记本,Azure 数据工厂管道必须能够连接到该工作区;这需要进行身份验证。 要启用此经过身份验证的连接,必须执行两项配置任务:
- 为 Azure Databricks 工作区生成访问令牌。
- 在使用访问令牌连接到 Azure Databricks 的 Azure 数据工厂资源中创建链接服务。
生成访问令牌
访问令牌为 Azure Databricks 提供身份验证方法,替代用户名和密码形式的凭据。 你可以为应用程序生成访问令牌,并指定到期期限,在此期限后必须在客户端应用程序中重新生成并更新令牌。
要创建访问令牌,请使用 Azure Databricks 门户中“用户设置”页面“开发人员”选项卡上的“生成新令牌”选项。
创建链接服务
若要从 Azure 数据工厂连接到 Azure Databricks,需要为 Azure Databricks 计算创建链接服务。 你可以在 Azure 数据工厂工作室的“管理”部分的“链接服务”页面中创建链接服务。
创建 Azure Databricks 链接服务时,必须指定以下配置设置:
设置 | 说明 |
---|---|
名称 | 链接服务的唯一名称 |
说明 | 有意义的说明 |
集成运行时 | 用于在此链接服务中运行活动的集成运行时。 有关详细信息,请参阅 Azure 数据工厂中的集成运行时。 |
Azure 订阅 | 预配了 Azure Databricks 的 Azure 订阅 |
Databricks 工作区 | Azure Databricks 工作区 |
群集 | 将运行活动代码的 Spark 群集。 可以使用 Azure Databricks 按需动态预配作业群集,也可以在工作区中指定现有群集。 |
身份验证类型 | Azure Databricks 将如何对链接的连接进行身份验证。 例如使用访问令牌(在这种情况下,需指定为工作区生成的访问令牌)。 |
群集配置 | 群集的 Databricks 运行时版本、Python 版本、工作器节点类型和工作器节点数。 |