通过

配置无服务器计算的专用连接

  • 项目

本文介绍如何使用 Azure Databricks 帐户控制台 UI 配置无服务器计算的专用连接。 也可以使用网络连接配置 API。

如果将 Azure 资源配置为仅接受来自专用终结点的连接，则从经典 Databricks 计算资源到 Azure 资源的任何连接也需要使用专用终结点。

若要使用子网为无服务器计算访问配置 Azure 存储防火墙，请参阅为无服务器计算访问配置防火墙。 若要管理现有的专用终结点规则，请参阅 “管理专用终结点规则”。

重要

从 2024 年 12 月 4 日起，Databricks 将开始收取连接到外部资源的无服务器工作负荷的网络成本。 计费将逐步实施，直到 2024 年 12 月 4 日之后才会向你收费。 在启用计费之前，不会对使用情况进行追溯收费。 启用计费后，可能会向你收取以下费用：

  • 通过 专用链接 与资源的专用连接。 通过专用链接与资源的专用连接，将无限期免除对资源的数据处理费用。 将收取每小时费用。
  • 通过 NAT 网关与资源的公共连接。
  • 数据传输费用（例如，当无服务器计算和目标资源位于不同的区域时）。

无服务器计算的专用连接概述

无服务器网络连接由网络连接配置 (NCC) 负责管理。 帐户管理员在帐户控制台中创建 NCC，支持将一个 NCC 附加到一个或多个工作区

当你在 NCC 中添加专用终结点时，Azure Databricks 会创建对你的 Azure 资源的专用终结点请求。 在资源端接受请求后，专用终结点会用于从无服务器计算平面访问资源。 该专用终结点专用于你的 Azure Databricks 帐户，并且仅供从授权工作区中访问。

SQL 仓库、作业、笔记本、增量实时表和模型服务终结点支持 NCC 专用终结点。

注意

只有你管理的数据源才支持 NCC 专用终结点。 若要连接到工作区存储帐户，请联系你的 Azure Databricks 帐户团队。

注意

模型服务使用 Azure Blob 存储路径下载模型项目，因此请为子资源 ID Blob 创建专用终结点。 需要 DFS 才能从无服务器笔记本记录 Unity 目录中的模型。

有关 NCC 的详细信息，请参阅什么是网络连接配置 (NCC)？。

要求

  • 你的工作区必须采用高级计划。
  • 你必须是 Azure Databricks 帐户管理员。
  • 每个 Azure Databricks 帐户每个区域最多可以有 10 个 NCC。
  • 每个区域可以有 100 个专用终结点，根据需要分布在 1-10 个 NCC 之间。
  • 每个 NCC 最多可附加至 50 个工作区。

步骤 1：创建网络连接配置

Databricks 建议在同一业务部门的工作区以及共享相同区域连接属性的工作区之间共享一个 NCC。 例如，如果某些工作区使用专用链接，而其他工作区使用防火墙启用，请对那些用例使用单独的 NCC。

  1. 作为帐户管理员，请转到帐户控制台。
  2. 在边栏中，单击云资源。
  3. 单击“ 网络连接配置”。
  4. 单击“ 添加网络连接配置”。
  5. 键入 NCC 的名称。
  6. 选择区域。 这必须与工作区区域匹配。
  7. 单击“添加”。

步骤 2：将 NCC 附加到工作区

  1. 在帐户控制台边栏中，单击“工作区”。
  2. 单击工作区名称。
  3. 单击“更新工作区”。
  4. 在 “网络连接配置” 字段中，选择 NCC。 如果该 NCC 不可见，请确认已为工作区和 NCC 选择了相同的 Azure 区域。
  5. 单击“更新” 。
  6. 等待 10 分钟，让更改生效。
  7. 重启工作区中运行的任何无服务器服务。

步骤 3：创建专用终结点规则

必须在 NCC 中为每个 Azure 资源都创建一个专用终结点规则。

  1. 获取所有目标的 Azure 资源 ID 列表。
    1. 在另一个浏览器选项卡中，使用Azure 门户导航到数据源的 Azure 服务。
    2. 在其“概述”页上，查看“概要”部分。
    3. 单击“JSON 视图”链接。 服务的资源 ID 显示在页面顶部。
    4. 将该资源 ID 复制到另一个位置。 对所有目标重复此操作。 有关查找资源 ID 的详细信息，请参阅 Azure 专用终结点专用 DNS 区域值。
  2. 切换回帐户控制台浏览器选项卡。
  3. 在边栏中，单击云资源。
  4. 单击“ 网络连接配置”。
  5. 选择步骤 1 中创建的 NCC。
  6. 在“专用终结点规则”中，单击“添加专用终结点规则”。
  7. 在“目标 Azure 资源 ID”字段中，粘贴资源的资源 ID。
  8. 在 Azure 子资源 ID 字段中，指定目标 ID 和子资源类型。 每个专用终结点规则都必须使用不同的子资源 ID。 有关支持的子资源类型的列表，请参阅Azure 专用链接可用性。
  9. 单击“添加”。
  10. 等待几分钟，直到所有终结点规则的状态都变为 PENDING。

步骤 4：批准资源上的新专用终结点

在具有资源权限的管理员批准新的专用终结点之前，终结点不会生效。 若要使用 Azure 门户批准专用终结点，请执行以下操作：

  1. 在 Azure 门户中导航到资源。

  2. 在边栏中，单击“网络”。

  3. 单击“专用终结点连接”。

  4. 单击“专用访问”选项卡。

  5. 在“专用终结点连接”下，查看专用终结点的列表。

  6. 单击每个要批准的终结点旁边的复选框，然后单击列表上方的“批准”按钮。

  7. 返回到 Azure Databricks 中的 NCC 并刷新浏览器页面，直到所有终结点规则都具有 ESTABLISHED 状态。

    专用终结点列表

（可选）步骤 5：将存储帐户设置为禁止公用网络访问

如果尚未将 Azure 存储帐户的访问权限限制为仅允许列出的网络，可以选择执行此操作。

  1. 转到 Azure 门户。
  2. 导航到数据源的存储帐户。
  3. 在边栏中，单击“网络”。
  4. 在“公用网络访问”字段中，检查该值。 默认情况下，该值为“允许从所有网络”。 将此值更改为“已禁用”

步骤 6：重启无服务器计算平面资源并测试连接

  1. 上一步完成后，需要再等待五分钟才能使更改生效。
  2. 重启 NCC 附加到的工作区中运行的任何无服务器计算平面资源。 如果没有任何正在运行的无服务器计算平面资源，请立即启动一个。
  3. 确认所有资源都已成功启动。
  4. 对数据源运行至少一个查询，以确认无服务器 SQL 仓库可以访问数据源。