为 Fabric 笔记本配置高并发模式

在 Microsoft Fabric 中运行笔记本时,将启动 Apache Spark 会话,它会用于运行作为笔记本单元执行的一部分提交的查询。 启用高并发模式后,无需在每次运行笔记本时启动新的 Spark 会话。

如果已经运行了一个高并发会话,则可以将笔记本附加到该高并发会话,从而让 Spark 会话立即运行查询并实现更高的会话利用率。

显示笔记本高并发会话的动画。

注意

基于高并发模式的会话共享始终位于单用户边界内。 笔记本需要具有匹配的 Spark 配置,应属于同一工作区,具有相同的默认湖屋和库,才能共享单个 Spark 会话。

会话共享条件

若要让笔记本共享单个 Spark 会话,笔记本必须符合以下条件:

  • 由同一用户运行。
  • 具有相同的默认 Lakehouse。 没有默认 Lakehouse 的笔记本可以与同样没有默认 Lakehouse 的其他笔记本共享会话。
  • 具有相同的 Spark 计算配置。
  • 具有相同的库包。 可以将不同的内联库安装作为笔记本单元格的一部分,并且仍与具有不同库依赖项的笔记本共享会话。

配置高并发模式

默认情况下,所有 Fabric 工作区都启用高并发模式。 使用以下步骤配置高并发功能:

  1. 单击 Fabric 工作区中的“工作区设置”选项

    显示导航到工作区设置的屏幕截图。

  2. 导航到“数据工程/科学”部分 >“Spark 设置”>“高并发”

  3. 在“高并发”部分,为笔记本启用此项。 可以选择“启用”或“禁用”此窗格中的设置

    显示工作区设置中的高并发部分的屏幕截图。

  4. 启用高并发选项后,允许用户在其笔记本中启动高并发会话或附加到现有的高并发会话。

  5. 禁用高并发模式后,会隐藏配置非活动时段的部分,还会隐藏笔记本菜单中启动新的高并发会话的选项。

    显示在工作区设置中禁用高并发选项的屏幕截图。

在高并发会话中运行笔记本

  1. 打开 Fabric 工作区

  2. 创建笔记本或打开现有笔记本

  3. 导航到菜单功能区中的“运行”选项卡,然后选择会话类型下拉列表,它已选中“标准”作为默认选项。

    显示笔记本菜单中显示高并发选项的屏幕截图。

  4. 选择“新建高并发会话”。

  5. 启动高并发会话后,可以在高并发会话中添加最多 5 个笔记本。

    显示在笔记本菜单中启动新的高并发会话选项的屏幕截图。

  6. 创建新的笔记本,然后导航到上述步骤中提到的“运行”菜单,在下拉列表中,你现在将看到新创建的高并发会话列出

  7. 选择现有的高并发会话后,会将第二个笔记本附加到该会话。

    显示在笔记本菜单中附加到现有高并发会话选项的屏幕截图。

  8. 附加完笔记本后,可以立即开始执行笔记本步骤。

  9. 高并发会话状态还会显示在任何时间点附加到给定会话的笔记本数。

  10. 在任何时候,如果你觉得附加到高并发会话的笔记本需要更多专用计算,可以选择将笔记本切换到标准会话,方法是从“运行”菜单选项卡的“高并发性”中选择拆离笔记本的选项。

    显示在笔记本菜单中从高并发会话拆离的选项的屏幕截图。

  11. 可以通过导航到状态栏来查看会话状态、类型和会话 ID,选择“会话 ID”后可浏览在此高并发会话中执行的作业,并在监视详细信息页中查看 Spark 会话的日志。

    显示在笔记本菜单中高并发会话的会话详细信息的屏幕截图。

监视和调试在高并发会话中运行的笔记本

在共享会话中运行多个笔记本时,监视和调试通常是不简单的任务。 对于 Fabric 中的高并发模式,它提供了日志分离功能,允许用户跟踪不同笔记本中的 Spark 事件发出的日志。

  1. 当会话正在进行或处于完成状态时,可以通过导航到“运行”菜单并选择“所有运行”选项来查看会话状态

  2. 这会打开笔记本的运行历史记录,其中显示了当前活动的 Spark 会话和历史会话的列表

    显示高并发会话中笔记本的所有运行页面的屏幕截图。

  3. 用户通过选择会话可以访问监视详细信息视图,该视图显示已在会话中运行的所有 Spark 作业的列表。

  4. 对于高并发会话,用户可以使用“相关笔记本”选项卡从不同笔记本中标识作业及其关联的日志,它还会显示运行该作业的笔记本。

    显示监视详细视图中与高并发会话相关的所有笔记本的屏幕截图。

在本文档中,你基本了解了笔记本中通过高并发模式实现的会话共享。 前往下一篇文章,了解如何使用 Lakehouse 和 Notebooks 创建并开始使用你自己的数据工程体验: