为 Fabric 笔记本配置高并发模式
在 Microsoft Fabric 中运行笔记本时,将启动 Apache Spark 会话,它会用于运行作为笔记本单元执行的一部分提交的查询。 启用高并发模式后,无需在每次运行笔记本时启动新的 Spark 会话。
如果已经运行了一个高并发会话,则可以将笔记本附加到该高并发会话,从而让 Spark 会话立即运行查询并实现更高的会话利用率。
注意
基于高并发模式的会话共享始终位于单用户边界内。 笔记本需要具有匹配的 Spark 配置,应属于同一工作区,具有相同的默认湖屋和库,才能共享单个 Spark 会话。
会话共享条件
若要让笔记本共享单个 Spark 会话,笔记本必须符合以下条件:
- 由同一用户运行。
- 具有相同的默认 Lakehouse。 没有默认 Lakehouse 的笔记本可以与同样没有默认 Lakehouse 的其他笔记本共享会话。
- 具有相同的 Spark 计算配置。
- 具有相同的库包。 可以将不同的内联库安装作为笔记本单元格的一部分,并且仍与具有不同库依赖项的笔记本共享会话。
配置高并发模式
默认情况下,所有 Fabric 工作区都启用高并发模式。 使用以下步骤配置高并发功能:
单击 Fabric 工作区中的“工作区设置”选项
导航到“数据工程/科学”部分 >“Spark 设置”>“高并发”
在“高并发”部分,为笔记本启用此项。 可以选择“启用”或“禁用”此窗格中的设置。
启用高并发选项后,允许用户在其笔记本中启动高并发会话或附加到现有的高并发会话。
禁用高并发模式后,会隐藏配置非活动时段的部分,还会隐藏笔记本菜单中启动新的高并发会话的选项。
在高并发会话中运行笔记本
打开 Fabric 工作区
创建笔记本或打开现有笔记本
导航到菜单功能区中的“运行”选项卡,然后选择会话类型下拉列表,它已选中“标准”作为默认选项。
选择“新建高并发会话”。
启动高并发会话后,可以在高并发会话中添加最多 5 个笔记本。
创建新的笔记本,然后导航到上述步骤中提到的“运行”菜单,在下拉列表中,你现在将看到新创建的高并发会话列出。
选择现有的高并发会话后,会将第二个笔记本附加到该会话。
附加完笔记本后,可以立即开始执行笔记本步骤。
高并发会话状态还会显示在任何时间点附加到给定会话的笔记本数。
在任何时候,如果你觉得附加到高并发会话的笔记本需要更多专用计算,可以选择将笔记本切换到标准会话,方法是从“运行”菜单选项卡的“高并发性”中选择拆离笔记本的选项。
可以通过导航到状态栏来查看会话状态、类型和会话 ID,选择“会话 ID”后可浏览在此高并发会话中执行的作业,并在监视详细信息页中查看 Spark 会话的日志。
监视和调试在高并发会话中运行的笔记本
在共享会话中运行多个笔记本时,监视和调试通常是不简单的任务。 对于 Fabric 中的高并发模式,它提供了日志分离功能,允许用户跟踪不同笔记本中的 Spark 事件发出的日志。
当会话正在进行或处于完成状态时,可以通过导航到“运行”菜单并选择“所有运行”选项来查看会话状态
这会打开笔记本的运行历史记录,其中显示了当前活动的 Spark 会话和历史会话的列表
用户通过选择会话可以访问监视详细信息视图,该视图显示已在会话中运行的所有 Spark 作业的列表。
对于高并发会话,用户可以使用“相关笔记本”选项卡从不同笔记本中标识作业及其关联的日志,它还会显示运行该作业的笔记本。
相关内容
在本文档中,你基本了解了笔记本中通过高并发模式实现的会话共享。 前往下一篇文章,了解如何使用 Lakehouse 和 Notebooks 创建并开始使用你自己的数据工程体验:
- 要开始使用 Lakehouse,请参阅创建 Lakehouse。
- 要开始使用 Notebook,请参阅如何使用 Notebook