笔记本计算资源

本文介绍乐笔记本计算资源的选项。 可在 Databricks 群集、无服务器计算上运行笔记本,或者对于 SQL 命令,可使用 SQL 仓库(一种针对 SQL 分析进行计算优化的类型)

笔记本的无服务器计算

无服务器计算使你能够快速将笔记本连接到按需计算资源。

若要附加到无服务器计算,请单击笔记本中的“连接”下拉菜单,然后选择“无服务器”

有关详细信息,请参阅笔记本的无服务器计算

将笔记本附加到群集

若要将笔记本附加到群集,需要“可附加到群集级别”权限

重要

只要笔记本附加到群集,对笔记本具有“可运行”权限的任何用户就具有访问群集的隐式权限。

若要将笔记本附加到群集,请单击笔记本工具栏中的计算选择器,然后从下拉菜单中选择一个群集。

该菜单显示最近使用过或当前正在运行的群集选择。

附加笔记本

若要从所有可用群集中进行选择,请单击“更多...”。 单击群集名称以显示下拉菜单,然后选择现有群集。

“更多群集”对话框

还可以通过从下拉菜单中选择“新建资源...”来创建新群集

重要

附加的笔记本定义了以下 Apache Spark 变量。

变量名称
SparkContext sc
SQLContext/HiveContext sqlContext
SparkSession (Spark 2.x) spark

请勿创建 SparkSessionSparkContextSQLContext。 这样做会导致行为不一致。

将笔记本与 SQL 仓库配合使用

将笔记本附加到 SQL 仓库时,可以运行 SQL 和 Markdown 单元。 以任何其他语言(如 Python 或 R)运行单元格都会引发错误。 在 SQL 仓库上执行的 SQL 单元格会显示在 SQL 仓库的查询历史记录中。 运行查询的用户可以通过单击输出底部的运行时间从笔记本查看查询配置文件

运行笔记本需要专业版或无服务器 SQL 仓库。 你必须有权访问工作区和 SQL 仓库。

若要将笔记本附加到 SQL 仓库,请执行以下操作:

  1. 单击笔记本工具栏中的计算选择器。 下拉菜单会显示当前正在运行的或最近使用的计算资源。 SQL 仓库带有 SQL 仓库标签

  2. 从菜单中选择一个 SQL 仓库。

    若要查看所有可用的 SQL 仓库,请从下拉菜单中选择“更多...”。 此时会出现一个对话框,其中显示了笔记本可用的计算资源。 选择“SQL 仓库”,选择要使用的仓库,然后单击“附加”。

    选择了 SQL 仓库的更多群集对话框

创建工作流或计划作业时,还可以选择 SQL 仓库作为 SQL 笔记本的计算资源。

SQL 仓库限制

有关详细信息,请参阅 Databricks 笔记本的已知限制

分离笔记本

若要将笔记本与计算资源分离,请单击笔记本工具栏中的计算选择器,然后将鼠标悬停在列表中已附加的群集或 SQL 仓库上,以显示边侧菜单。 在侧菜单中,选择“拆离”。

拆离笔记本

也可使用群集详细信息页上的“笔记本”选项卡将笔记本从群集中拆离。

分离笔记本时,会删除执行上下文,并会从笔记本中清除已计算出来的所有变量值。

提示

Azure Databricks 建议从群集中分离未使用的笔记本。 这将释放驱动程序占用的内存空间。