在 Microsoft Fabric 中配置初学者池
在本文档中,我们将说明如何在 Microsoft Fabric 中针对分析工作负载自定义初学者池。 初学者池提供了一种快速简便的方法,让你在数秒内即可在 Microsoft Fabric 平台上使用 Spark。 你可以立即使用 Spark 会话,而不是等待 Spark 为你设置节点,这有助于对数据执行更多操作并更快获取见解。
初学者池具有始终处于打开状态且可随时处理请求的 Spark 群集。 它们使用中等大小的节点,并可根据你的工作负载要求进行纵向扩展。
你可根据数据工程或数据科学工作负载要求指定自动缩放的最大节点数。 根据配置的最大节点数,系统在作业的计算要求发生变化时动态获取和停用节点,从而有效缩放并提高性能。
此外,你可以为初学者池中的执行程序设置最大限制,并且在启用了动态分配后,系统会根据数据量和作业级计算需求调整执行程序的数量。 此过程使你能够专注于工作负载,而无需担心性能优化和资源管理。
注意
要自定义初学者池,需要对工作区具有管理员访问权限。
配置初学者池
要管理与工作区关联的初学者池,请执行以下操作:
转到你的工作区,并选择“工作区设置”。
然后,选择“数据工程/科学”选项以展开菜单。
选择“初学者池”选项。
可以根据购买的容量将初学者池的最大节点配置设置为允许的数字,或者在运行较小的工作负载时将默认的最大节点配置减少到较小的值。
以下部分列出了各种默认配置以及初学者池支持的最大节点限制(基于 Microsoft Fabric 容量 SKU 确定):
SKU 名称 | 容量单位 | Spark VCore | 节点大小 | 默认最大节点数 | 最大节点数 |
---|---|---|---|---|---|
F2 | 2 | 4 | 中 | 1 | 1 |
F4 | 4 | 8 | 中 | 1 | 1 |
F8 | 8 | 16 | 中 | 2 | 2 |
F16 | 16 | 32 | 中 | 3 | 4 |
F32 | 32 | 64 | 中 | 8 | 8 |
F64 | 64 | 128 | 中 | 10 | 16 |
(试用容量) | 64 | 128 | 中 | 10 | 16 |
F128 | 128 | 256 | 中 | 10 | 32 |
F256 | 256 | 512 | 中 | 10 | 64 |
F512 | 512 | 1024 | 中 | 10 | 128 |
F1024 | 1024 | 2048 | 中 | 10 | 200 |
F2048 | 2048 | 4096 | 中 | 10 | 200 |
注意
要自定义初学者池,需要对工作区具有管理员访问权限。
相关内容
- 有关详细信息,请参阅 Apache Spark 公共文档。
- Microsoft Fabric 中的 Spark 工作区管理设置入门。