已知问题 - Fabric Runtime 1.3 导致库无效
Fabric Runtime 1.3 包含 Apache Spark 3.5。 Spark 3.5 于 2024 年 8 月 15 日发布了一项主要更新,这导致在 Fabric 环境中安装的自定义库无效。 使用无效环境时,启动笔记本和 Spark 作业定义会话失败。
状态:已修复:2024 年 11 月 7 日
产品体验: 数据工程
现象
当执行具有 Fabric Runtime 1.3 环境的新笔记本或 Spark 作业定义会话时,Spark 会话启动失败,并出现 Spark_Ambiguous_SparkSubmit_PersonalizationFailed 错误。
解决方案和缓解措施
若要解决此问题,请按照以下步骤进行操作:
- 导航到工作区中具有 Runtime 1.3 的环境实例
- 根据需要根据库依赖项对库部分进行更改
- 保存并再次发布环境。 使用 Spark 3.5 运行时的最新更新重建环境。