已知问题 - Fabric Runtime 1.3 导致库无效

Fabric Runtime 1.3 包含 Apache Spark 3.5。 Spark 3.5 于 2024 年 8 月 15 日发布了一项主要更新,这导致在 Fabric 环境中安装的自定义库无效。 使用无效环境时,启动笔记本和 Spark 作业定义会话失败。

状态:已修复:2024 年 11 月 7 日

产品体验: 数据工程

现象

当执行具有 Fabric Runtime 1.3 环境的新笔记本或 Spark 作业定义会话时,Spark 会话启动失败,并出现 Spark_Ambiguous_SparkSubmit_PersonalizationFailed 错误。

解决方案和缓解措施

若要解决此问题,请按照以下步骤进行操作:

  • 导航到工作区中具有 Runtime 1.3 的环境实例
  • 根据需要根据库依赖项对库部分进行更改
  • 保存并再次发布环境。 使用 Spark 3.5 运行时的最新更新重建环境。

后续步骤