已知问题 - Spark 作业可能会因正式版的 Runtime 1.3 更新而失败

基于 Apache Spark 3.5 的 Microsoft Fabric Runtime 1.3 于 2024 年 9 月 23 日正式发布(正式版)。 Fabric Runtime 1.3 现在可用于生产工作负载。 作为从公共预览阶段过渡到正式发布阶段的一部分,我们发布了主要的内置库更新,以提高功能、安全性、可靠性和性能。 如果安装了 Runtime 1.3 的库或用 Runtime 1.3 替代了内置库版本,那么这些更新可能会影响你的 Microsoft Fabric 环境。

状态:待处理

产品体验: 数据工程

现象

如果安装了带有 Runtime 1.3 的库的环境,Spark 作业将开始失败,并出现类似于 Post Personalization failed 的错误。 导入已安装的自定义库可能会由于基础内置库正在更新而失败。

解决方案和缓解措施

在 Microsoft Fabric 环境中重新安装 Fabric Runtime 1.3 的库。 重新安装会基于最新更新生成新的依赖项。 如果自定义库具有依赖于 Python 内置包的不兼容依赖项,则安装会失败,并会生成自调试日志,其中包含所需版本列表。 可以更新这些依赖项,使自定义库兼容。 由于基础 Python 包发生更改,现有笔记本或管道可能会出现不兼容或中断性变更。 需要重新访问代码以进行缓解。

后续步骤