通过

Delta Live Tables 版本 2022.49

  • 项目

2022 年 12 月 6 日至 9 日

这些功能和改进随 2022.49 版 Delta Live Tables 一起发布。

此版本使用的 Databricks Runtime 版本

通道：

  • 当前（默认）：Databricks Runtime 11.0.11
  • 预览：Databricks Runtime 11.3.2

此版本中的新功能和改进

  • 现在可以将 Databricks Git 文件夹中的文件作为 Python 模块导入。 可以使用 sys.path.append() 从当前存储库路径或指定的存储库路径导入文件。

  • 增强的自动缩放现已正式发布。 在此版本中，增强的自动缩放是 UI 中创建的新管道的默认自动缩放模式。 Databricks 建议更新使用现有群集自动缩放的管道以使用增强的自动缩放。

  • 对于在连续模式下运行的管道，发生可重试失败时，默认重试限制现在为 2。 包括原始尝试在内，所有流都有三次尝试（指数退避）在发生非致命失败时运行。 以前，批处理流的默认值为无限制重试，流式处理流的默认值为五次重试。

  • 配置参数 pipelines.maxFlowRetryAttempts 现在应用于所有流的重试限制，包括批处理和流式处理流，以及连续或触发的管道。 以前，pipelines.maxFlowRetryAttempts 应用于触发模式下的所有重试限制，但仅应用于连续模式下的批处理流；连续模式下流式处理管道的重试次数由 pipelines.numStreamRetryAttempts 控制。 对于现有管道，pipelines.numStreamRetryAttempts 继续支持连续模式下的流式处理流。 如果同时设置了 pipelines.numStreamRetryAttempts 和 pipelines.maxFlowRetryAttempts，则 pipelines.numStreamRetryAttempts 优先处理连续模式下的流式处理流。 否则，将使用 pipelines.maxFlowRetryAttempts 的配置值。 请参阅 Delta Live Tables 属性参考。

此版本中的 bug 修复

  • 此版本修复了导致启用 Photon 的群集显示不正确的每小时 DBU 计算的 bug。

  • 此版本修复了导致 Delta Live Tables 维护任务在启用了 Unity Catalog 的工作区中失败的 bug。

  • 此版本修复了停止或重启使用自动加载程序引入数据的连续管道会导致管道挂起几分钟的 bug。