通过

作业的增量实时表管道任务

  • 项目

作业通过一种程序化的方法来定义任务之间的关系。 Delta Live Tables 管道通过一种声明性方法来定义数据集和转换之间的关系。 本页介绍如何使用作业 UI、Delta Live Tables 管道 UI 或 SQL，计划触发的 Delta Live Tables 管道作为 Databricks 作业中的任务运行。

注释

触发的 Delta Live Tables 管道是一种不会连续运行的管道，必须通过触发才能启动。 管道任务可以是触发的 Delta Live Tables 管道的触发机制。 无需触发连续管道，因此通过任务触发它们将是冗余的。 若要了解有关触发管道和连续管道的详细信息，请参阅 “已触发”与“连续管道”模式。

使用作业 UI 配置 Delta Live Tables 管道任务

增量实时表管道管理管道定义中源代码和计算的所有配置。

若要将管道添加到一个作业中，请完成以下步骤：

  1. 创建并命名新任务，并为“类型”选择“Delta Live Tables 管道”。
  2. 在“管道”下拉菜单中，选择现有的增量实时表管道。
  3. 你可以选择在增量实时表管道上触发完全刷新。

重要

只能将触发的管道与“管道”任务结合使用。 不支持将连续管道作为作业任务。

使用管道 UI 计划 Delta Live Tables 管道

将计划添加到管道会创建包含单个管道任务的作业。 只能使用此 UI 配置基于时间的计划触发器。 有关更多高级触发选项，请参阅使用作业 UI 配置 Delta Live Tables 管道任务。

通过完成以下步骤，使用管道 UI 在计划作业中配置管道任务：

  1. 在边栏中，单击“Delta Live Tables”。
  2. 单击管道名称。 此时会显示管道 UI。
  3. 单击“计划”。
    • 如果管道没有现有计划，将显示“新建计划”对话框。
    • 如果已有一个或多个计划，请单击 添加计划。
  4. 在 作业名称 字段中输入作业的唯一名称。
  5. （可选）更新计划频率。
    • 选择“高级”以获取更多详细选项，包括 cron 语法。
  6. （可选）在“更多选项下，配置一个或多个电子邮件地址，以接收管道启动、成功或失败的警报。
  7. 单击“创建”。

注释

如果管道包含在一个或多个计划作业中，则 计划 按钮显示现有计划的数量，例如，计划（5）。

在 Databricks SQL 中向具体化视图或流式处理表添加计划

Databricks SQL 中定义的具体化视图和流式处理表支持在 CREATE 或 ALTER 命令中指定的基于时间的计划。

有关详细信息，请参阅以下文章：