了解 Azure Databricks 笔记本和管道
在 Azure Databricks 中,可以使用笔记本来运行以 Python、Scala、SQL 和其他语言编写的代码来引入和处理数据。 笔记本提供了一个交互式界面,你可以在其中运行单个代码单元并使用 Markdown 来包括笔记和批注。
在许多数据工程解决方案中,以交互方式编写和测试的代码可以合并到自动化数据处理工作负载中。 在 Azure 上,此类工作负荷通常实现为 Azure 数据工厂中的 管道,其中一个或多个 活动 用于协调一系列可按需运行、按计划间隔或响应事件(例如将数据加载到数据湖中的文件夹)的任务。 Azure 数据工厂支持 Notebook 活动,可用于在 Azure Databricks 工作区中自动执行笔记本。
注释
Azure Synapse Analytics 中内置的管道中提供了同一 Notebook 活动。