了解 Azure Databricks 笔记本和管道

已完成

在 Azure Databricks 中,可以使用笔记本运行采用 Python、Scala、SQL 和其他语言编写的代码来引入和处理数据。 笔记本提供了一个交互式界面,你可以在其中运行单个代码单元格,并使用 Markdown 包含笔记和注释。

在许多数据工程解决方案中,以交互方式编写和测试的代码稍后可以合并到自动化数据处理工作负载中。 在 Azure 上,此类工作负载通常在 Azure 数据工厂中以管道的形式实现,其中一个或多个活动用于协调一系列任务,这些任务可按需运行、按计划间隔运行,或响应事件(例如将新数据加载到数据湖的文件夹中)。 Azure 数据工厂支持笔记本活动,该活动可用于在 Azure Databricks 工作区中自动化笔记本的无人参与执行。

A digram showing an Azure Data Factory pipeline with an activity that calls a notebook in Azure Databricks.

注意

在 Azure Synapse Analytics 中生成的管道中提供了相同的笔记本活动。