Общие сведения о записных книжках и конвейерах Azure Databricks

Завершено

В Azure Databricks можно использовать записные книжки для выполнения кода, написанного на Python, Scala, SQL и других языках для приема и обработки данных. Записные книжки предоставляют интерактивный интерфейс, в котором можно выполнять отдельные ячейки кода и использовать Markdown для включения заметок и аннотаций.

Во многих решениях по инжинирингу данных код, написанный и протестированный в интерактивном режиме, позже можно включить в рабочую нагрузку автоматической обработки данных. В Azure такие рабочие нагрузки часто реализуются как конвейеры в Фабрике данных Azure, где одно или несколько действий используются для оркестрации ряда задач, которые могут выполняться по запросу, через запланированные интервалы или в ответ на событие (например, загрузка новых данных в папку в озере данных). Фабрика данных Azure поддерживает действие Notebook, которое можно использовать для автоматизации выполнения записной книжки в рабочей области Azure Databricks.

A digram showing an Azure Data Factory pipeline with an activity that calls a notebook in Azure Databricks.

Примечание.

То же действие Notebook доступно в конвейерах, созданных в Azure Synapse Analytics.