Разработка и отладка конвейеров Delta Live Tables в записных книжках

Внимание

Возможности разработки записных книжек для разностных динамических таблиц доступны в общедоступной предварительной версии.

В этой статье описываются функции записных книжек Azure Databricks, которые помогают в разработке и отладке кода Delta Live Tables.

Общие сведения о функциях

При работе с записной книжкой Python или SQL, которая является исходным кодом для существующего конвейера разностных динамических таблиц, вы можете подключить записную книжку непосредственно к конвейеру. Когда записная книжка подключена к конвейеру, доступны следующие функции:

• Запустите и проверьте конвейер из записной книжки.
• Просмотрите граф потока данных конвейера и журнал событий для последнего обновления в записной книжке.
• Просмотр диагностика конвейера в редакторе записной книжки.
• Просмотрите состояние кластера конвейера в записной книжке.
• Доступ к пользовательскому интерфейсу Delta Live Tables из записной книжки.

Необходимые компоненты

• В качестве исходного кода должен быть конвейер разностных динамических таблиц с записной книжкой Python или SQL.
• Вы должны быть владельцем конвейера или иметь привилегию CAN_MANAGE .

Ограничения

• Функции, описанные в этой статье, доступны только в записных книжках Azure Databricks. Файлы рабочей области не поддерживаются.
• Веб-терминал недоступен при подключении к конвейеру. В результате она не отображается как вкладка на нижней панели.

Подключение записной книжки к конвейеру Delta Live Tables

В записной книжке щелкните раскрывающееся меню, используемое для выбора вычислений. В раскрывающемся меню отображаются все конвейеры разностных динамических таблиц с этой записной книжкой в качестве исходного кода. Чтобы подключить записную книжку к конвейеру, выберите ее из списка.

Просмотр состояния кластера конвейера

Чтобы легко понять состояние кластера конвейера, его состояние отображается в раскрывающемся меню вычислений с зеленым цветом, чтобы указать, что кластер запущен.

Проверка кода конвейера

Конвейер можно проверить наличие синтаксической ошибки в исходном коде без обработки данных.

Чтобы проверить конвейер, выполните одно из следующих действий.

• В правом верхнем углу записной книжки нажмите кнопку "Проверить".
• Нажмите любую ячейку Shift+Enter записной книжки.
• В раскрывающемся меню ячейки нажмите кнопку "Проверить конвейер".

Примечание.

Если вы пытаетесь проверить конвейер во время выполнения существующего обновления, откроется диалоговое окно с запросом на завершение существующего обновления. Если щелкнуть "Да", существующее обновление останавливается и выполняется автоматическая проверка обновления.

Запуск конвейера

Обновление конвейера выполняет следующее: запускает кластер, обнаруживает и проверяет все таблицы и представления, определенные, а также создает или обновляет таблицы и представления с самыми последними доступными данными.

Чтобы начать обновление конвейера, нажмите кнопку "Пуск " в правом верхнем углу записной книжки.

Просмотр состояния обновления

Верхняя панель в записной книжке отображает, является ли обновление конвейера:

• Запуск
• Проверка
• Остановка

Просмотр ошибок и диагностика

После запуска или проверки конвейера все ошибки отображаются в виде красной подчеркивания. Наведите указатель мыши на ошибку, чтобы просмотреть дополнительные сведения.

Просмотр событий конвейера

При присоединении к конвейеру в нижней части записной книжки находится вкладка журнала событий Delta Live Tables.

Просмотр графа потока данных конвейера

Чтобы просмотреть граф потока данных конвейера, перейдите на вкладку графа "Динамические таблицы Delta Live" в нижней части записной книжки. При выборе узла на графе отображается его схема на правой панели.

Как получить доступ к пользовательскому интерфейсу Delta Live Tables из записной книжки

Чтобы легко перейти к пользовательскому интерфейсу delta Live Tables, используйте меню в правом верхнем углу записной книжки.

Доступ к журналам драйверов и пользовательскому интерфейсу Spark из записной книжки

Журналы драйверов и пользовательский интерфейс Spark, связанные с разработанным конвейером, можно легко получить из меню "Вид записной книжки".