Разработка и отладка конвейеров Delta Live Tables в ноутбуках

Внимание

Возможности разработки ноутбуков для Delta Live Tables доступны в общедоступной предварительной версии.

В этой статье описываются функции записных книжек Azure Databricks, которые помогают в разработке и отладке кода Delta Live Tables.

Общие сведения о функциях

При работе с записной книжкой Python или SQL, настроенной в качестве исходного кода для существующего конвейера Delta Live Tables, вы можете подключить записную книжку непосредственно к конвейеру. Когда записная книжка подключена к конвейеру, доступны следующие функции:

• Запустите и проверьте конвейер из записной книжки.
• Просмотрите граф потока данных конвейера и журнал событий для последнего обновления в записной книжке.
• Просмотр диагностика конвейера в редакторе записной книжки.
• Просмотрите состояние кластера конвейера в записной книжке.
• Доступ к пользовательскому интерфейсу Delta Live Tables из записной книжки.

Необходимые компоненты

• У вас должен быть существующий конвейер Delta Live Tables с записной книжкой Python или SQL, настроенной в качестве исходного кода.
• Вы должны быть владельцем конвейера или иметь привилегию CAN_MANAGE .

Ограничения

• Функции, описанные в этой статье, доступны только в записных книжках Azure Databricks. Файлы рабочей области не поддерживаются.
• Веб-терминал недоступен при подключении к конвейеру. В результате она не отображается как вкладка на нижней панели.

Подключите ноутбук к конвейеру Delta Live Tables

В записной книжке щелкните раскрывающееся меню, используемое для выбора вычислений. В раскрывающемся меню отображаются все конвейеры Delta Live Tables, использующие эту записную книжку в качестве исходного кода. Чтобы подключить записную книжку к конвейеру, выберите ее из списка.

Просмотр состояния кластера конвейера

Чтобы легко понять состояние кластера конвейера, его состояние отображается в раскрывающемся меню вычислений с зеленым цветом, чтобы указать, что кластер запущен.

Проверка кода конвейера

Конвейер можно проверить наличие синтаксической ошибки в исходном коде без обработки данных.

Чтобы проверить конвейер, выполните одно из следующих действий.

• В правом верхнем углу записной книжки нажмите кнопку "Проверить".
• Нажмите любую ячейку Shift+Enter записной книжки.
• В раскрывающемся меню ячейки нажмите кнопку "Проверить конвейер".

Примечание.

Если вы пытаетесь проверить конвейер во время выполнения существующего обновления, откроется диалоговое окно с запросом на завершение существующего обновления. Если щелкнуть Да, существующие обновления останавливаются и автоматически запускается проверка обновления.

Запуск обновления трубопровода

Чтобы начать обновление конвейера, нажмите кнопку "Пуск" в правом верхнем углу записной книжки. См. Запустите обновление в конвейере Delta Live Tables.

Просмотр состояния обновления

Верхняя панель в ноутбуке показывает, обновлено ли состояние конвейера.

• Запуск
• Проверка
• Остановка

Просмотр ошибок и диагностика

После запуска обновления или проверки конвейера все ошибки подчёркиваются красным цветом. Наведите указатель мыши на ошибку, чтобы просмотреть дополнительные сведения.

Просмотр событий конвейера

При присоединении к конвейеру в нижней части записной книжки находится вкладка журнала событий Delta Live Tables.

Просмотр графа потока данных конвейера

Чтобы просмотреть граф потока данных конвейера, используйте вкладку Delta Live Tables в нижней части записной книжки. При выборе узла на графе отображается его схема на правой панели.

Как получить доступ к пользовательскому интерфейсу Delta Live Tables из записной книжки

Чтобы легко перейти к пользовательскому интерфейсу delta Live Tables, используйте меню в правом верхнем углу записной книжки.

Доступ к журналам драйверов и пользовательскому интерфейсу Spark из записной книжки

Журналы драйверов и пользовательский интерфейс Spark, связанные с разработанным конвейером, можно легко получить из меню "Вид записной книжки".