Desenvolver e depurar pipelines Delta Live Tables em notebooks

Importante

A experiência do notebook para o desenvolvimento do Delta Live Tables está em Visualização Pública.

Este artigo descreve os recursos nos blocos de anotações do Azure Databricks que ajudam no desenvolvimento e depuração do código Delta Live Tables.

Visão geral dos recursos

Quando você trabalha em um bloco de anotações Python ou SQL que é o código-fonte de um pipeline Delta Live Tables existente, você pode conectar o bloco de anotações diretamente ao pipeline. Quando o notebook está conectado ao pipeline, os seguintes recursos estão disponíveis:

• Inicie e valide o pipeline a partir do bloco de anotações.
• Exiba o gráfico de fluxo de dados e o log de eventos do pipeline para obter a atualização mais recente no bloco de anotações.
• Visualize o diagnóstico de pipeline no editor de bloco de anotações.
• Exiba o status do cluster do pipeline no bloco de anotações.
• Acesse a interface do usuário do Delta Live Tables a partir do bloco de anotações.

Pré-requisitos

• Você deve ter um pipeline Delta Live Tables existente com um bloco de anotações Python ou SQL como código-fonte.
• Você deve ser o proprietário do pipeline ou ter o CAN_MANAGE privilégio.

Limitações

• Os recursos abordados neste artigo só estão disponíveis em blocos de anotações do Azure Databricks. Não há suporte para arquivos de espaço de trabalho.
• O terminal da Web não está disponível quando conectado a um pipeline. Como resultado, ele não é visível como uma guia no painel inferior.

Conectar um bloco de anotações a um pipeline Delta Live Tables

Dentro do bloco de anotações, clique no menu suspenso usado para selecionar computação. O menu suspenso mostra todos os seus pipelines Delta Live Tables com este bloco de anotações como código-fonte. Para conectar o bloco de anotações a um pipeline, selecione-o na lista.

Exibir o status do cluster do pipeline

Para entender facilmente o estado do cluster do pipeline, seu status é mostrado no menu suspenso de computação com uma cor verde para indicar que o cluster está em execução.

Validar código de pipeline

Você pode validar o pipeline para verificar se há erros de sintaxe no código-fonte sem processar dados.

Para validar um pipeline, siga um destes procedimentos:

• No canto superior direito do bloco de notas, clique em Validar.
• Pressione Shift+Enter em qualquer célula do bloco de anotações.
• No menu suspenso de uma célula, clique em Validar Pipeline.

Nota

Se você tentar validar seu pipeline enquanto uma atualização existente já estiver em execução, uma caixa de diálogo será exibida perguntando se você deseja encerrar a atualização existente. Se você clicar em Sim, a atualização existente será interrompida e uma atualização validada será iniciada automaticamente.

Iniciar o pipeline

Uma atualização de pipeline faz o seguinte: inicia um cluster, descobre e valida todas as tabelas e exibições definidas e cria ou atualiza tabelas e exibições com os dados mais recentes disponíveis.

Para iniciar uma atualização do pipeline, clique no botão Iniciar no canto superior direito do bloco de anotações.

Exibir o status de uma atualização

O painel superior do bloco de anotações exibe se uma atualização de pipeline é:

• A iniciar
• Validação
• A parar

Ver erros e diagnósticos

Depois que um pipeline é iniciado ou validado, todos os erros são mostrados em linha com um sublinhado vermelho. Passe o cursor sobre um erro para ver mais informações.

Exibir eventos de pipeline

Quando anexado a um pipeline, há uma guia de log de eventos Delta Live Tables na parte inferior do bloco de anotações.

Exibir o gráfico de fluxo de dados do pipeline

Para exibir o gráfico de fluxo de dados de um pipeline, use a guia do gráfico Delta Live Tables na parte inferior do bloco de anotações. A seleção de um nó no gráfico exibe seu esquema no painel direito.

Como acessar a interface do usuário do Delta Live Tables a partir do bloco de anotações

Para saltar facilmente para a IU do Delta Live Tables, utilize o menu no canto superior direito do bloco de notas.

Acessar os logs do driver e a interface do usuário do Spark a partir do bloco de anotações

Os logs do driver e a interface do usuário do Spark associados ao pipeline que está sendo desenvolvido podem ser facilmente acessados no menu Exibir do notebook.