Desenvolver e depurar pipelines Delta Live Tables em notebooks

Importante

A experiência de notebook para o desenvolvimento do Delta Live Tables está em de visualização pública.

Este artigo descreve os recursos nos blocos de anotações do Azure Databricks que ajudam no desenvolvimento e depuração do código Delta Live Tables.

Visão geral dos recursos

Quando você trabalha em um bloco de anotações Python ou SQL configurado como código-fonte para um pipeline Delta Live Tables existente, você pode conectar o bloco de anotações diretamente ao pipeline. Quando o notebook está conectado ao pipeline, os seguintes recursos estão disponíveis:

• Inicie e valide o pipeline a partir do bloco de anotações.
• Exiba o gráfico de fluxo de dados e o log de eventos do pipeline para obter a atualização mais recente no notebook.
• Visualize o diagnóstico de pipeline no editor de bloco de anotações.
• Exiba o status do cluster do pipeline no bloco de anotações.
• Acesse a interface de utilizador do Delta Live Tables a partir do caderno de anotações.

Pré-requisitos

• Você deve ter um pipeline Delta Live Tables existente com um bloco de anotações Python ou SQL configurado como código-fonte.
• Você deve ser o proprietário do pipeline ou ter o CAN_MANAGE privilégio.

Limitações

• Os recursos abordados neste artigo só estão disponíveis em blocos de anotações do Azure Databricks. Não há suporte para arquivos de espaço de trabalho.
• O terminal da Web não está disponível quando conectado a um pipeline. Como resultado, ele não é visível como uma guia no painel inferior.

Conectar um bloco de anotações a um pipeline Delta Live Tables

Dentro do portátil, clique no menu suspenso usado para selecionar cálculo. O menu suspenso mostra todos os seus pipelines Delta Live Tables com este bloco de anotações como código-fonte. Para conectar o notebook a um pipeline, selecione-o na lista.

Exibir o status do cluster do pipeline

Para entender facilmente o estado do cluster do pipeline, seu status é mostrado no menu suspenso de computação com uma cor verde para indicar que o cluster está em execução.

Validar código de pipeline

Você pode validar o pipeline para verificar se há erros de sintaxe no código-fonte sem processar dados.

Para validar um pipeline, siga um destes procedimentos:

• No canto superior direito do bloco de notas, clique em Validar.
• Pressione Shift+Enter em qualquer célula do bloco de anotações.
• No menu suspenso de uma célula, clique em Validar Pipeline.

Nota

Se você tentar validar seu pipeline enquanto uma atualização existente já estiver em execução, uma caixa de diálogo será exibida perguntando se você deseja encerrar a atualização existente. Se clicar em Sim, a atualização existente será interrompida e uma atualização de validação será iniciada automaticamente.

Iniciar uma atualização de pipeline

Para iniciar uma atualização do seu pipeline, clique no botão denominado Iniciar no canto superior direito do notebook. Consulte para executar uma atualização num pipeline Delta Live Tables.

Exibir o status de uma atualização

O painel superior no notebook indica se uma atualização do pipeline está:

• A iniciar
• Validação
• A parar

Ver erros e diagnósticos

Depois de iniciar uma atualização ou validação de pipeline, todos os erros são mostrados em linha com um sublinhado vermelho. Passe o cursor sobre um erro para ver mais informações.

Exibir eventos de pipeline

Quando anexado a um pipeline, há uma guia de log de eventos Delta Live Tables na parte inferior do bloco de anotações.

Exibir o gráfico de fluxo de dados do pipeline

Para exibir o gráfico de fluxo de dados de um pipeline, use a guia do gráfico Delta Live Tables na parte inferior do bloco de anotações. A seleção de um nó no gráfico exibe seu esquema no painel direito.

Como aceder à interface do utilizador do Delta Live Tables a partir do notebook

Para saltar facilmente para a interface do Delta Live Tables, utilize o menu localizado no canto superior direito do notebook.

Acessar os logs do driver e a interface do usuário do Spark a partir do bloco de anotações

Os logs do driver e a interface do usuário do Spark associados ao pipeline que está sendo desenvolvido podem ser facilmente acessados no menu Exibir do notebook.