Développer et déboguer des pipelines Delta Live Tables dans les notebooks

Important

L’expérience notebook pour le développement de Delta Live Tables est en Préversion publique.

Cet article décrit les fonctionnalités des notebooks Azure Databricks qui aident au développement et au débogage du code Delta Live Tables.

Vue d’ensemble des fonctionnalités

Lorsque vous travaillez sur un notebook Python ou SQL qui est le code source d’un pipeline Delta Live Tables existant, vous pouvez connecter le notebook directement au pipeline. Lorsque le notebook est connecté au pipeline, les fonctionnalités suivantes sont disponibles :

• Démarrer et valider le pipeline à partir du notebook.
• Afficher le graphique de flux de données et le journal des événements du pipeline pour la dernière mise à jour dans le notebook.
• Afficher les diagnostics de pipeline dans l’éditeur de notebook.
• Afficher l’état du cluster du pipeline dans le notebook.
• Accédez à l’interface utilisateur Delta Live Tables à partir du notebook.

Prérequis

• Vous devez disposer d’un pipeline Delta Live Tables existant avec un notebook Python ou SQL en tant que code source.
• Vous devez être le propriétaire du pipeline ou avoir le privilège CAN_MANAGE.

Limites

• Les fonctionnalités décrites dans cet article ne sont disponibles que dans les notebooks Azure Databricks. Les fichiers d’espace de travail ne sont pas pris en charge.
• Le terminal web n’est pas disponible lorsqu’il est attaché à un pipeline. Par conséquent, il n’est pas visible sous forme d’onglet dans le panneau inférieur.

Connecter un notebook à un pipeline Delta Live Tables

Dans le notebook, cliquez sur le menu déroulant utilisé pour sélectionner le calcul. Le menu déroulant affiche tous vos pipelines Delta Live Tables avec ce notebook comme code source. Pour connecter le notebook à un pipeline, sélectionnez-le dans la liste.

Afficher l’état du cluster du pipeline

Pour que vous puissiez comprendre facilement l’état du cluster de votre pipeline, son état s’affiche dans le menu déroulant de calcul avec une couleur verte pour indiquer que le cluster est en cours d’exécution.

Valider le code du pipeline

Vous pouvez valider le pipeline afin de vérifier la présence éventuelle d’erreurs de syntaxe dans votre code source sans traiter de données.

Pour valider un pipeline, effectuez l’une des opérations suivantes :

• Dans le coin supérieur droit du notebook, cliquez sur Valider.
• Appuyez sur Shift+Enter dans n’importe quelle cellule de notebook.
• Dans le menu déroulant d’une cellule, cliquez sur Valider le pipeline.

Remarque

Si vous tentez de valider votre pipeline pendant qu’une mise à jour existante est déjà en cours d’exécution, une boîte de dialogue s’affiche pour vous demander si vous souhaitez arrêter la mise à jour existante. Si vous cliquez sur Oui, la mise à jour existante s’arrête et une mise à jour de validation démarre automatiquement.

Démarrer le pipeline

Une mise à jour de pipeline effectue les opérations suivantes : démarrage d’un cluster, découverte et validation de toutes les tables et vues définies, et création ou mise à jour des tables et des vues avec les données les plus récentes disponibles.

Pour démarrer une mise à jour de votre pipeline, cliquez sur le bouton Démarrer dans le coin supérieur droit du notebook.

Afficher l’état d’une mise à jour

Le panneau supérieur du notebook indique si une mise à jour de pipeline est :

• Démarrage en cours
• Validation
• Arrêt en cours

Afficher les erreurs et les diagnostics

Une fois qu’un pipeline a été démarré ou validé, les erreurs s’affichent inline avec un soulignement rouge. Pointez sur une erreur pour afficher plus d’informations.

Afficher les événements de pipeline

En cas d’attachement à un pipeline, un onglet du journal des événements Delta Live Tables est affiché en bas du notebook.

Afficher le graphique de flux de données du pipeline

Pour afficher le graphique de flux de données d’un pipeline, utilisez l’onglet de graphique Delta Live Tables en bas du notebook. La sélection d’un nœud dans le graphique affiche son schéma dans le panneau droit.

Comment accéder à l’interface utilisateur Delta Live Tables à partir du notebook

Pour accéder facilement à l’interface utilisateur Delta Live Tables, utilisez le menu dans le coin supérieur droit du notebook.

Accéder aux journaux des pilotes et à l’interface utilisateur Spark à partir du notebook

Les journaux des pilotes et l’interface utilisateur Spark associés au pipeline en cours de développement sont facilement accessibles à partir du menu Affichage du notebook.