Tâche de pipelines Delta Live Tables pour les travaux
Les travaux fournissent une approche procédurale pour définir des relations entre les tâches . Les pipelines Delta Live Tables fournissent une approche déclarative de la définition des relations entre les jeux de données et les transformations . Cette page décrit comment planifier des déclenchements de pipelines Delta Live Tables pour s’exécuter en tant que tâche dans une tâche Databricks, en utilisant l’interface utilisateur des Jobs, l’interface utilisateur du pipeline Delta Live Tables ou SQL.
Remarque
Un pipeline Delta Live Tables déclenché par est un pipeline qui ne fonctionne pas de manière continue, mais qui doit être déclenché pour démarrer. Une tâche dans un pipeline peut servir de mécanisme de déclenchement pour un pipeline Delta Live Tables activé. Les pipelines continus n’ont pas besoin d’être déclenchés. Par conséquent, leur déclenchement par le biais d’une tâche serait redondant. Pour en savoir plus sur les pipelines déclenchés et continus, consultez Le mode de pipeline continu et déclenché.
Configurer une tâche de pipeline Delta Live Tables avec le Jobs UI
Les pipelines Delta Live Tables gèrent toutes les configurations pour le code source et le calcul dans la définition du pipeline.
Pour ajouter un pipeline à une tâche, procédez comme suit :
- Créez et nommez une nouvelle tâche et sélectionnez le pipeline Delta Live Tables pour le Type.
- Dans le menu déroulant Pipeline, sélectionnez un pipeline Delta Live Tables existant.
- Vous pouvez éventuellement déclencher une actualisation complète sur le pipeline Delta Live Tables.
Important
Vous pouvez utiliser uniquement des pipelines déclenchés avec la tâche Pipeline. Les pipelines continus ne sont pas pris en charge en tant que tâche de travail.
Planifier un pipeline Delta Live Tables avec l’interface utilisateur du pipeline
L’ajout d’une planification à un pipeline crée un travail avec une tâche de pipeline unique. Vous ne pouvez configurer que des déclencheurs de planification basés sur le temps à l’aide de cette interface utilisateur. Pour obtenir des options de déclenchement plus avancées, consultez Configurer une tâche de pipeline Delta Live Tables avec l’interface utilisateur des tâches.
Configurez une tâche de pipeline dans un travail planifié à l’aide de l’interface utilisateur du pipeline en effectuant les étapes suivantes :
- Cliquez sur Delta Live Tables dans la barre latérale.
- Cliquez sur le nom du pipeline. L’interface utilisateur du pipeline s’affiche.
- Cliquez sur Calendrier.
- Si aucune planification n’existe pour le pipeline, la boîte de dialogue Nouvelle planification s’affiche.
- Si une ou plusieurs planifications existent déjà, cliquez sur Ajouter une planification.
- Entrez un nom unique pour le travail dans le champ Nom du travail.
- (Facultatif) Mettez à jour la fréquence de planification.
- Sélectionnez Avancé pour des options plus détaillées, notamment la syntaxe cron.
- (Facultatif) Sous Autres options, configurez une ou plusieurs adresses e-mail pour recevoir des alertes sur le démarrage, la réussite ou l’échec du pipeline.
- Cliquez sur Créer.
Remarque
Si le pipeline est inclus dans un ou plusieurs travaux planifiés, le bouton Planification affiche le nombre de planifications existantes, par exemple, Planification (5).
Ajouter une planification à une vue matérialisée ou à une table de diffusion en continu dans Databricks SQL
Les vues matérialisées et les tables de diffusion en continu définies dans Databricks SQL prennent en charge la planification basée sur le temps spécifiée dans les commandes CREATE ou ALTER.
Pour plus d’informations, consultez les articles suivants :