DLT-pipelineaktivitet för jobb
Jobb ger ett procedurellt tillvägagångssätt för att definiera relationer mellan uppgifter. DLT-pipelines ger en deklarativ metod för att definiera relationer mellan datauppsättningar och transformeringar. Den här sidan beskriver hur du kan schemalägga utlösta DLT-pipelines för att köras som en uppgift i ett Databricks-jobb med hjälp av jobbgränssnittet, DLT-pipelinegränssnittet eller SQL.
Obs
En DLT-pipeline som utlöses av och är en pipeline som inte körs kontinuerligt, utan måste aktiveras för att starta. En pipelineaktivitet kan vara utlösande mekanism för en utlöst DLT-pipeline. Fortlöpande pipelines behöver inte utlösas, så det skulle vara redundant att utlösa dem genom en uppgift. För mer information om triggade och kontinuerliga pipelines, se Triggade jämfört med kontinuerligt pipelineläge.
Konfigurera en DLT-pipelineaktivitet med jobbgränssnittet
DLT-pipelines hanterar alla konfigurationer för källkod och beräkning i pipelinedefinitionen.
Utför följande steg för att lägga till en pipeline i ett jobb:
- Skapa och namnge en ny uppgift och välj DLT-pipeline för typ.
- I listrutan Pipeline väljer du en befintlig DLT-pipeline.
- Du kan också utlösa en fullständig uppdatering av DLT-pipelinen.
Viktigt!
Du kan bara använda utlösta pipelines med Pipeline-uppgiften. Kontinuerliga pipelines stöds inte som en jobbuppgift.
Schemalägga en DLT-pipeline med pipelinegränssnittet
Genom att lägga till ett schema i en pipeline skapas ett jobb med en enda pipeline-uppgift. Du kan bara konfigurera tidsbaserade schemautlösare med hjälp av det här användargränssnittet. Mer avancerade utlösaralternativ finns i Konfigurera en DLT-pipelineaktivitet med jobbgränssnittet.
Konfigurera en pipelineaktivitet i ett schemalagt jobb med hjälp av pipelinegränssnittet genom att utföra följande steg:
- Klicka på DLT- i sidofältet.
- Klicka på namnet på pipelinen. Pipelinegränssnittet visas.
- Klicka på Schema.
- Om det inte finns något schema för pipelinen visas dialogrutan Nytt schema.
- Om det redan finns ett eller flera scheman klickar du på Lägg till schema.
- Ange ett unikt namn för jobbet i fältet Jobbnamn.
- (Valfritt) Uppdatera schemafrekvensen.
- Välj Avancerat för mer utförliga alternativ, inklusive cron-syntax.
- (Valfritt) Under rubriken Fler alternativkonfigurerar du en eller flera e-postadresser för att ta emot aviseringar när en pipeline startar, när den lyckas eller misslyckas.
- Klicka på Skapa.
Obs
Om pipelinen ingår i ett eller flera schemalagda jobb visar knappen Schema antalet befintliga scheman, till exempel Schema (5).
Lägga till ett schema i en materialiserad vy eller en strömmande tabell i Databricks SQL
Materialiserade vyer och strömmande tabeller som definierats i Databricks SQL stöder tidsbaserad schemaläggning som anges i CREATE eller ALTER kommandon.
Mer information finns i följande artiklar: