Dela via

Viktig information om DLT och versionsuppgraderingsprocessen

  • Artikel

Den här artikeln förklarar DLT-versionsprocessen, hur DLT-körningen hanteras och innehåller länkar till viktig information för varje DLT-version.

DLT-körningskanaler

Notera

För att se Databricks Runtime-versionerna som används med en DLT-version, se versionsanteckningarna för av den versionen.

DLT-kluster använder körmiljöer baserat på versioner av Databricks Runtime-versionsanteckningar och kompatibilitet. Databricks uppgraderar automatiskt DLT-körningarna för att stödja förbättringar och uppgraderingar till plattformen. Du kan använda fältet channel i DLT-pipelineinställningarna för att styra DLT-körningsversionen som kör pipelinen. De värden som stöds är:

  • current att använda den aktuella körversionen.
  • preview för att testa din pipeline med kommande ändringar i körmiljön.

Som standardinställning, körs dina pipelines med current runtime-versionen. Databricks rekommenderar att du använder current körmiljö för produktionsbelastningar. Information om hur du använder inställningen preview för att testa dina pipelines med nästa körningsversion finns i Automatisera testning av dina pipelines med nästa körningsversion.

Viktig

Funktioner som är markerade som allmänt tillgängliga eller som offentlig förhandsversion är tillgängliga i kanalen current.

Mer information om DLT-kanaler finns i fältet channel i DLT-pipelineinställningar.

Information om hur DLT hanterar uppgraderingsprocessen för varje version finns i Hur fungerar DLT-uppgraderingar?.

Hur hittar jag Databricks Runtime-versionen för en pipelineuppdatering?

Du kan använda DLT-händelseloggen för att identifiera Databricks Runtime-versionen i samband med en pipelineuppdatering. Se Runtime-information.

viktig information om DLT

DLT-utgivningsanteckningar organiseras efter år och veckonummer. Eftersom DLT är versionslössker både arbetsyta- och körtidsändringar automatiskt. Följande versionsanteckningar ger en översikt över ändringar och felkorrigeringar i varje utgåva:

Hur fungerar DLT-uppgraderingar?

DLT anses vara en versionslös produkt, vilket innebär att Databricks automatiskt uppgraderar DLT-körningen för att stödja förbättringar och uppgraderingar till plattformen. Databricks rekommenderar att du begränsar externa beroenden för DLT-pipelines.

Databricks arbetar proaktivt för att förhindra att automatiska uppgraderingar introducerar fel eller problem i produktions-DLT-pipelines. Se DLT-uppgraderingsprocessen.

"Särskilt för användare som distribuerar DLT-pipelines med externa beroenden, rekommenderar Databricks att man proaktivt testar pipelines med preview-kanaler." Se Automatisera testning av dina pipelines med nästa körningsversion.

DLT-uppgraderingsprocess

Databricks hanterar Databricks Runtime- som används av DLT-beräkningsresurser. DLT uppgraderar automatiskt körmiljön i dina Azure Databricks-arbetsytor och övervakar dina pipelines hälsa efter uppgraderingen.

Om DLT upptäcker att en pipeline inte kan starta på grund av en uppgradering återgår körningsversionen för pipelinen till den tidigare versionen som är känd för att vara stabil och följande steg utlöses automatiskt:

  • Pipelinens DLT-körning är fastställd till den senaste kända goda versionen.
  • Databricks-supporten är meddelad om problemet.
    • Om problemet är relaterat till en regression i körmiljön löser Databricks problemet.
    • Om problemet orsakas av ett anpassat bibliotek eller paket som används av pipelinen kontaktar Databricks dig för att lösa problemet.
  • När problemet är löst initierar Databricks uppgraderingen igen.

Viktig

DLT återställer endast pipelines som körs i produktionsläge med kanalen inställd på current.

Automatisera testning av dina pipelines med nästa körningsversion

Om du vill se till att ändringar i nästa DLT-körningsversion inte påverkar dina pipelines använder du funktionen DLT-kanaler:

  1. Skapa en mellanlagringspipeline och ställ in kanalen på preview.
  2. I DLT-användargränssnittet skapar du ett schema för att köra pipelinen varje vecka och aktivera aviseringar för att ta emot ett e-postmeddelande om pipelinefel. Databricks rekommenderar att du schemalägger veckovisa testkörningar av pipelines, speciellt om du använder anpassade beroenden för pipelines .
  3. Om du får ett meddelande om ett fel och inte kan lösa det öppnar du ett supportärende med Databricks.

Pipeline-beroenden

DLT stöder externa beroenden i dina pipelines. Du kan till exempel installera alla Python-paket med hjälp av kommandot %pip install. DLT stöder också användning av globala och klusteromfattande init-skript. Dessa externa beroenden, särskilt init-skript, ökar dock risken för problem med körningsuppgraderingar. Minimera användningen av init-skript i dina pipelines för att minimera dessa risker. Om bearbetningen kräver init-skript kan du automatisera testningen av pipelinen för att upptäcka problem tidigt. se Automatisera testning av dina pipelines med nästa körningsversion. Om du använder init-skript rekommenderar Databricks att du ökar testfrekvensen.