DLT-release 2022.49

6 december - 9 december 2022

Deze functies en verbeteringen zijn uitgebracht met de release 2022.49 van DLT.

Databricks Runtime-versies die door deze release worden gebruikt

-kanaal:

U kunt nu bestanden importeren uit een Databricks Git-map als Python-modules. U kunt bestanden importeren uit het huidige opslagplaatspad of een opgegeven opslagplaatspad met behulp van sys.path.append().

Verbeterde automatische schaalaanpassing is nu algemeen beschikbaar. In deze release is verbeterde automatische schaalaanpassing de standaardmodus voor automatisch schalen voor nieuwe pijplijnen die zijn gemaakt in de gebruikersinterface. Databricks raadt aan pijplijnen bij te werken die gebruikmaken van de bestaande automatische schaalaanpassing van clusters om verbeterde automatische schaalaanpassing te gebruiken.

Voor pijplijnen die worden uitgevoerd in de continue modus, is de standaardlimiet voor opnieuw proberen nu 2 wanneer er fouten optreden die opnieuw kunnen worden geprobeerd. Inclusief de oorspronkelijke poging hebben alle processen drie pogingen (met exponentiële vertraging) om uit te voeren wanneer er niet-fatale fouten optreden. Voorheen waren de standaardinstellingen onbeperkte nieuwe pogingen voor batchverwerkingen en vijf nieuwe pogingen voor streamingverwerkingen.

De configuratieparameter pipelines.maxFlowRetryAttempts is nu van toepassing op de limiet voor het opnieuw proberen voor alle processen, inclusief batch- en streamingprocessen, en continue of geactiveerde pijplijnen. Eerder werd pipelines.maxFlowRetryAttempts toegepast op alle herhalingslimieten in de geactiveerde modus, maar alleen op batchstromen in de continue modus; herhalingen voor streamingpijplijnen in de continue modus werden beheerd door pipelines.numStreamRetryAttempts. Voor bestaande pijplijnen wordt pipelines.numStreamRetryAttempts nog steeds ondersteund voor streamingstromen in de continue modus. Als zowel pipelines.numStreamRetryAttempts als pipelines.maxFlowRetryAttempts zijn ingesteld, heeft pipelines.numStreamRetryAttempts prioriteit voor streamingstromen in continue modus. Anders wordt de geconfigureerde waarde voor pipelines.maxFlowRetryAttempts gebruikt. Zie DLT-eigenschappenreferentie.

In deze release wordt een fout opgelost waardoor onjuiste DBU-berekeningen per uur worden weergegeven voor clusters met Photon-functionaliteit.

In deze release wordt een fout opgelost waardoor DLT-onderhoudstaken mislukken in werkruimten met Unity Catalog.

In deze release wordt een fout opgelost waarbij het stoppen of opnieuw opstarten van een continue pijplijn die gegevens opneemt met automatisch laadprogramma, ervoor zorgt dat de pijplijn enkele minuten vastloopt.