Delen via

Delta Live Tables release 2022.49

  • Artikel

6 december - 9 december 2022

Deze functies en verbeteringen zijn uitgebracht met de 2022.49 release van Delta Live Tables.

Databricks Runtime-versies die door deze release worden gebruikt

Kanaal:

  • CURRENT (standaard): Databricks Runtime 11.0.11
  • PREVIEW: Databricks Runtime 11.3.2

Nieuwe functies en verbeteringen in deze release

  • U kunt nu bestanden importeren uit een Databricks Git-map als Python-modules. U kunt bestanden importeren uit het huidige opslagplaatspad of een opgegeven opslagplaatspad met behulp van sys.path.append().

  • Verbeterde automatische schaalaanpassing is nu algemeen beschikbaar. In deze release is verbeterde automatische schaalaanpassing de standaardmodus voor automatisch schalen voor nieuwe pijplijnen die zijn gemaakt in de gebruikersinterface. Databricks raadt aan pijplijnen bij te werken die gebruikmaken van de bestaande automatische schaalaanpassing van clusters om verbeterde automatische schaalaanpassing te gebruiken.

  • Voor pijplijnen die worden uitgevoerd in de continue modus, is de standaardinstelling voor opnieuw proberen limit nu 2 wanneer er fouten optreden die opnieuw kunnen worden geprobeerd. Inclusief de oorspronkelijke poging hebben alle stromen drie pogingen (met exponentieel uitstel) om uit te voeren wanneer er niet-fatale fouten optreden. Voorheen waren de standaardinstellingen niet-gebonden nieuwe pogingen voor batchstromen en vijf nieuwe pogingen voor streamingstromen.

  • De configuratieparameter pipelines.maxFlowRetryAttempts is nu van toepassing op de herpogingen limit voor alle gegevensstromen, inclusief batch- en streamingstromen, evenals doorlopende of getriggerde pijplijnen. Eerder toegepast pipelines.maxFlowRetryAttempts op alle limieten voor opnieuw proberen in de geactiveerde modus, maar alleen batchstromen in continue modus; nieuwe pogingen voor streamingpijplijnen in continue modus werden beheerd door pipelines.numStreamRetryAttempts. Voor bestaande pijplijnen pipelines.numStreamRetryAttempts wordt nog steeds ondersteund voor streamingstromen in continue modus. Als zowel pipelines.numStreamRetryAttempts als pipelines.maxFlowRetryAttempts zijn set, heeft pipelines.numStreamRetryAttempts prioriteit voor streamingstromen in continue modus. Anders wordt de geconfigureerde waarde voor pipelines.maxFlowRetryAttempts gebruikt. Zie Eigenschappen van Delta Live Tables verwijzen naar.

Opgeloste fouten in deze release

  • In deze release wordt een fout opgelost waardoor onjuiste DBU-berekeningen per uur worden weergegeven voor clusters met Photon-functionaliteit.

  • In deze release wordt een fout opgelost waardoor Delta Live-Tables onderhoudstaken mislukken in Unity Catalog ingeschakelde werkruimten.

  • In deze release wordt een fout (where) opgelost waarbij het stoppen of opnieuw opstarten van een continue dataverwerkende pijplijn met Auto Loader de pijplijn enkele minuten laat vastlopen.