Delta Lives Tables version 2022.40

28 septembre - 5 octobre 2022

Ces fonctionnalités et améliorations ont été publiées avec la version 2022.40 de Delta Live Tables.

Versions de Databricks Runtime utilisées par cette version

Canal :

L’utilisation d’une étiquette de cluster autre que default ou maintenance dans vos paramètres de pipeline provoque des échecs lors de la création ou de la modification du pipeline. Pour plus d’informations sur la configuration du cluster pour les pipelines Delta Live Tables, consultez Configurer le calcul pour un pipeline Delta Live Tables.
Vous pouvez maintenant ouvrir ou exécuter des pipelines directement à partir de vos notebooks Delta Live Tables. Consultez développer et déboguer des pipelines Delta Live Tables dans les notebooks.
Cette version inclut une modification cassant de la structure de données des paramètres de pipeline retournée par les demandes de l’API Delta Live Tables. Cette modification renvoie le edition champ sous la forme d’une valeur en majuscules. Auparavant, cette valeur a été renvoyée en tant qu’incident mixte. Vous devez mettre à jour vos clients qui lisent la valeur editiondans les réponses d’API pour garantir le traitement correct de la valeur de retour. Toutefois, la valeur edition dans les demandes d’API est insensible à la casse, donc vos clients qui soumettent les requêtes; y compris ce champ, ne nécessitent pas de mise à jour.

Cette version corrige un bogue qui entraîne l’affichage d’un pipeline sur Delta Tables UI dans un état RUNNING même après une défaillance de mise à jour.
Cette mise à jour corrige un bogue dans l’interface APPLY_CHANGES lors du prétraitement des données d’entrée lorsque les données contiennent des opérations DELETE en double avec la même valeur dans la colonneSEQUENCE. Ce scénario entraîne des valeurs NULL dans le tableau cible et la suppression de la valeurDeleteVersion. Cela équivaut à marquer l’enregistrement comme NOT-DELETED. Avec cette modification, les opérations DELETE en double sont gérées indépendamment et marquent toujours l’enregistrement comme DELETED.
Cette version corrige un bogue entraînant le masquage des lignes pendant le traitement SCD type 2 lorsqu’un enregistrement d’historique précédent est supprimé en contenant les mêmes colonnes que l’enregistrement d’historique suivant.
Cette mise à jour corrige un bogue entraînant un ’affichage avecexpect_or_failattente de rester dans l’état RUNNING même si l’attente échoue. Avec ce correctif, le pipeline échoue et bascule vers l’état FAILED.