Versão Delta Live Tables 2022.40

28 de setembro a 05 de outubro de 2022

Esses recursos e melhorias foram lançados com a versão 2022.40 do Delta Live Tables.

Versões do Databricks Runtime usadas por esta versão

Canal:

O uso de um rótulo de cluster diferente de default ou maintenance em suas configurações de pipeline causa falhas durante a criação ou edição do pipeline. Para obter mais informações sobre a configuração de cluster para pipelines do Delta Live Tables, consulte Configurar a computação para um pipeline do Delta Live Tables.
Agora você pode abrir ou executar pipelines diretamente dos notebooks do Delta Live Tables. Confira Desenvolver e depurar os pipelines de Tabelas Dinâmicas Delta em notebooks.
Essa versão inclui uma alteração interruptiva na estrutura de dados de configurações de pipeline retornada por solicitações de API do Delta Live Tables. Essa alteração retorna o campo edition como um valor de maiúsculas e minúsculas. Anteriormente, esse valor era retornado como um caso misto. Você deve atualizar seus clientes que leem o valor edition em respostas à API para garantir o processamento correto do valor retornado. No entanto, o valor edition em solicitações de API não diferencia maiúsculas de minúsculas; seus clientes que enviam solicitações, incluindo esse campo, não exigem atualização.

Essa versão corrige um bug que faz com que a interface do usuário do Delta Live Tables mostre um pipeline em um estado RUNNING mesmo após a falha na atualização.
Essa atualização corrige um bug na interface APPLY_CHANGES ao processar novamente os dados de entrada em que os dados contêm operações DELETE duplicadas com o mesmo valor na coluna SEQUENCE. Esse cenário resulta em valores NULL na tabela de destino e remoção do valor DeleteVersion. Isso é equivalente à marcação do registro como NOT-DELETED. Com essa alteração, as operações DELETE duplicadas são tratadas de forma idempotente e sempre marcam o registro como DELETED.
Essa versão corrige um bug que faz com que as linhas fiquem ocultas durante o processamento do SCD tipo 2, quando um registro histórico anterior é excluído contendo as mesmas colunas que o próximo registro histórico.
Essa atualização corrige um bug que faz com que uma exibição com uma expectativa expect_or_fail permaneça no estado RUNNING, mesmo que a expectativa falhe. Com essa correção, o pipeline falha e faz a transição para o estado FAILED.