Fevereiro de 2022
Esses recursos e melhorias na plataforma Azure Databricks foram lançados em fevereiro de 2022.
Nota
Os lançamentos são implementados em fases. Sua conta do Azure Databricks pode não ser atualizada até uma semana ou mais após a data de lançamento inicial.
Agendamento mais fácil para os seus pipelines DLT (Pré-visualização pública)
28 de fevereiro a 2 de março de 2022
Agora você pode criar um trabalho agendado do Azure Databricks para seus pipelines acionados diretamente da interface do usuário DLT. Anteriormente, você precisava criar o trabalho e o agendamento para executá-lo a partir da interface do usuário de trabalhos.
Navegue facilmente pelo histórico de atualizações do seu pipeline de DLT (Pré-visualização Pública)
28 de fevereiro a 2 de março de 2022
Agora você pode ver um histórico de atualizações de pipeline, incluindo o status da atualização, detalhes e eventos, com a lista suspensa Histórico de atualizações na interface do usuário DLT.
Garantir a idempotência do trabalho para a solicitação Executar agora da API de Trabalhos
22 a 28 de fevereiro de 2022: Versão 3.66
Agora você pode usar o parâmetro opcional idempotency_token com a operação Jobs API Run now para garantir que exatamente uma execução de um trabalho seja iniciada. Anteriormente, o envio de várias Run now solicitações para o mesmo trabalho pode ter iniciado mais de uma execução.
Para saber mais sobre a idempotência de trabalhos, consulte Como garantir a idempotência para trabalhos.
Melhorias na estabilidade e escalabilidade do serviço de gestão de tarefas
22 a 28 de fevereiro de 2022: Versão 3.66
As seguintes alterações aumentam a estabilidade e a escalabilidade do serviço Jobs:
- A cada novo trabalho é atribuído um identificador mais longo, exclusivo, numérico e não sequencial. Os clientes que usam a API de Jobs e dependem de um comprimento de identificador fixo ou de identificadores sequenciais ou monotonicamente crescentes devem ser ajustados para aceitar identificadores mais longos, não sequenciais e não ordenados. O tipo de identificador de
int64permanece inalterado e a compatibilidade é preservada para clientes que usam números de ponto flutuante IEEE 754 de 64 bits, por exemplo, clientes JavaScript. - O valor do campo
number_in_job, incluído na resposta a algumas solicitações da API de Trabalhos, agora é definido como igual ao valor derun_id.
Comparar execuções do MLflow de diferentes experimentos
22 a 28 de fevereiro de 2022: Versão 3.66
Agora você pode exibir e comparar execuções de vários experimentos. Consulte Comparação de execuções de vários experimentos.
Melhorias na exibição de comparações de execuções do MLflow
22 a 28 de fevereiro de 2022: Versão 3.66
A exibição de comparações de execuções foi melhorada. As visualizações agora aparecem na parte superior da página. Agora pode navegar por ou colapsar as tabelas que mostram informações de execução, parâmetros e métricas. Agora você também pode simplificar a exibição ocultando parâmetros e métricas que não variam entre as execuções.
Para obter informações sobre a página de comparar execuções, consulte Comparar execuções. Para obter instruções sobre como comparar execuções, consulte Comparar execuções.
Visibilidade melhorada dos responsáveis pela execução de tarefas na interface do utilizador de clusters
22 a 28 de fevereiro de 2022: Versão 3.66
O separador Clusters de Trabalho na Interface do Utilizador de Computação foi atualizado para mostrar o utilizador da execução do trabalho em vez do proprietário do trabalho. Esta atualização baseia-se em alterações no modelo de permissões de tarefas e oferece uma visibilidade aprimorada sobre o proprietário da execução de uma tarefa. Consulte Ver cálculo.
Remover colunas do conjunto de dados no AutoML
22 a 28 de fevereiro de 2022: Versão 3.66
No Databricks Runtime 10.3 ML e superior, para problemas de classificação e regressão, agora você pode especificar colunas no conjunto de dados que o AutoML não deve usar para treinamento. Consulte Referência da API do AutoML Python.
A página de experiências é GA
22 a 28 de fevereiro de 2022: Versão 3.66
A página de experiências está agora disponível para o público em geral.
Suporte para tabelas temporárias na interface DLT Python
22 a 28 de fevereiro de 2022: Versão 3.66
Agora você pode usar a propriedade temporary ao declarar tabelas com a interface DLT Python. A definição de uma tabela temporária instrui a DLT a não persistir metadados para a tabela e impede a publicação da tabela quando a configuração target é configurada. Consulte a especificação Python para obter informações sobre como definir tabelas Python.
Melhorias na interface do usuário para DLT (Public Preview)
22 a 28 de fevereiro de 2022: Versão 3.66
Esta versão inclui os seguintes aprimoramentos para a interface do usuário DLT:
- Agora pode editar as definições do pipeline na caixa de diálogo Configurações na interface de utilizador DLT, oferecendo uma interface mais amigável. Anteriormente, você estava limitado a alterar as configurações editando a especificação JSON. Para selecionar a vista UI ou JSON para editar as definições do pipeline, clique no botão UI ou JSON na caixa de diálogo Definições.
- Agora, o registo de eventos na página Detalhes do Pipeline destaca os registros de erros, facilitando a identificação e resolução de erros nos seus pipelines.
- A apresentação do progresso dos pipelines em execução foi melhorada. Agora, quando visualizas o gráfico do teu pipeline, os nós no estado
RUNNINGtêm uma aresta de entrada animada e uma borda superior animada.
Termina o suporte da série Databricks Runtime 9.0
17 de fevereiro de 2022
O suporte para Databricks Runtime 9.0 e Databricks Runtime 9.0 para Machine Learning terminou em 17 de fevereiro. Consulte Ciclos de vida de suporte do Databricks.
Atualizações da página inicial de Ciência de Dados e Engenharia
10 de fevereiro de 2022
Atualizamos a aparência da página inicial de Ciência de Dados e Engenharia. Alguns links foram alterados, mas não há outras alterações de funcionalidade notáveis.
O Databricks Repos agora oferece suporte ao AWS CodeCommit para integração com Git
7 a 14 de fevereiro de 2022: Versão 3.65
Agora você pode usar repositórios do AWS CodeCommit com Databricks Repos.
Visualização melhorada para os seus pipelines DLT (Pré-visualização pública)
7 a 14 de fevereiro de 2022: Versão 3.65
A visualização do DAG do pipeline foi redesenhada para melhorar a usabilidade e a navegação. As melhorias incluem uma alteração para exibir gráficos da esquerda para a direita em vez de de cima para baixo, fornecendo uma visão mais intuitiva da execução do pipeline.
Analisador Markdown atualizado
7 a 14 de fevereiro de 2022: Versão 3.65
O analisador Markdown usado nos blocos de anotações do Azure Databricks foi atualizado. Alguns dos problemas observados com a atualização anterior foram corrigidos. Especificamente, não é mais necessário colocar um espaço entre as hashtags e o texto de um título, e os links com espaços agora são renderizados corretamente.
DLT agora suporta processamento de captura de dados de alteração (Visualização pública)
7 a 14 de fevereiro de 2022: Versão 3.65
Agora você pode implementar o processamento de captura de dados de alteração (CDC) em seus pipelines de DLT. O processamento CDC é suportado com as interfaces SQL e Python. Consulte As APIs de ALTERAÇÕES APLICADAS: Simplifique a captura de dados de alterações com DLT.
Metastores adicionais agora disponíveis em várias regiões
8 de fevereiro de 2022
Os seguintes metastores estão agora disponíveis nas seguintes regiões:
brazilsouth:
consolidated-brazilsouth-prod-metastore.mysql.database.azure.com
centralus:
consolidated-centralus-prod-metastore-addl-2.mysql.database.azure.comconsolidated-centralus-prod-metastore-addl-3.mysql.database.azure.com
eastus:
consolidated-eastus-prod-metastore-addl-2.mysql.database.azure.comconsolidated-eastus-prod-metastore-addl-3.mysql.database.azure.comconsolidated-eastus-prod-metastore-addl-4.mysql.database.azure.com
eastus2
consolidated-eastus2-prod-metastore-addl-2.mysql.database.azure.comconsolidated-eastus2-prod-metastore-addl-3.mysql.database.azure.com
francecentral
consolidated-francecentral-prod-metastore.mysql.database.azure.com
northeurope
consolidated-northeurope-prod-metastore-addl-2.mysql.database.azure.comconsolidated-northeurope-prod-metastore-addl-3.mysql.database.azure.com
southeastasia
consolidated-southeastasia-prod-metastore-addl-1.mysql.database.azure.com
switzerlandnorth
consolidated-switzerlandnorth-prod-metastore-0.mysql.database.azure.com
switzerlandwest
consolidated-switzerlandwest-prod-metastore-0.mysql.database.azure.com
uksouth
consolidated-uksouth-prod-metastore-addl-1.mysql.database.azure.com
westeurope
consolidated-westeurope-prod-metastore-addl-2.mysql.database.azure.comconsolidated-westeurope-prod-metastore-addl-3.mysql.database.azure.com
Você deve sempre incluir todos os nomes de host relevantes para cada região que você usa em suas rotas definidas pelo usuário (UDRs). Consulte Configurações de rota definidas pelo usuário para o Azure Databricks.
Selecionar estruturas de algoritmo para usar com o AutoML
7 a 14 de fevereiro de 2022: Versão 3.65
No Databricks Runtime 10.3 ML e superior, você pode especificar estruturas de algoritmo, como scikit-learn, que o AutoML não deve considerar ao desenvolver modelos. Por padrão, o AutoML considera modelos de scikit-learn, XGBoost e LightGBM para problemas de classificação e regressão, e de Prophet e Auto-ARIMA para problemas de previsão. Consulte Referência da API do AutoML Python.
Os modelos de MLflow hospedados pelo Databricks agora podem procurar recursos de lojas online
3 de fevereiro de 2022
Os modelos empacotados com metadados da Feature Store podem pesquisar automaticamente valores de recursos de lojas online no horário de serviço.
Databricks Runtime 10.3 e 10.3 ML estão em Disponibilidade Geral; 10.3 Photon está em Pré-visualização Pública.
2 de fevereiro de 2022
O Databricks Runtime 10.3 e o Databricks Runtime 10.3 ML estão agora disponíveis para o público em geral. O Databricks Runtime 10.3 Photon está em Visualização Pública.