Novembro de 2021

Artigo
03/05/2025

Esses recursos e melhorias na plataforma Azure Databricks foram lançados em novembro de 2021.

Nota

Os lançamentos são implementados em fases. Sua conta do Azure Databricks pode não ser atualizada até uma semana ou mais após a data de lançamento inicial.

Criar tags para tabelas de recursos (Visualização pública)

30 de novembro a 6 de dezembro de 2021: Versão 3.60

Agora você pode criar tags para tabelas de recursos e usá-las para pesquisar.

Realce de sintaxe e preenchimento automático para comandos SQL em células Python

30 de novembro a 6 de dezembro de 2021: Versão 3.60

O realce de sintaxe e o preenchimento automático do SQL estão disponíveis quando você usa o SQL dentro de um comando Python, como em um spark.sql comando.

Renomear, eliminar e alterar permissões dos experimentos MLflow a partir da página do experimento (Visualização pública)

30 de novembro a 6 de dezembro de 2021: Versão 3.60

Agora você pode renomear, excluir e alterar permissões para um experimento MLflow em sua página de experimento. Para obter detalhes, consulte Gerenciar experimentos.

Novos perfis de dados em blocos de notas: resumos tabulares e gráficos dos seus dados (Pré-visualização Pública)

30 de novembro a 6 de dezembro de 2021: Versão 3.60

Quando você usa display(<dataframe>) em Scala ou Python ou executa uma consulta SQL, o painel de resultados mostra uma nova guia Data Profile que apresenta um resumo gráfico e tabular interativo do DataFrame ou tabela. Para obter detalhes, consulte Criar um novo perfil de dados e Criar uma nova visualização.

Você também pode usar o comando de utilitários do Databricks dbutils.data.summarize.

Registro em log aprimorado quando os esquemas evoluem durante a execução de um pipeline DLT

30 de novembro a 6 de dezembro de 2021: Versão 3.60

Se o pipeline de DLT ler dados com o Auto Loader e o esquema dos dados de entrada for alterado enquanto uma atualização estiver em execução, a atualização será registrada como CANCELED e repetida automaticamente. A nova atualização é registrada com o estado SCHEMA_CHANGE. Anteriormente, quando o esquema de entrada mudava, a atualização era registrada como FAILED mesmo que a DLT tentasse automaticamente a atualização.

Databricks Partner Connect GA

18 de novembro de 2021

O Databricks Partner Connect já está disponível para o público em geral. Você pode usar o Partner Connect para descobrir e conectar dados e ferramentas de IA populares de forma rápida e fácil ao seu lago Azure Databricks. Consulte O que é o Databricks Partner Connect?.

Alteração significativa: remova o uso de escape e aspas do símbolo $ nos valores das variáveis de ambiente para a criação de clusters.

15 a 30 de novembro de 2021: Versão 3.59

Nota

Esta alteração será revertida em 3 de dezembro de 2021 das 01:00-03:00 UTC.

Ao criar um cluster, você pode especificar variáveis de ambiente. Antes dessa alteração, para usar um $ dentro do valor de uma variável de ambiente, era necessário escapá-lo ou cercá-lo com aspas. Com essa mudança, caracteres de escape ou aspas não são mais necessários. Essa alteração introduz um comportamento de quebra, pois os caracteres de $ escapados ou citados nos valores das variáveis de ambiente agora não são mais interpretados como $. Por exemplo, agora, dadas as seguintes declarações de variáveis de ambiente:

WITH_ESCAPING=\\$123
WITH_DOUBLE_QUOTING="$123"
NO_ESCAPING=$123
WITH_SINGLE_QUOTING='$123'
NO_QUOTING=$123

Imprimir estes valores a partir de um bloco de notas, por exemplo:

%sh
echo ${WITH_ESCAPING}
echo ${WITH_DOUBLE_QUOTING}
echo ${NO_ESCAPING}
echo ${WITH_SINGLE_QUOTING}
echo ${NO_QUOTING}

Devolve os seguintes valores:

\\$123
"$123"
$123
driver23
$123

Nota

Esta alteração aplica-se apenas a variáveis de ambiente. Não se aplica a segredos.

Melhorias na facilidade de utilização para ficheiros em repositórios

15 a 30 de novembro de 2021: Versão 3.59

Novos recursos foram adicionados ao editor de texto de arquivos:

Quando se cria uma tag, uma tag de encerramento é gerada automaticamente.
A dobragem de código já está disponível.

Além disso, para arquivos de texto, agora você pode copiar o caminho de repositório completo, além do caminho da raiz do repositório. Para obter detalhes, consulte Interagir programaticamente com arquivos de espaço de trabalho.

O suporte para widgets SQL herdados termina em 15 de janeiro de 2022

15 de novembro de 2021

O Databricks encerrará o suporte para widgets SQL herdados em 15 de janeiro de 2022. Após esta data, os notebooks não irão mais exibir widgets SQL legados na interface de utilizador, mas os parâmetros passados por%run ainda funcionarão com a API de widget SQL legados. Para garantir que seus widgets continuem a ser renderizados na interface do usuário, atualize seu código para usar os widgets SQL.

Melhorias na interface do usuário para trabalhos do Azure Databricks

15 a 30 de novembro de 2021: Versão 3.59

Esta versão inclui as seguintes melhorias na interface de trabalhos:

Agora você pode clonar uma única tarefa, facilitando a adição de novas tarefas a um trabalho existente. Consulte Renomear, clonar ou excluir um trabalho.
Ao visualizar os detalhes de execução de trabalhos ou de tarefas, o ID de Trabalho e o ID de execução de Trabalho são agora hiperligações, permitindo-lhe alternar facilmente entre as visualizações de detalhes de trabalho. Consulte Exibir detalhes da execução do trabalho.
Agora você pode copiar o caminho para uma tarefa, por exemplo, um caminho de bloco de anotações, ao visualizar ou editar uma tarefa. Consulte Copiar um caminho de tarefa.

15 de novembro de 2021

Lançamos o conector de Compartilhamento Delta do Power BI, que permite aos usuários descobrir, analisar e visualizar conjuntos de dados compartilhados por meio do protocolo aberto de Compartilhamento Delta . O protocolo permite a troca segura de conjuntos de dados entre produtos e plataformas, aproveitando o REST e o armazenamento em nuvem. Para obter detalhes, consulte Conector de Partilha Delta do Power BI.

Databricks driver ODBC 2.6.19

12 de novembro de 2021

Lançamos a versão 2.6.19 do driver ODBC Databricks (download). O novo driver propaga condições de erro SQL (SQLState) retornadas pelo Databricks para o cliente.

Databricks Runtime 10.1 e 10.1 ML estão em Disponibilidade Geral; 10.1 Photon está em Visualização Pública

10 de novembro de 2021

Databricks Runtime 10.1 e 10.1 ML estão agora disponíveis para o público em geral. 10.1 Photon está em Visualização Pública.

Consulte Databricks Runtime 10.1 (EoS) e Databricks Runtime 10.1 para ML (EoS).

Databricks Runtime 10.1 (Beta)

4 de novembro de 2021

Databricks Runtime 10.1, 10.1 Photon e 10.1 ML estão agora disponíveis como versões Beta.

Consulte as notas de versão completas em Databricks Runtime 10.1 (EoS) e Databricks Runtime 10.1 for ML (EoS).

Renomear e excluir experimentos MLflow (Visualização pública)

2 a 8 de novembro de 2021: Versão 3.58

Agora você pode renomear, excluir e alterar permissões para um experimento MLflow na página Experimentos.

Agora você pode criar uma política de cluster clonando uma política existente

2 a 8 de novembro de 2021: Versão 3.58

Foi adicionado suporte para a criação de uma nova política de cluster clonando uma política existente. Consulte Criar e gerenciar políticas de computação.

Alterar o idioma padrão de cadernos e células de cadernos com mais facilidade

2 a 8 de novembro de 2021: Versão 3.58

Um novo botão de idioma aparece na parte superior do bloco de anotações e em cada célula. Pode utilizar este botão para selecionar o idioma predefinido para o bloco de notas e para selecionar o idioma de uma célula específica. Para obter mais informações, consulte Definir idioma padrão e Misturar idiomas.

Usar arquivos no Repos a partir do terminal da Web

2 a 8 de novembro de 2021: Versão 3.58

Agora pode aceder aos Arquivos no Repos a partir do terminal web usando o caminho /Workspace.