Julho de 2020

Esses recursos e melhorias na plataforma Azure Databricks foram lançados em julho de 2020.

Nota

Os lançamentos são encenados. Sua conta do Azure Databricks pode não ser atualizada até uma semana após a data de lançamento inicial.

Terminal Web (Pré-visualização Pública)

29 de julho a 4 de agosto de 2020: Versão 3.25

O terminal da Web fornece uma maneira conveniente e altamente interativa para os usuários com permissão CAN ATTACH TO em um cluster executarem comandos shell, incluindo editores como Vim ou Emacs. Exemplos de usos do terminal web incluem o monitoramento do uso de recursos e a instalação de pacotes Linux.

Para obter detalhes, consulte Executar comandos de shell no terminal Web do Azure Databricks.

Nova arquitetura de scripts init global mais segura (Pré-visualização Pública)

29 de julho a 4 de agosto de 2020: Versão 3.25

A nova estrutura de script init global traz melhorias significativas em relação aos scripts init globais legados:

• Os scripts de inicialização são mais seguros, exigindo permissões de administrador para criar, visualizar e excluir.
• As falhas de inicialização relacionadas ao script são registradas.
• Você pode set a ordem de execução de vários scripts init.
• Os scripts de inicialização podem fazer referência a variáveis de ambiente relacionadas ao cluster.
• Os scripts de inicialização podem ser criados e gerenciados usando a página de configurações de administração ou a nova API REST de scripts de inicialização global.

O Databricks recomenda que você migre scripts de inicialização globais legados existentes para a nova estrutura para aproveitar essas melhorias.

Para obter detalhes, consulte Global init scripts.

Listas de acesso de IP agora em disponibilidade geral

29 de julho a 4 de agosto de 2020: Versão 3.25

A API de Acesso IP List está agora disponível para o público geral.

A versão GA inclui uma alteração, que é a renomeação do list_typevalues:

• WHITELIST a ALLOW
• BLACKLIST a BLOCK

Utilize a API de Acesso IP List para configurar os seus espaços de trabalho do Azure Databricks, de modo que os utilizadores se conectem ao serviço apenas através de redes corporativas existentes com um perímetro seguro. Os administradores do Azure Databricks podem usar a API de Acesso IP List para definir uma set de endereços IP autorizados, incluindo lista de permitidos e lista de bloqueios. Todo o acesso de entrada ao aplicativo Web e APIs REST requer que o usuário se conecte a partir de um endereço IP autorizado, garantindo que os espaços de trabalho não possam ser acessados de uma rede pública, como um café ou um aeroporto, a menos que seus usuários usem VPN.

Este recurso requer o plano Premium.

Para obter mais informações, consulte Configurar listas de acesso IP para espaços de trabalho.

Nova caixa de diálogo de carregamento de ficheiros

29 de julho a 4 de agosto de 2020: Versão 3.25

Agora você pode carregar pequenos arquivos de dados tabulares (como CSVs) e acessá-los a partir de um bloco de anotações selecionando Adicionar dados no menu Arquivo do bloco de anotações. O código gerado mostra como carregar os dados em Pandas ou DataFrames. Os administradores podem desativar esse recurso na guia Avançado do Admin Console.

Para obter mais informações, consulte Procurar arquivos no DBFS.

Melhoramentos à filtragem e ordenação da API do SCIM

29 de julho a 4 de agosto de 2020: Versão 3.25

A API SCIM agora inclui estas melhorias de filtragem e classificação:

• Os utilizadores administradores podem filtrar os utilizadores pelo atributo active.
• Todos os usuários podem classificar os resultados usando a consulta sortBy e sortOrderparameters. A predefinição é ordenar por ID.

Regiões do Azure Government adicionadas

25 de julho de 2020

O Azure Databricks ficou recentemente disponível nas regiões Gov Arizona e US Gov Virginia para entidades governamentais dos EUA e seus parceiros.

Databricks Runtime 7.1 GA

21 de julho de 2020

O Databricks Runtime 7.1 traz muitos recursos e melhorias adicionais em relação ao Databricks Runtime 7.0, incluindo:

• Conector do Google BigQuery
• %pip comandos para gerenciar bibliotecas Python instaladas em uma sessão de bloco de anotações
• Koalas instalados
• Muitas melhorias no Lago Delta, incluindo:
  • Definindo metadados de confirmação definidos pelo usuário
  • Obter a versão da última confirmação escrita pelo atual SparkSession
  • Convertendo o Parquet tables criado pelo Structured Streaming usando o log de transações _spark_metadata
  • MERGE INTO Melhorias de desempenho

Para obter detalhes, consulte as notas de versão completas do Databricks Runtime 7.1 (EoS ).

Databricks Runtime 7.1 ML GA

21 de julho de 2020

O Databricks Runtime 7.1 for Machine Learning foi criado com base no Databricks Runtime 7.1 e traz os seguintes novos recursos e alterações na biblioteca:

• Comandos Pip e Conda Magic ativados por padrão
• faísca-tensorflow-distribuidor: 0.1.0
• Almofada 7.0.0 -> 7.1.0
• Pitocha 1.5.0 -> 1.5.1
• Torchvision 0.6.0 -> 0.6.1
• Horovod 0.19.1 -> 0.19.5
• MLFLOW 1.8.0 -> 1.9.1

Para obter detalhes, consulte as notas de versão completas do Databricks Runtime 7.1 for ML (EoS ).

Databricks Runtime 7.1 Genomics GA

21 de julho de 2020

O Databricks Runtime 7.1 for Genomics é construído sobre o Databricks Runtime 7.1 e traz os seguintes novos recursos:

• Transformação LOCO
• Função de remodelação de saída GloWGR
• RNASeq produz alinhamentos não emparelhados

Databricks Connect 7.1 (Pré-visualização Pública)

17 de julho de 2020

O Databricks Connect 7.1 está agora em pré-visualização pública.

Atualizações na API para o Acesso IP List

15 a 21 de julho de 2020: Versão 3.24

As seguintes propriedades de de API de List de Acesso IP foram alteradas:

• updator_user_id a updated_by
• creator_user_id a created_by

Os blocos de notas em Python agora suportam várias saídas por célula

15 a 21 de julho de 2020: Versão 3.24

Os notebooks Python agora suportam várias saídas por célula. Isso significa que você pode ter qualquer número de instruções de exibição, displayHTML ou impressão em uma célula. Aproveite a capacidade de exibir os dados brutos e o gráfico na mesma célula ou todas as saídas bem-sucedidas antes de acertar um erro.

Esse recurso requer o Databricks Runtime 7.1 ou superior e é desabilitado por padrão no Databricks Runtime 7.1. Habilite-o definindo spark.databricks.workspace.multipleResults.enabled true.

Ver o código do bloco de notas e as células de resultados lado a lado

15 a 21 de julho de 2020: Versão 3.24

A nova opção de exibição do bloco de anotações lado a lado permite visualizar o código e os resultados um ao lado do outro. Esta opção de visualização junta-se à opção "Padrão" (anteriormente "Código") e à opção "Apenas resultados".

Colocar em pausa os agendamentos de tarefas

15 a 21 de julho de 2020: Versão 3.24

As agendas de trabalhos agora têm botões Pausar e Despausar , facilitando a pausa e a retomada de trabalhos. Agora você pode fazer alterações em uma agenda de trabalho sem que execuções de trabalho adicionais comecem enquanto você está fazendo as alterações. As execuções atuais ou acionadas por Executar agora não são afetadas. Para obter detalhes, consulte Pausar e retomar gatilhos de trabalho.

Os pontos finais da API de tarefas validam o ID de execução

15 a 21 de julho de 2020: Versão 3.24

Os jobs/runs/cancel pontos de extremidade e jobs/runs/output API agora validam que o run_id parâmetro é válido. Para parameters inválido, esses endpoints da API agora retornam o código de status HTTP 400 em vez do código 500.

Tokens de ID do Microsoft Entra para autorizar a API REST do Databricks GA

15 a 21 de julho de 2020: Versão 3.24

O uso de tokens de ID do Microsoft Entra para autenticação na API de espaço de trabalho agora está disponível para o público em geral. Os tokens Microsoft Entra ID permitem automatizar a criação e configuração de novos espaços de trabalho. As entidades de serviço são objetos de aplicativo no Microsoft Entra ID. Você também pode usar entidades de serviço em seus espaços de trabalho do Azure Databricks para automatizar fluxos de trabalho. Para obter detalhes, consulte Autenticar o acesso aos recursos do Azure Databricks.

Formato SQL nos blocos de notas automaticamente

15 a 21 de julho de 2020: Versão 3.24

Agora você pode formatar células do notebook SQL a partir de um atalho de teclado, do menu de contexto e do menu Editar no notebook (select Editar > Formatar Células SQL). A formatação SQL facilita a leitura e a manutenção do código com pouco esforço. Ele funciona para blocos de anotações SQL, bem como %sql células.

Ordem de instalação reproduzível para bibliotecas Maven e CRAN

1 a 9 de julho de 2020: Versão 3.23

O Azure Databricks agora processa as bibliotecas Maven e CRAN na ordem em que foram instaladas no cluster.

Assuma o controlo dos tokens de acesso pessoal dos seus utilizadores com a API de Gestão de Tokens (Pré-visualização Pública)

1 a 9 de julho de 2020: Versão 3.23

Agora, os administradores do Azure Databricks podem usar a API de Gerenciamento de Tokens para gerenciar os tokens de acesso pessoal do Azure Databricks de seus usuários:

• Monitore e revoke os tokens de acesso pessoais dos usuários.
• Controle o tempo de vida dos tokens futuros em seu espaço de trabalho.
• Controle quais usuários podem criar e usar tokens.

Consulte Monitor e revoke tokens de acesso pessoal.

Restore cortar células do bloco de notas

1 a 9 de julho de 2020: Versão 3.23

Agora podes restore células do caderno que foram cortadas usando o atalho do teclado (Z) ou selecionando Editar > Desfazer Corte de Células. Essa funcionalidade é análoga à de desfazer células excluídas.

Atribuir permissões de trabalho CAN MANAGE a usuários não administradores

1 a 9 de julho de 2020: Versão 3.23

Agora você pode atribuir usuários e grupos não administradores à permissão CAN MANAGE para trabalhos. Esse nível de permissão permite que os usuários gerenciem todas as configurações no trabalho, incluindo a atribuição de permissões, a alteração do proprietário e a alteração da configuração do cluster (por exemplo, adicionando bibliotecas e modificando a especificação do cluster). Consulte Controlar o acesso a um trabalho.

Os utilizadores do Azure Databricks que não são administradores podem ver e filtrar por nome de utilizador com a API SCIM

1 a 9 de julho de 2020: Versão 3.23

Os usuários não administradores agora podem visualizar nomes de usuário e filtrar usuários por nome de usuário usando o ponto de extremidade SCIM /Users.

Ligação para ver especificações de cluster quando está a ver detalhes de execução de trabalho

1 a 9 de julho de 2020: Versão 3.23

Agora, ao exibir os detalhes de uma execução de trabalho, você pode clicar em um link para a página de configuração do cluster para exibir a especificação do cluster. Anteriormente, você teria que copiar o ID do trabalho da URL e ir para o cluster list para procurá-lo.