Setembro de 2019

Esses recursos e aprimoramentos da plataforma Azure Databricks foram lançados em setembro de 2019.

Nota

Os lançamentos são encenados. Sua conta do Azure Databricks pode não ser atualizada até uma semana após a data de lançamento inicial.

Fim do suporte para o Databricks Runtime 5.2

Setembro 30, 2019

O suporte para Databricks Runtime 5.2 terminou em 30 de setembro. Consulte Ciclos de vida de suporte do Databricks.

Iniciar clusters automatizados apoiados por conjuntos que utilizam o Databricks Light (Pré-visualização Pública)

26 de setembro a 1 de outubro de 2019: Versão 3.3

Quando introduzimos a referência de configuração do Pool em julho, você não podia selecionar o Databricks Light como sua versão de tempo de execução quando configurou um cluster com backup de pool para um trabalho automatizado. Agora você pode ter tempos de início de cluster rápidos e clusters econômicos!

Os endereços IP do gateway da Base de Dados SQL do Azure vão ser alterados a 14 de outubro de 2019

Em 14 de outubro, a Microsoft migrará o tráfego para novos gateways nessas regiões. Se seu espaço de trabalho estiver em uma dessas regiões e você tiver configurado rotas definidas pelo usuário (UDR) para o metastore consolidado de sua própria rede virtual do Azure Databricks (usando "injeção de VNet"), talvez seja necessário atualizar o endereço IP do metastore quando esses endereços IP forem alterados. Consulte a tabela de endereços IP do gateway do Banco de Dados SQL do Azure para obter a lista mais recente de endereços IP para sua região.

O pass-through de credenciais do Azure Data Lake Storage é agora suportado em clusters padrão e em Scala (Pré-visualização Pública)

12 a 17 de setembro de 2019: Versão 3.2

A passagem de credenciais agora pode ser usada com Python, SQL e Scala em clusters padrão que executam o Databricks Runtime 5.5 e superior, bem como o SparkR no Databricks Runtime 6.0 Beta. Até agora, a passagem de credenciais exigia clusters de alta simultaneidade, que não suportam Scala.

Quando um cluster é habilitado para a passagem de credenciais do Armazenamento do Azure Data Lake, os comandos executados nesse cluster podem ler e gravar dados no Armazenamento do Azure Data Lake sem exigir que os usuários configurem as credenciais da entidade de serviço para acessar o armazenamento. As credenciais são definidas automaticamente a partir do usuário que inicia a ação.

Por motivos de segurança, apenas um usuário pode executar comandos em um cluster padrão que tenha a Passagem de Credenciais habilitada. O usuário único é definido no momento da criação e pode ser editado por qualquer pessoa com permissões de gerenciamento no cluster. Os administradores precisam garantir que o usuário único tenha pelo menos permissão de anexação no cluster.

Agora, os DataFrames pandas podem ser compostos em blocos de notas sem dimensionamento

12 a 17 de setembro de 2019: Versão 3.2

Nos blocos de anotações do Azure Databricks, displayHTML estava dimensionando algum conteúdo HTML emoldurado para se ajustar à largura disponível do bloco de anotações renderizado. Embora esse comportamento seja desejável para imagens, ele renderizou pandas largos DataFrames mal. Mas não mais!

A apresentação do seletor de versão de Python é agora dinâmica

12 a 17 de setembro de 2019: Versão 3.2

Quando você seleciona um tempo de execução do Databricks que não suporta Python 2 (como o Databricks 6.0), a página de criação do cluster oculta o seletor de versão do Python.

Databricks Runtime 6.0 Beta

Setembro 12, 2019

O Databricks Runtime 6.0 Beta traz muitas atualizações de biblioteca e novos recursos, incluindo:

• Novas APIs Scala e Java para comandos Delta Lake DML, bem como os comandos do utilitário vácuo e histórico.
• Cliente DBFS FUSE v2 aprimorado para leituras e gravações mais rápidas e confiáveis durante o treinamento do modelo.
• Suporte para vários gráficos matplotlib por célula de notebook.
• Atualize para Python 3.7, bem como numpy, pandas, matplotlib e outras bibliotecas atualizadas.
• Pôr do sol do suporte ao Python 2.

Para obter mais informações, consulte as notas de versão completas do Databricks Runtime 6.0 (EoS ).