Setembro de 2019

Esses recursos e aprimoramentos da plataforma Azure Databricks foram lançados em setembro de 2019.

Nota

Os lançamentos são encenados. Sua conta do Azure Databricks pode não ser atualizada até uma semana após a data de lançamento inicial.

Fim do suporte para o Databricks Runtime 5.2

Setembro 30, 2019

O suporte para Databricks Runtime 5.2 terminou em 30 de setembro. Consulte Ciclos de vida de suporte do Databricks.

Iniciar clusters automatizados apoiados por conjuntos que utilizam o Databricks Light (Pré-visualização Pública)

26 de setembro a 1 de outubro de 2019: Versão 3.3

Quando introduzimos a de referência de configuração do pool em julho, não podias selecionar Databricks Light como a tua versão de tempo de execução quando configuravas um cluster suportado por pool para um trabalho automatizado. Agora você pode ter tempos de início de cluster rápidos e clusters econômicos!

Os endereços IP do gateway da Base de Dados SQL do Azure vão ser alterados a 14 de outubro de 2019

Em 14 de outubro, a Microsoft migrará o tráfego para novos gateways nessas regiões. Se seu espaço de trabalho estiver em uma dessas regiões e você tiver configurado de rotas definidas pelo usuário (UDR) para o metastore consolidado de seu próprio de rede virtual do Azure Databricks (usando "injeção de VNet"), talvez seja necessário atualizar o endereço IP do metastore quando esses endereços IP forem alterados. Consulte a tabela Endereços IP do gateway do Banco de Dados SQL do Azure para obter a lista mais recente de endereços IP da sua região.

O pass-through de credenciais do Azure Data Lake Storage é agora suportado em clusters padrão e em Scala (Pré-visualização Pública)

12 a 17 de setembro de 2019: Versão 3.2

A passagem de credenciais agora pode ser usada com Python, SQL e Scala em clusters padrão que executam o Databricks Runtime 5.5 e superior, bem como o SparkR no Databricks Runtime 6.0 Beta. Até agora, a passagem de credenciais exigia clusters de alta simultaneidade, que não suportam Scala.

Quando um cluster é habilitado para a passagem de credenciais do Armazenamento do Azure Data Lake, os comandos executados nesse cluster podem ler e gravar dados no Armazenamento do Azure Data Lake sem exigir que os usuários configurem as credenciais da entidade de serviço para acessar o armazenamento. As credenciais são definidas automaticamente a partir do usuário que inicia a ação.

Por motivos de segurança, apenas um usuário pode executar comandos em um cluster padrão que tenha a Passagem de Credenciais habilitada. O utilizador único é definido no momento da criação e pode ser editado por qualquer pessoa com permissões de gestão no cluster. Os administradores precisam garantir que o usuário único tenha pelo menos permissão de anexação no cluster.

Agora, os DataFrames pandas podem ser compostos em blocos de notas sem dimensionamento

12 a 17 de setembro de 2019: Versão 3.2

Nos blocos de anotações do Azure Databricks, displayHTML estava dimensionando algum conteúdo HTML emoldurado para se ajustar à largura disponível do bloco de anotações renderizado. Embora esse comportamento seja desejável para imagens, ele renderizou pandas largos DataFrames mal. Mas não mais!

A apresentação do seletor de versão de Python é agora dinâmica

12 a 17 de setembro de 2019: Versão 3.2

Quando você seleciona um tempo de execução do Databricks que não suporta Python 2 (como o Databricks 6.0), a página de criação do cluster oculta o seletor de versão do Python.

Databricks Runtime 6.0 Beta

Setembro 12, 2019

O Databricks Runtime 6.0 Beta traz muitas atualizações de biblioteca e novos recursos, incluindo:

• Novas APIs Scala e Java para comandos Delta Lake DML, bem como os comandos utilitários de limpeza e histórico.
• Cliente DBFS FUSE v2 aprimorado para leituras e gravações mais rápidas e confiáveis durante o treinamento do modelo.
• Suporte para vários gráficos matplotlib por célula de notebook.
• Atualize para Python 3.7, bem como numpy, pandas, matplotlib e outras bibliotecas atualizadas.
• Pôr do sol do suporte ao Python 2.

Para obter mais informações, consulte as notas de versão completas do Databricks Runtime 6.0 (EoS ).