Partilhar via

Fevereiro de 2020

  • Artigo

Esses recursos e melhorias na plataforma Azure Databricks foram lançados em fevereiro de 2020.

Nota

Os lançamentos são encenados. Sua conta do Azure Databricks pode não ser atualizada até uma semana após a data de lançamento inicial.

Disponibilidade Geral do Databricks Runtime 6.4 para o Genomics

26 de fevereiro de 2020

O Databricks Runtime 6.4 for Genomics é construído sobre o Databricks Runtime 6.4. Ele inclui muitas melhorias e atualizações do Databricks Runtime 6.3 for Genomics.

As principais características são:

  • Agora você pode personalizar os usuários do DNASeq Pipeline podem desativar seletivamente qualquer combinação legítima dos estágios de alinhamento de leitura, chamada de variante e anotação de variante. Os usuários também podem executar o alinhamento de leitura de extremidade única.
  • A versão do Glow incluída no Databricks Runtime 6.4 for Genomics agora fornece APIs Python e Scala para funções anteriormente expostas apenas por meio de expressões SQL. Essas funções estão disponíveis para operações DataFrame, proporcionando maior segurança em tempo de compilação.

Disponibilidade Geral do Databricks Runtime 6.4 ML

26 de fevereiro de 2020

O Databricks Runtime 6.4 ML GA traz atualizações de biblioteca, incluindo:

  • PyTorch: 1.3.1 a 1.4.0
  • Horovod: 0.18.2 a 1.19.0

Para obter detalhes, consulte as notas de versão completas do Databricks Runtime 6.4 for ML (EoS ).

Disponibilidade Geral do Databricks Runtime 6.4

26 de fevereiro de 2020

O Databricks Runtime 6.4 GA traz novos recursos, melhorias e muitas correções de bugs.

  • Processe novos arquivos de dados incrementalmente com o Auto Loader (Visualização pública). O Auto Loader oferece uma maneira mais eficiente de processar novos arquivos de dados incrementalmente à medida que eles chegam a uma loja de blob na nuvem durante o ETL. Esta é uma melhoria em relação ao streaming estruturado baseado em arquivos, que identifica novos arquivos listando repetidamente o diretório da nuvem e rastreando os arquivos que foram vistos, e pode ser muito ineficiente à medida que o diretório cresce.
  • Carregue dados no Delta Lake com tentativas idempotentes (Visualização pública). O COPY INTO comando SQL permite carregar dados no Delta Lake com tentativas idempotentes (Visualização pública). Para carregar dados no Delta Lake hoje você precisa usar APIs do Apache Spark DataFrame. Se houver falhas durante as cargas, você tem que lidar com elas de forma eficaz.
  • As métricas de operação para todas as gravações, atualizações e eliminações num Delta table agora são mostradas no histórico table.
  • Figuras Matplotlib embutidas agora habilitadas por padrão nos blocos de anotações do Azure Databricks (Visualização Pública).

Para obter detalhes, consulte as notas de versão completas do Databricks Runtime 6.4 (EoS ).

Novos gráficos interativos, que oferecem interações ricas do lado do cliente

Fev 25 - março 3, 2019: Versão 3.14

Esta versão apresenta dois novos tipos de gráficos interativos que substituem as implementações de gráfico de barras e gráfico de linhas. Além da funcionalidade de gráfico existente, o gráfico de linhas tem algumas novas opções de gráfico personalizadas: definir um intervalo do eixo Y, mostrar ou ocultar marcadores e aplicar a escala de log ao eixo Y. Ambos os gráficos têm uma barra de ferramentas interna que suporta uma set rica de interações do lado do cliente.

Barra de ferramentas dos gráficos

Se quiser usar as implementações de gráficos existentes, você pode select-las no menu suspenso Legacy Charts. Os gráficos existentes continuarão a usar as implementações disponíveis anteriormente.

Tipos de gráficos herdados

A nova rede de ingestão de dados acrescenta integrações dos parceiros no Delta Lake (Pré-visualização Pública)

24 de fevereiro de 2020

Agora você pode preencher facilmente sua "lakehouse" — seu data lake habilitado pelos tipos de estruturas de dados e recursos de gerenciamento de dados que você normalmente get com um data warehouse — de centenas de fontes de dados para o Delta Lake. No centro desta rede está a nova galeria de integrações de parceiros, acessível a partir do seu espaço de trabalho e que fornece acesso a uma enorme rede de fontes de dados através dos nossos parceiros Fivetran, Qlik, Infoworks, StreamSets e Syncsort.

Portal de integrações de parceiros

Para uma visão geral, consulte nosso blog. Para obter detalhes, consulte Parceiros de tecnologia.

Adição automática do criador das áreas de trabalho como administrador do Azure Databricks

24 de fevereiro de 2020

Antes de 24 de fevereiro de 2020, o usuário que criou um espaço de trabalho do Azure Databricks só seria adicionado como um usuário administrador para o espaço de trabalho se também clicasse no botão Iniciar Espaço de Trabalho no Portal do Azure ou fosse adicionado como administrador por um usuário que já era um usuário administrador no espaço de trabalho (qualquer Colaborador do Azure para a assinatura que clicasse no botão Iniciar Espaço de Trabalho seria criado como um usuário administrador no espaço de trabalho). Agora, o usuário que cria o espaço de trabalho será adicionado automaticamente como administrador do espaço de trabalho.

Para obter detalhes sobre como criar e iniciar espaços de trabalho, consulte Gerenciar sua assinatura

Estão agora disponíveis sinalizadores para gerir a segurança das áreas de trabalho e funcionalidades de blocos de notas

4 a 11 de fevereiro de 2020: Versão 3.12

Esta versão apresenta novos sinalizadores para gerenciar os cabeçalhos de segurança que são enviados para evitar ataques ao seu espaço de trabalho, bem como o acesso a downloads de resultados de notebook e controle de versão do Git. Todas essas opções administrativas são habilitadas por padrão.