Fevereiro de 2019

Esses recursos e aprimoramentos da plataforma Azure Databricks foram lançados em fevereiro de 2019.

Nota

Os lançamentos são encenados. Sua conta do Azure Databricks pode não ser atualizada até uma semana após a data de lançamento inicial.

Databricks Light em disponibilidade geral

26 de fevereiro a 5 de março de 2019: Versão 2.92

Databricks Light (também conhecido como Data Engineering Light) já está disponível. Databricks Light é a embalagem Databricks do tempo de execução do Apache Spark de código aberto. Ele fornece uma opção de tempo de execução para trabalhos que não precisam dos benefícios avançados de desempenho, confiabilidade ou dimensionamento automático fornecidos pelo Databricks Runtime. Você pode selecionar Databricks Light somente quando cria um cluster para executar um trabalho JAR, Python ou spark-submit, não é possível selecionar esse tempo de execução para clusters nos quais você executa cargas de trabalho interativas ou de bloco de anotações. Consulte Databricks Light.

Pré-visualização Pública do MLflow gerido no Azure Databricks

26 de fevereiro a 5 de março de 2019: Versão 2.92

O MLflow é uma plataforma open source para gerir o ciclo de vida completo de machine learning. Aborda três funções principais:

• Acompanhamento de experiências para registar e comparar parâmetros e resultados.
• Gerenciando e implantando modelos de uma variedade de bibliotecas de ML para uma variedade de plataformas de serviço e inferência de modelos.
• Empacotar o código ML em uma forma reutilizável e reproduzível para compartilhar com outros cientistas de dados ou transferir para a produção.

O Azure Databricks agora fornece uma versão totalmente gerenciada e hospedada do MLflow integrada com recursos de segurança corporativa, alta disponibilidade e outros recursos do espaço de trabalho do Azure Databricks, como gerenciamento de experimentos, gerenciamento de execução e captura de revisão de bloco de anotações. O MLflow no Azure Databricks oferece uma experiência integrada para acompanhar e proteger execuções de preparação de modelos de machine learning e para executar projetos de machine learning. Ao usar o MLflow gerenciado no Azure Databricks, você obtém as vantagens de ambas as plataformas, incluindo:

• Espaços de trabalho: acompanhe e organize experimentos e resultados de forma colaborativa nos Espaços de Trabalho do Azure Databricks com um Servidor de Controle de Fluxo de Fluxo hospedado e uma interface do usuário de experimento integrada. Quando você usa o MLflow em blocos de anotações, o Azure Databricks captura automaticamente as revisões do bloco de anotações para que você possa reproduzir o mesmo código e ser executado posteriormente.
• Segurança: aproveite um modelo de segurança comum para todo o ciclo de vida do ML por meio de ACLs.
• Trabalhos: execute projetos MLflow como trabalhos do Azure Databricks remotamente e diretamente dos blocos de anotações do Azure Databricks.

Aqui está uma demonstração de um fluxo de trabalho de acompanhamento em um espaço de trabalho do Azure Databricks:

Para obter detalhes, consulte Controlar execuções de treinamento de ML e aprendizado profundo e Executar projetos MLflow no Azure Databricks.

O conector do Azure Data Lake Storage Gen2 está em disponibilidade geral

Fevereiro 15, 2019

O Azure Data Lake Storage Gen2 (ADLS Gen2), a solução de data lake de próxima geração para análise de big data, agora é GA, assim como o conector ADLS Gen2 para Azure Databricks. Também temos o prazer de anunciar que o ADLS Gen2 suporta Databricks Delta quando você executa clusters no Databricks Runtime 5.2 e superior.

Quando cria clusters, o Python 3 é agora a predefinição

12 a 19 de fevereiro de 2019: Versão 2.91

A versão padrão do Python para clusters criados usando a interface do usuário mudou de Python 2 para Python 3. O padrão para clusters criados usando a API REST ainda é Python 2.

Os clusters existentes não alterarão suas versões do Python. Mas se você tem o hábito de tomar o padrão Python 2 quando cria novos clusters, você precisará começar a prestar atenção à sua seleção de versão do Python.

Disponibilidade geral do Delta Lake

Fevereiro 1, 2019

Agora todos podem obter os benefícios da poderosa camada de armazenamento transacional do Databricks Delta e leituras super-rápidas: a partir de 1º de fevereiro, o Delta Lake está disponível em todas as versões suportadas do Databricks Runtime. Para obter informações sobre o Delta, consulte O que é Delta Lake?.