Abril de 2019
Esses recursos e aprimoramentos da plataforma Azure Databricks foram lançados em abril de 2019.
Nota
Os lançamentos são encenados. Sua conta do Azure Databricks pode não ser atualizada até uma semana após a data de lançamento inicial.
MLflow no Azure Databricks (Disponibilidade Geral)
Abril 25, 2019
O MLflow gerenciado no Azure Databricks agora está disponível ao público em geral. O MLflow no Azure Databricks oferece uma versão hospedada do MLflow totalmente integrada ao modelo de segurança Databricks e ao espaço de trabalho interativo. Consulte Gerenciamento do ciclo de vida do ML usando o MLflow.
Delta Lake no Azure Databricks
Abril 24, 2019
A Databricks abriu o projeto Delta Lake . O Delta Lake é uma camada de armazenamento que traz confiabilidade aos data lakes construídos em HDFS e armazenamento em nuvem, fornecendo transações ACID por meio de controle de simultaneidade otimista entre gravações e isolamento de snapshot para leituras consistentes durante as gravações. O Delta Lake também fornece controle de versão de dados integrado para facilitar reversões e reprodução de relatórios.
Nota
O que antes era chamado de Databricks Delta agora é o projeto de código aberto Delta Lake, além de otimizações disponíveis no Azure Databricks. Veja O que é Delta Lake?.
Barra lateral de execuções do MLflow
9 a 16 de abril de 2019: Versão 2.95
Agora você pode visualizar as execuções do MLflow e as revisões do bloco de anotações que produziram essas execuções em uma barra lateral ao lado do seu bloco de anotações. Na barra lateral direita do bloco de notas, clique no ícone 
Experiência .
Consulte Criar experiência de bloco de anotações.
Acesse o Azure Data Lake Storage Gen1 e Gen2 automaticamente com suas credenciais de ID do Microsoft Entra (GA)
9 a 16 de abril de 2019: Versão 2.95
Temos o prazer de anunciar a disponibilidade geral da autenticação automática para o Azure Data Lake Storage Gen1 e Gen2 a partir de clusters do Azure Databricks usando a mesma identidade de ID do Microsoft Entra que você usa para fazer logon no Azure Databricks.
Basta habilitar seu cluster para passagem de credenciais do Microsoft Entra ID e os comandos executados nesse cluster poderão ler e gravar seus dados no Azure Data Lake Storage Gen1 e Gen2 sem exigir que você configure as credenciais da entidade de serviço para acesso ao armazenamento.
Para obter mais informações, consulte Access Azure Data Lake Storage using Microsoft Entra ID credential passthrough (legacy).
Databricks Runtime 5.3 (Disponibilidade Geral)
Abril 3, 2019
O Databricks Runtime 5.3 agora está disponível para o público em geral. O Databricks Runtime 5.3 inclui novos recursos e atualizações do Delta Lake e bibliotecas Python, R, Java e Scala atualizadas.
As principais atualizações incluem:
- Databricks Delta viagem no tempo GA
- Replicação de tabela MySQL para Delta, visualização pública
- Pasta DBFS FUSE otimizada para cargas de trabalho de aprendizagem profunda
- Melhorias na biblioteca com escopo de bloco de anotações
- Novas dicas do Databricks Advisor
Para obter detalhes, consulte Databricks Runtime 5.3 (EoS).
Databricks Runtime 5.3 ML (Disponibilidade Geral)
Abril 3, 2019
Com o Databricks Runtime 5.3 para Machine Learning, alcançamos nosso primeiro GA de Databricks Runtime ML! O Databricks Runtime ML fornece um ambiente pronto para uso para aprendizado de máquina e ciência de dados. Ele se baseia no Databricks Runtime e adiciona muitas bibliotecas populares de aprendizado de máquina, incluindo TensorFlow, PyTorch, Keras e XGBoost. Também suporta a preparação distribuída com o Horovod.
Esta versão é construída no Databricks Runtime 5.3, com bibliotecas adicionais, algumas versões de bibliotecas diferentes e gerenciamento de pacotes Conda para bibliotecas Python. Os principais novos recursos desde o Databricks Runtime 5.2 ML Beta incluem:
Integração MLlib com MLflow (Private Preview), que fornece registro automático de execuções MLflow para modelos ajustados usando os algoritmos
CrossValidatorde ajuste PySpark eTrainValidationSplit.Se você quiser participar da visualização, entre em contato com sua equipe de conta Databricks.
Atualizações para as bibliotecas PyArrow, Orovod e TensorboardX.
A atualização PyArrow adiciona a capacidade de usar
BinaryTypequando você executa a conversão baseada em seta e a torna disponível em pandas UDF.
Para obter mais informações, consulte Databricks Runtime 5.3 ML (EoS). Para obter instruções sobre como criar um cluster de ML do Databricks Runtime, consulte IA e aprendizado de máquina no Databricks.