Junho de 2019
Esses recursos e aprimoramentos da plataforma Azure Databricks foram lançados em junho de 2019.
Nota
Os lançamentos são encenados. Sua conta do Azure Databricks pode não ser atualizada até uma semana após a data de lançamento inicial.
O suporte para instâncias Lsv2 está em disponibilidade geral
24 a 26 de junho de 2019: Versão 2.100
O Azure Databricks agora fornece suporte total para a série de VMs Lsv2 para cargas de trabalho de alta taxa de transferência e IOPS altas.
A integração no RStudio já não está limitada a clusters de elevada simultaneidade
6 a 11 de junho de 2019: Versão 2.99
Agora você pode habilitar o RStudio Server em clusters padrão no Azure Databricks, além dos clusters de alta simultaneidade que já eram suportados. Independentemente do modo de cluster, a integração do RStudio Server continua a exigir que desative a opção de terminação automática para o cluster. Consulte RStudio no Azure Databricks.
MLflow 1.0
Junho 3, 2019
O MLflow é uma plataforma de código aberto para gerenciar todo o ciclo de vida do aprendizado de máquina. Com o MLflow, os cientistas de dados podem rastrear e compartilhar experimentos localmente ou na nuvem, empacotar e compartilhar modelos entre estruturas e implantar modelos praticamente em qualquer lugar.
Estamos entusiasmados em anunciar o lançamento do MLflow 1.0 hoje. A versão 1.0 não apenas marca a maturidade e a estabilidade das APIs, mas também adiciona uma série de recursos e melhorias frequentemente solicitados:
- A CLI foi reorganizada e agora tem comandos dedicados para artefatos, modelos, db (o banco de dados de rastreamento) e servidor (o servidor de rastreamento).
- A pesquisa do servidor de rastreamento suporta uma versão simplificada da
SQL WHEREcláusula. Além de suportar métricas de execução e parâmetros, a pesquisa foi aprimorada para suportar alguns atributos de execução e tags de usuário e sistema. - Adiciona suporte para coordenadas x na API de rastreamento. Os componentes de visualização da interface do usuário MLflow agora também oferecem suporte à plotagem de métricas em relação aos valores de coordenadas x fornecidos.
- Adiciona um ponto de
runs/log-batchextremidade da API REST, bem como métodos Python, R e Java para registrar várias métricas, parâmetros e tags com uma única solicitação de API. - Para rastreamento, o cliente MLflow 1.0 agora é suportado no Windows.
- Adiciona suporte para HDFS como back-end de armazenamento de artefatos.
- Adiciona um comando para criar um contêiner do Docker cujo ponto de entrada padrão serve o modelo de função Python MLflow especificado na porta 8080 dentro do contêiner.
- Adiciona um sabor de modelo experimental ONNX .
Você pode exibir a lista completa de alterações no log de alterações do MLflow.
Databricks Runtime 5.4 para Machine Learning
Junho 3, 2019
O Databricks Runtime 5.4 ML é construído sobre o Databricks Runtime 5.4 (EoS). Ele contém muitas bibliotecas populares de aprendizado de máquina, incluindo TensorFlow, PyTorch, Keras e XGBoost, e fornece treinamento distribuído do TensorFlow usando Horovod.
Inclui as seguintes novas funcionalidades:
- Integração do MLlib com o MLflow (Public Preview).
- Hyperopt com a nova classe SparkTrials pré-instalada (Visualização pública).
- A saída HorovodRunner enviada do Horovod para o nó do driver Spark agora é visível nas células do notebook.
- Pacote Python XGBoost pré-instalado.
Para obter detalhes, consulte Databricks Runtime 5.4 for ML (EoS).
Databricks Runtime 5.4
Junho 3, 2019
O Databricks Runtime 5.4 já está disponível. O Databricks Runtime 5.4 inclui o Apache Spark 2.4.2, bibliotecas Python, R, Java e Scala atualizadas e os seguintes novos recursos:
- Delta Lake on Databricks adiciona Auto Otimize (Visualização pública)
- Use seu IDE favorito e servidor de notebook com o Databricks Connect
- Utilitários de biblioteca geralmente disponíveis
- Fonte de dados de arquivo binário
Para obter detalhes, consulte Databricks Runtime 5.4 (EoS).