Abril de 2019
Estas características y las mejoras de la plataforma de Azure Databricks se publicaron en abril de 2019.
Nota:
Las versiones se publican por fases. Es posible que su cuenta de Azure Databricks no se actualice hasta una semana después de la fecha de lanzamiento inicial.
MLflow en Azure Databricks (disponibilidad general)
25 de abril de 2019
MLflow administrado en Azure Databricks ya está disponible con carácter general. MLflow en Azure Databricks ofrece una versión hospedada de MLflow, totalmente integrada con el modelo de seguridad de Databricks y el área de trabajo interactiva. Consulte Administración del ciclo de vida de ML mediante MLflow.
Delta Lake en Azure Databricks
24 de abril de 2019
Databricks ha convertido el proyecto de Delta Lake en uno de código abierto. Delta Lake es una capa de almacenamiento que aporta confiabilidad a los lagos de datos basados en HDFS y al almacenamiento en la nube, al proporcionar transacciones ACID a través del control de simultaneidad optimista entre escrituras y aislamiento de instantáneas, para que las lecturas sean coherentes durante las escrituras. Delta Lake también proporciona un control de versiones de datos integrado, para revertir y reproducir informes fácilmente.
Nota:
Lo que anteriormente se denominaba Databricks Delta es ahora el proyecto de código abierto de Delta Lake y las optimizaciones disponibles en Azure Databricks. Consulte ¿Qué es Delta Lake?
Barra lateral de ejecuciones de MLflow
Del 9 al 16 de abril de 2019: versión 2.95
Ahora puede ver las ejecuciones de MLflow y las revisiones del cuaderno que generaron estas ejecuciones, en una barra lateral junto al cuaderno. En la barra lateral derecha del cuaderno, haga clic en el icono de Experimento
.
Consulte Creación de un experimento de cuaderno.
Acceso automático a Azure Data Lake Storage Gen1 y Gen2 con sus credenciales de Microsoft Entra ID (disponibilidad general)
Del 9 al 16 de abril de 2019: versión 2.95
Nos complace anunciar la disponibilidad general de la autenticación automática en Azure Data Lake Storage Gen1 y Gen2, desde los clústeres de Azure Databricks, mediante la misma identidad de Microsoft Entra ID que usa para registrarse en Azure Databricks.
Simplemente, habilite el clúster para el acceso directo con credenciales de Microsoft Entra ID. Así, los comandos que ejecute en ese clúster podrán leer y escribir sus datos en Azure Data Lake Storage Gen1 y Gen2, sin necesidad de configurar las credenciales de la entidad de servicio para el acceso al almacenamiento.
Para obtener más información, consulte Acceso a Azure Data Lake Storage mediante el acceso directo a credenciales de Microsoft Entra ID (heredado).
Databricks Runtime 5.3 (disponibilidad general)
3 de abril de 2019
Databricks Runtime 5.3 está disponible con carácter general. Databricks Runtime 5.3 incluye nuevas características y actualizaciones de Delta Lake, así como bibliotecas actualizadas de Python, R, Java y Scala.
Las actualizaciones principales incluyen:
- Disponibilidad general del viaje en el tiempo de Databricks Delta
- Replicación de tablas de MySQL en Delta, Versión preliminar pública
- Optimización de la carpeta FUSE de DBFS para cargas de trabajo de aprendizaje profundo
- Mejoras en la biblioteca con ámbito de cuaderno
- Nuevas sugerencias de Databricks Advisor
Para más información, consulte Databricks Runtime 5.3 (EoS).
Databricks Runtime 5.3 ML (disponibilidad general)
3 de abril de 2019
Con Databricks Runtime 5.3 para Machine Learning, hemos logrado nuestra primera versión de Databricks Runtime ML con disponibilidad general. Databricks Runtime ML proporciona un entorno listo para usar, para el aprendizaje automático y la ciencia de datos. Se compila a partir de Databricks Runtime y agrega muchas bibliotecas populares de aprendizaje automático, incluidas TensorFlow, PyTorch, Keras y XGBoost. También admite el entrenamiento distribuido mediante Horovod.
Esta versión se basa en Databricks Runtime 5.3, con bibliotecas adicionales, algunas versiones de biblioteca diferentes y con administración de paquetes de Conda para bibliotecas de Python. Las principales características nuevas desde la versión beta de Databricks Runtime 5.2 ML incluyen:
Integración de MLlib con MLflow (Versión preliminar privada), que proporciona el registro automático de ejecuciones de MLflow para el ajuste de modelos, mediante los algoritmos de optimización
CrossValidatoryTrainValidationSplitde PySpark.Si quiere participar en la versión preliminar, póngase en contacto con el equipo de cuentas de Databricks.
Actualizaciones de las bibliotecas PyArrow, Horovod y TensorboardX.
La actualización de PyArrow agrega la capacidad de usar
BinaryTypeal realizar la conversión basada en Arrow, y hace que esté disponible en la UDF de Pandas.
Para más información, consulte Databricks Runtime 5.3 ML (EoS). Para ver instrucciones sobre la creación de un clúster de Databricks Runtime ML, consulte IA y aprendizaje automático en Databricks.