Guía de migración de canalizaciones de aprendizaje profundo
Importante
Esta documentación se ha retirado y es posible que no se actualice. Los productos, servicios o tecnologías mencionados en este contenido ya no se admiten. Consulta IA y aprendizaje automático en Databricks.
En esta página, se incluyen sugerencias relacionadas con el proceso de migración desde el paquete Deep Learning Pipelines de código abierto que se incluía en Databricks Runtime 6.6 ML y las versiones anteriores. Las partes de la biblioteca de canalizaciones de aprendizaje profundo sparkdl se quitaron en Databricks Runtime 7.0 ML (EoS), en concreto, los transformadores y estimadores usados en canalizaciones de Apache Spark ML.
Esta página no constituye un recurso de información general sobre las canalizaciones de aprendizaje profundo de Azure Databricks.
Lectura de imágenes
El paquete de canalizaciones de aprendizaje profundo incluye un lector de imágenes sparkdl.image.imageIO, el que se quitó en Databricks Runtime 7.0 ML (EoS).
En su lugar, use el origen de datos de imágenes o el origen de datos de archivos binarios de Apache Spark. Muchos de los cuadernos de ejemplo en Carga de datos para el aprendizaje automático y el aprendizaje profundo muestran casos de uso de estos dos orígenes de datos.
Transferencia de aprendizaje
El paquete Deep Learning Pipelines incluye un transformador sparkdl.DeepImageFeaturizer de Spark ML para facilitar el aprendizaje por transferencia con modelos de aprendizaje profundo. DeepImageFeaturizer se quitó en Databricks Runtime 7.0 ML (EoS).
En su lugar, utilice UDF de Pandas para realizar la caracterización con modelos de aprendizaje profundo. Las UDF de Pandas (y su variante más reciente, las UDF de Pandas de iterador escalar) ofrecen API más flexibles, admiten más bibliotecas de aprendizaje profundo y ofrecen un mejor rendimiento.
Si necesita ejemplos de aprendizaje por transferencia con UDF de Pandas, consulte Caracterización para el aprendizaje por transferencia.
Ajuste distribuido de hiperparámetros
El paquete Deep Learning Pipelines incluye un estimador sparkdl.KerasImageFileEstimator de Spark ML para ajustar hiperparámetros mediante las utilidades de ajuste de Spark ML. KerasImageFileEstimator se quitó en Databricks Runtime 7.0 ML (EoS).
En su lugar, utilice Hyperopt para distribuir el ajuste de hiperparámetros para modelos de aprendizaje profundo.
Inferencia distribuida
El paquete de canalizaciones de aprendizaje profundo incluye varios transformadores Spark ML, que se muestran a continuación, para distribuir los procesos de inferencia que se habían quitado por completo en Databricks Runtime 7.0 ML (EoS):
DeepImagePredictorTFImageTransformerKerasImageFileTransformerTFTransformerKerasTransformer
En su lugar, utilice UDF de Pandas para ejecutar inferencia en DataFrames de Spark y siga los ejemplos que aparecen en Implementación de modelos para inferencia y predicción.