Caracterización para la transferencia de aprendizaje
En este artículo se proporciona un ejemplo de caracterización para el aprendizaje por transferencia con UDF de Pandas.
Caracterización para el aprendizaje por transferencia en modelos de aprendizaje profundo
Azure Databricks admite la caracterización con modelos de aprendizaje profundo. Se pueden usar modelos de aprendizaje profundo previamente entrenados para procesar características para su uso en otros modelos de niveles inferiores. Azure Databricks admite la caracterización a escala distribuyendo el procesamiento en un clúster. La caracterización se puede realizar con las bibliotecas de aprendizaje profundo que se incluyen en Databricks Runtime ML, como TensorFlow y PyTorch.
Azure Databricks también admite la transferencia de aprendizaje, una técnica muy relacionada con la caracterización. La transferencia de aprendizaje le permite volver a usar el conocimiento de un dominio de problemas en un dominio relacionado. La caracterización es un método sencillo y eficaz para la transferencia de aprendizaje: el procesamiento de características con un modelo de aprendizaje profundo previamente entrenado transfiere conocimientos acerca de las mejores características del dominio original.
Pasos para calcular las características de aprendizaje por transferencia
En este artículo se muestra cómo calcular características para el aprendizaje por transferencia mediante un modelo de TensorFlow entrenado previamente, con el siguiente flujo de trabajo:
- Comience con un modelo de aprendizaje profundo entrenado previamente, en este caso un modelo de clasificación de imágenes de
tensorflow.keras.applications. - Trunque las últimas capas del modelo. El modelo modificado genera un tensor de características como salida, en lugar de una predicción.
- Aplique ese modelo a un nuevo conjunto de datos de imagen de un dominio con problemas diferente, calculando las características de las imágenes.
- Use estas características para entrenar un nuevo modelo. En el cuaderno siguiente se omite este paso final. Para obtener ejemplos de entrenamiento de un modelo simple, como la regresión logística, consulte Ejemplos de entrenamiento de modelos de IA y ML.
Ejemplo: Uso de UDF de Pandas para la caracterización
En el cuaderno siguiente se usan UDF de Pandas para realizar el paso de caracterización. Las UDF de pandas, y sus recientes UDF de Pandas de iterador escalar, ofrecen API flexibles, admiten cualquier biblioteca de aprendizaje profundo y ofrecen un alto rendimiento.