Entrenamiento y evaluación del modelo
El entrenamiento y la evaluación del modelo son un proceso iterativo de adición de datos y etiquetas al conjunto de datos de entrenamiento para enseñar al modelo con mayor precisión. Para saber qué tipos de datos y etiquetas se deben mejorar, Language Studio proporciona puntuaciones en la página View model details (Ver detalles del modelo) en el panel de la izquierda.
Las entidades individuales y la puntuación general de modelos se desglosan en tres métricas para explicar cómo funcionan y dónde deben mejorar.
| Métrica | Descripción |
|---|---|
| Precision | Proporción de reconocimientos de entidades correctos en relación con todos los reconocimientos intentados. Una puntuación alta significa que, siempre y cuando se reconozca la entidad, se etiqueta correctamente. |
| Recuperación | Proporción de reconocimientos de entidades correctos en relación con el número real de entidades en el documento. Una puntuación alta significa que la entidad o las entidades se encuentran correctamente, con independencia de si les asigna la etiqueta correcta |
| Puntuación F1 | Combinación de precisión y coincidencia con una única métrica de puntuación |
Hay puntuaciones disponibles tanto por entidad como para el modelo en su conjunto. Es posible que observe que una entidad tiene buena puntuación, pero el modelo completo no.
Proceso de interpretación de métricas
Lo ideal es que el modelo tenga una puntuación correcta tanto en precisión como en coincidencia, lo que significa que el reconocimiento de entidades funciona bien. Si las dos métricas tienen una puntuación baja, significa que el modelo tiene dificultades para reconocer entidades en el documento y, cuando extrae esa entidad, no le asigna la etiqueta correcta con confianza alta.
Si la precisión es baja pero la coincidencia es alta, significa que el modelo reconoce bien la entidad, pero no la etiqueta como el tipo de entidad correcto.
Si la precisión es alta pero la coincidencia es baja, significa que el modelo no siempre reconoce la entidad, pero cuando la extrae, se aplica la etiqueta correcta.
Matriz de confusión
En la misma página View model details, hay otra pestaña en la parte superior para la Confusion matrix. En esta vista se ofrece una tabla visual de todas las entidades y el comportamiento de cada una, lo que proporciona una vista completa del modelo y dónde tiene dificultades.
La matriz de confusión permite identificar visualmente dónde agregar datos para mejorar el rendimiento del modelo.