Rendimiento del modelo de predicción
Después de cada entrenamiento, AI Builder usa el conjunto de datos de prueba para evaluar la calidad y la idoneidad del modelo nuevo. Una página de resumen del modelo muestra su resultado de entrenamiento del modelo. Estos resultados se expresan como una calificación de rendimiento de A, B, C o D.
Medición del rendimiento
Grado de rendimiento
Después de cada entrenamiento, AI Builder muestra un grado que le ayudará a evaluar la precisión del modelo. La decisión sobre si el modelo está listo para su publicación debe tomarse en función de las necesidades y circunstancias específicas. AI Builder proporciona las siguientes calificaciones de rendimiento para ayudarle a tomar esa decisión.
Cómo interpretar cada grado
| Calificación | Instrucciones |
|---|---|
| A | Todavía se podría mejorar el modelo, pero es el mejor nivel que puede obtener. |
| B | El modelo es correcto en la mayoría de los casos. ¿Se podría mejorar? Eso depende de sus circunstancias, datos y requisitos específicos. |
| C | El modelo es algo mejor que una estimación aleatoria. Podría ser aceptable para algunas aplicaciones, pero en la mayoría de los casos, se trata de un modelo que se debe seguir retocando y mejorando. |
| D | Hay algún problema. El rendimiento del modelo es peor de lo que cabría esperar de una estimación aleatoria (modelo infraajustado). O bien, está funcionando tan bien (al 100% o muy cerca a ese porcentaje) que probablemente tenga una columna de datos que esté directamente correlacionada con el resultado (modelo sobreajustado). |
- Más información acerca de los modelos infraajustados
- Más información acerca de los modelos sobreajustados
El rango de precisión varía según sus datos.
Si está prediciendo 2 o más resultados, las tasas de precisión reales que corresponden a las calificaciones anteriores pueden variar en función de la distribución de los datos históricos. La diferencia tiene en cuenta que la mejora relativa de la tasa base cambia cuando se mueve la línea de base.
Supongamos que el modelo predice si un envío llegará a tiempo o no. Si su tasa de puntualidad histórica es del 80 %, una puntuación de precisión de 92 corresponderá a una calificación B. Pero si su tasa de puntualidad histórica es del 50 %, una puntuación de precisión de 92 corresponderá a una calificación A. Esto se debe a que el 92 % supone una mejora mayor si se parte del 50 % en lugar del 80 %, y se espera que una estimación aleatoria se acerque a esos porcentajes.
Ejemplo de datos históricos binarios
En este ejemplo se muestran los intervalos de precisión para cada calificación cuando los datos históricos contienen distintas tasas de puntualidad para una predicción binaria.
| Calificación | Intervalo de precisión para una tasa de puntualidad histórica del 25 % | Intervalo de precisión para una tasa de puntualidad histórica del 50 % | Intervalo de precisión para una tasa de puntualidad histórica del 80 % | Intervalo de precisión para una tasa de puntualidad histórica del 95 % |
|---|---|---|---|---|
| A | 92,5 - <99,3 % | 90 - 98 % | 93 - <99 % | 98,1 - <99,8 % |
| B | 81,3 - <92,5 % | 75 - <90 % | 84 - <93 % | 95,3 - <98,1 % |
| C | 66,3 - <81,3 % | 55 - <75 % | 71 - <84 % | 91,5 - <95,3 % |
| D | <66,3% o ≥99,3% | <55% o ≥98% | <71% o ≥99% | <91,5% o ≥99,8% |
Ejemplo de datos históricos de varios resultados
Las tasas de precisión que corresponden a cada grado también pueden variar cuando se predicen más de 2 resultados. Digamos que su modelo predice más de dos opciones de entrega: temprano, a tiempo o tarde.
Los rangos de precisión para cada calificación cambian cuando cambian sus tasas históricas de puntualidad.
| Calificación | Temprano (33,3 %) | Temprano (20 %) | Temprano (10 %) |
|---|---|---|---|
| A tiempo (33,3 %) | A tiempo (40 %) | A tiempo (80 %) | |
| Tarde (33,4 %) | Tarde (40 %) | Tarde (10 %) | |
| A | 86,7 - <98,7 % | 87,2 - <98,7 % | 93,2 - <99,3 % |
| B | 66,7 - <86,7 % | 68,0 - <87,2 % | 83,0 - <93,2 % |
| C | 40,0 - <66,7 % | 42,4 - <68,0 % | 69,4 - <83,0 % |
| D | 33,3 - <40,0 % | 36,0 - <42,4 % | 66,0 - <69,4 % |
Ejemplo de predicción numérica
Para números predicción, AI Builder utiliza la medida estadística R-cuadrado para calcular el grado de precisión de sus modelos. En la tabla siguiente se muestran los grados que se corresponden a cada grado:
| Calificación | R al cuadrado |
|---|---|
| E | 85 % - <99 % |
| B | 60 % - <85 % |
| C | 10 % - <60 % |
| D | ≥99% o <10% |
Detalles de rendimiento
Para obtener más información sobre el entrenamiento, seleccione Ver detalles en el cuadro de calificación del modelo. En la pestaña Rendimiento, está disponible la siguiente información:
Nota
Para obtener más información sobre las características adicionales planeadas para esta área, vea los planes de lanzamiento.
- Puntuación de precisión
- R al cuadrado
Puntuación de precisión
AI Builder calcula la puntuación de precisión del modelo en función del resultado de predicción del conjunto de datos de prueba. Antes del entrenamiento, AI Builder divide el conjunto de datos en datos de entrenamiento y conjuntos de datos de prueba independientes. Después del entrenamiento, AI Builder aplica el modelo de IA al conjunto de datos de prueba y, a partir de ahí, calcula la puntuación de precisión. Por ejemplo: si su conjunto de datos de prueba tiene 200 filas y AI Builder predice correctamente 192 de ellos, AI Builder muestra una puntuación de precisión del 96 por ciento.
Para más información, vea Evaluar el modelo.
R al cuadrado
Para predicción numérica, AI Builder calcula una puntuación r-cuadrada después de cada entrenamiento. Esta puntuación mide la "bondad de ajuste" de su modelo y se utiliza para determinar el grado de rendimiento de su modelo.
Supongamos que está prediciendo el número de días para cumplir, enviar y entregar un pedido. El modelo predice un conjunto de números. El valor de r al cuadrado se basa en las distancias entre los valores de predicción y los valores reales de los datos de entrenamiento. Se expresa como un número entre 0 y 100 %, los valores más altos indican que el valor de predicción está más cerca del valor real. Normalmente, una puntuación más alta significa que el modelo funciona mejor. Pero recuerde que las puntuaciones perfectas o casi perfectas (modelos sobreajustados) suelen indicar un problema con los datos de entrenamiento.
En la pestaña Resumen, está disponible la siguiente información de rendimiento:
- Fecha del entrenamiento
- Origen de datos
- Resultado histórico
- Lista de tablas que se usa para realizar la predicción.
Mejorar el rendimiento del modelo de predicción
Después de entrenar y evaluar el modelo, es el momento de ajustar el modelo para mejorar su rendimiento. Estas son algunas tareas que puede intentar para ayudar a mejorar el poder predictivo del modelo.
Revisar los errores y problemas
- Si hay errores tras haber finalizado el entrenamiento, corríjalos y vuelva a entrenar el modelo.
- Si no hay ningún error, consulte los detalles del entrenamiento. Intente resolver tantos problemas como sea posible y, después, vuelva a entrenar el modelo.
Revisar los principales elementos de influencia
Después de cada entrenamiento, aparece una lista de los principales elementos de influencia en la página de detalles del modelo. Cada columna usada en el entrenamiento tiene una puntuación para representar su influencia en el mismo. Estas puntuaciones se combinan para igualar el 100 por ciento.
Esto ayuda a mostrar si el modelo está entrenado según lo esperado. Por ejemplo, si desea predecir la intención del comprador en línea y está esperando Edad, producto como la columna más influyente, debería verla en la lista de columnas más influyente en la página de detalles del modelo. De lo contrario, puede indicar que el resultado del entrenamiento no es el esperado. En este caso, puede anular la selección de las columnas irrelevantes o engañosas y volver a entrenar el modelo, o bien comprobar los problemas de entrenamiento para ver más detalles al respecto.
Agregar más datos
El requisito mínimo para entrenar datos es 50 filas, pero esto no significa que con 50 filas de datos se pueda entrenar un modelo muy predictivo. Intente proporcionar 1000 o más filas de datos, etiquetados correctamente, con una distribución realista entre las opciones.
Comprobar la distribución de datos
Por ejemplo, si usamos dos etiquetas de opción de tipo Sí o No, y la mayoría de las filas de datos solamente tiene Sí en esta columna, es difícil que el modelo se entrene a partir de estos datos. Intente tener una distribución de las opciones de los datos que reflejen a grandes rasgos la distribución de las opciones que cabría esperar ver. Por ejemplo, si estamos examinando las columnas de datos cat_owner y dog_owner, use una distribución de datos de en torno al 50 %. Si está consultando las transacciones fraudulentas, use una distribución más desequilibrada, quizás de 95 % a 5 %. Consulte los estándares del sector relativos a este tipo de información si no sabe qué esperar.
Añadir más columna
Por ejemplo, si quiere predecir qué clientes tienen más probabilidades de devolver y adquirir sus productos, Puede agregar más columnas para enriquecer los datos de entrenamiento. Por ejemplo:
- ¿Cómo pueden valorar el producto?
- ¿Cuánto usan el producto?
- ¿Es un cliente existente?
Acote las columnas seleccionadas a información relevante
Es posible que ya tenga muchos datos de entrenamiento correctamente etiquetados, con muchas columnas de datos. Entonces, ¿por qué el modelo no tiene un buen comportamiento? Puede deberse a que ha seleccionado columnas que llevan a sesgos indeseados. Asegúrese de que todas las columnas que seleccione son relevantes para influir en lo que desea predecir. Cancele la selección de columnas irrelevantes o engañosas.
Validar datos
- Asegúrese de que las columnas de datos no tienen una alta tasa de valores que falten (más del 99%). Rellene los valores que faltan con datos predeterminados o quite la columna de datos del entrenamiento de modelo.
- Si una columna de datos tiene una alta correlación con un resultado de predicción, quite la columna de datos del entrenamiento de modelo.