Inférence et évaluation des modèles de prévision

Cet article présente les concepts liés à l’inférence et à l’évaluation de modèles dans les tâches de prévision. Pour obtenir des instructions et des exemples de formation de modèles de prévision dans AutoML, voir Configurer AutoML pour former un modèle de prévision de série chronologique avec SDK et CLI.

Après avoir utilisé AutoML pour former et sélectionner le meilleur modèle, l’étape suivante consiste à générer des prévisions. Ensuite, si possible, évaluez leur précision sur un jeu de tests conservé à partir des données de formation. Pour savoir comment configurer et exécuter l’évaluation d’un modèle de prévision dans le cadre de l’apprentissage automatique, voir Orchestrer la formation, l’interférence et l’évaluation.

Scénarios d’inférence

Dans le Machine Learning, l’inférence est le processus de génération de prédictions de modèle pour les nouvelles données non utilisées dans la formation. Il existe plusieurs façons de générer des prédictions dans les prévisions en raison de la dépendance temporelle des données. Le scénario le plus simple se présente lorsque la période d’inférence suit immédiatement la période de formation et que vous générez des prédictions jusqu’à l’horizon de prévision. Le diagramme suivant illustre ce scénario :

Le schéma montre deux paramètres d’inférence importants :

• La longueur du contexte est la quantité d’historique dont le modèle a besoin pour effectuer une prévision.
• L’horizon de prévision, c’est-à-dire jusqu’à quel point dans le futur le prévisionniste est formé à anticiper.

Les modèles de prévision utilisent généralement certaines informations historiques, le contexte pour effectuer des prédictions dans le futur jusqu’à l’horizon de prévision. Lorsque le contexte fait partie des données de formation, AutoML enregistre ce dont il a besoin pour effectuer des prévisions. Il n’est pas nécessaire de fournir explicitement.

Il existe deux autres scénarios d’inférence plus complexes :

• La génération de prédictions plus loin dans l’avenir que l’horizon de prévision
• L’obtention de prédictions en cas d’écart entre les périodes de formation et d’inférence

Les sous-sections suivantes passent en revue ces cas.

Prédire au-delà de l’horizon de prévision : prévision récursive

Lorsque vous avez besoin de prévisions au-delà de l’horizon, AutoML applique le modèle de manière récursive sur la période d’inférence. Les prévisions du modèle sont réinjectées comme données d’entrée afin de générer des prévisions pour les fenêtres de prévision suivantes. Le schéma suivant présente un exemple simple :

Ici, l’apprentissage automatique génère des prévisions sur une période trois fois plus longue que l’horizon. Elle utilise des prédictions d’une fenêtre comme contexte pour la fenêtre suivante.

Avertissement

Erreurs de modélisation des composés de prévision récursifs. Les prédictions sont moins précises plus elles s’éloignent de l’horizon de prévision d’origine. Vous pourriez trouver un modèle plus précis en procédant à une nouvelle formation avec un horizon plus long.

Prédire avec un écart entre les périodes de formation et d’inférence

Supposons qu’après avoir formé un modèle, vous souhaitiez l’utiliser pour faire des prédictions à partir de nouvelles observations qui n’étaient pas encore disponibles lors de la formation. Dans ce cas, il existe un intervalle de temps entre les périodes d’apprentissage et d’inférence :

AutoML prend en charge ce scénario d’inférence, mais vous devez fournir les données de contexte dans la période d’intervalle, tel qu’illustré dans le schéma. Les données de prédiction passées au composant d’inférence ont besoin de valeurs pour les caractéristiques, de valeurs cibles observées dans l’intervalle et de valeurs manquantes ou NaN pour la cible dans la période d’inférence. Le tableau suivant fournit un exemple de cette tendance :

Les valeurs connues de la cible et des caractéristiques sont fournies 2023-05-01 par l’intermédiaire de 2023-05-03. Les valeurs cibles manquantes à compter du 2023-05-04 indiquent que la période d’inférence commence à cette date.

AutoML utilise les nouvelles données de contexte pour mettre à jour le décalage et d’autres fonctionnalités d’antériorité, ainsi que pour mettre à jour des modèles qui conservent un état interne, comme ARIMA. Cette opération ne met pas à jour et ne rajuste pas les paramètres du modèle.

Évaluation du modèle

L’évaluation est le processus de génération de prédictions sur un jeu de test exclu des données de formation et sur des métriques de calcul de ces prédictions qui guident les décisions de modèle de déploiement. En conséquence, il existe un mode d’inférence adapté à l’évaluation du modèle : une prévision évolutive.

Pour évaluer un modèle de prévision, il est recommandé de faire avancer le prévisionniste formé dans le futur sur le jeu de test, en faisant la moyenne des métriques d’erreur sur plusieurs fenêtres de prédiction. Cette procédure est parfois appelée « backtest ». Dans l’idéal, le jeu de test pour l’évaluation est long par rapport à l’horizon de prévision du modèle. Dans le cas contraire, les estimations des erreurs de prévision peuvent être statistiquement bruyantes et, par conséquent, moins fiables.

Le schéma suivant fournit un exemple simple avec trois fenêtres de prévision :

Le schéma illustre trois paramètres d’évaluation évolutive :

• La longueur du contexte est la quantité d’historique dont le modèle a besoin pour effectuer une prévision.
• L’horizon de prévision, c’est-à-dire jusqu’à quel point dans le futur le prévisionniste est formé à anticiper.
• La longueur d’étape, signifie jusqu’à quel point dans le futur la fenêtre évolutive avance sur chaque itération sur le jeu de test.

Le contexte évolue avec la fenêtre de prévision. Les valeurs réelles du jeu de test sont utilisées pour effectuer des prévisions lorsqu’elles se trouvent dans la fenêtre de contexte actuelle. La date la plus récente des valeurs réelles utilisées pour une fenêtre de prévision donnée est appelée heure d’origine de la fenêtre. Le tableau suivant montre un exemple de sortie de la prévision évolutive à trois fenêtres avec un horizon de trois jours et une longueur d’étape d’un jour :

Avec un tableau comme celui-ci, vous pouvez visualiser les prévisions par rapport aux résultats réels et calculer les métriques d’évaluation souhaitées. Les pipelines AutoML peuvent générer des prévisions évolutives sur un jeu de test avec un composant d’inférence.

Notes

Lorsque la période de test est équivalente en longueur à l’horizon de prévision, une prévision évolutive donne une fenêtre unique de prévisions jusqu’à l’horizon.

Mesures d’évaluation

Le scénario spécifique de l’entreprise détermine généralement le choix du résumé ou de la mesure d’évaluation. Certains choix courants comprennent les exemples suivants :

• Tracés des valeurs cibles observées par rapport aux valeurs prévues pour vérifier que certaines dynamiques des données capturées par le modèle sont correctes
• Erreur moyenne en pourcentage absolu (MAPE) entre les valeurs réelles et les valeurs prévues
• Erreur quadratique moyenne (RMSE), éventuellement avec une normalisation, entre les valeurs réelles et les valeurs prévues
• Erreur absolue moyenne (MAE), éventuellement avec une normalisation, entre les valeurs réelles et les valeurs prévues

Il existe beaucoup d’autres possibilités selon le scénario métier. Il se peut que vous deviez créer vos propres utilitaires de post-traitement pour le calcul des métriques d’évaluation à partir des résultats d’inférence ou des prévisions évolutives. Pour plus d’informations sur les mesures, consultez les mesures de régression/prévision.

Contenu connexe

• En savoir plus sur la procédure pour configurer AutoML pour effectuer l’apprentissage d’un modèle de prévision de série chronologique.
• Découvrez comment AutoML utilise le Machine Learning pour créer des modèles de prévision.
• Lisez les réponses à la FAQ sur les prévisions dans AutoML.