Schéma YAML de planification CLI (v2) pour la supervision de modèle (préversion)

S’APPLIQUE À : Extension ml Azure CLI v2 (actuelle)

La syntaxe YAML détaillée dans ce document est basée sur le schéma JSON pour la dernière version de l’extension ML CLI v2. Le fonctionnement de cette syntaxe est garanti uniquement avec la dernière version de l’extension ML CLI v2. Le schéma JSON complet peut être consulté à l’adresse https://azuremlschemas.azureedge.net/latest/monitorSchedule.schema.json. Vous trouverez les schémas des versions d’extension plus anciennes sur https://azuremlschemasprod.azureedge.net/.

Syntaxe YAML

Clé	Type	Description	Valeurs autorisées
$schema	string	Schéma YAML.
name	string	Obligatoire. Nom de la planification.
description	string	Description de la planification.
tags	object	Dictionnaire d’étiquettes de la planification.
trigger	object	Obligatoire. Configuration du déclencheur pour définir la règle précisant quand déclencher un travail. RecurrenceTrigger ou CronTrigger est obligatoire.
create_monitor	object	Obligatoire. Définition de la supervision qui sera déclenchée par une planification. MonitorDefinition est obligatoire.

Configuration de déclencheur

Déclencheur recurrence

Clé	Type	Description	Valeurs autorisées
type	string	Obligatoire. Spécifie le type de planification.	recurrence
frequency	string	Obligatoire. Spécifie l’unité de temps qui décrit la fréquence à laquelle la planification se déclenche.	minute, , hourday, , weekmonth
interval	entier	Obligatoire. Spécifie l’intervalle de déclenchement de la planification.
start_time	string	Décrit la date et l’heure de début avec le fuseau horaire. Si start_time est omis, le premier travail s’exécute instantanément et les travaux ultérieurs sont déclenchés en fonction de la planification, autrement dit start_time est égal à l’heure de création du travail. Si l’heure de début est dans le passé, la première charge de travail est exécutée à l’heure d’exécution calculée suivante.
end_time	string	Décrit la date et l’heure de fin avec le fuseau horaire. Si end_time est omis, la planification continue à s’exécuter jusqu’à ce qu’elle soit explicitement désactivée.
timezone	string	Spécifie le fuseau horaire de la périodicité. S’il est omis, la valeur par défaut est UTC.	Consultez l’annexe pour connaître les valeurs de fuseau horaire.
pattern	object	Spécifie le modèle de la périodicité. Si le modèle est omis, le ou les travaux sont déclenchés en fonction de la logique de start_time, de la fréquence et de l’intervalle.

Planification de périodicité

La planification de périodicité définit le modèle de périodicité, contenant hours, minutes et weekdays.

• Quand la fréquence est day, le modèle peut spécifier hours et minutes.
• Quand la fréquence est week et month, le modèle peut spécifier hours, minutes et weekdays.

Clé	Type	Valeurs autorisées
hours	entier ou tableau d’entiers	0-23
minutes	entier ou tableau d’entiers	0-59
week_days	chaîne ou tableau de chaînes	monday, tuesday, , thursdaywednesday, friday, , saturday,sunday

CronTrigger

Clé	Type	Description	Valeurs autorisées
type	string	Obligatoire. Spécifie le type de planification.	cron
expression	string	Obligatoire. Spécifie l’expression cron pour définir comment déclencher les travaux. L’expression utilise l’expression crontab standard pour exprimer une planification périodique. Une expression unique est composée de cinq champs délimités par l’espace :MINUTES HOURS DAYS MONTHS DAYS-OF-WEEK
start_time	string	Décrit la date et l’heure de début avec le fuseau horaire. Si start_time est omis, le premier travail s’exécute instantanément et les travaux ultérieurs seront déclenchés en fonction de la planification, autrement dit start_time sera égal à l’heure de création du travail. Si l’heure de début est dans le passé, la première charge de travail est exécutée à l’heure d’exécution calculée suivante.
end_time	string	Décrit la date et l’heure de fin avec le fuseau horaire. Si end_time est omis, la planification continue à s’exécuter jusqu’à ce qu’elle soit explicitement désactivée.
timezone	string	Spécifie le fuseau horaire de la périodicité. S’il est omis, la valeur par défaut est UTC.	Consultez l’annexe pour connaître les valeurs de fuseau horaire.

Définition de la supervision

Clé	Type	Description	Valeurs autorisées	Valeur par défaut
compute	Object	Requis. Description des ressources de calcul permettant au pool Spark d’exécuter le travail de supervision.
compute.instance_type	String	Requis. Type d’instance de calcul à utiliser pour le pool Spark.	« standard_e4s_v3 », « standard_e8s_v3 », « standard_e16s_v3 », « standard_e32s_v3 », « standard_e64s_v3 »	n/a
compute.runtime_version	String	Facultatif. Définit la version du runtime Spark.	3.3	3.3
monitoring_target	Object	Ressource(s) Azure Machine Learning associée(s) à la supervision de modèle.
monitoring_target.ml_task	String	Tâche Machine Learning pour le modèle.	Les valeurs autorisées sont : classification, regression, question_answering
monitoring_target.endpoint_deployment_id	String	Facultatif. ID de point de terminaison/déploiement Azure Machine Learning associé au format azureml:myEndpointName:myDeploymentName. Ce champ est obligatoire si votre point de terminaison/déploiement a activé l’utilisation de la collecte de données du modèle pour la supervision de modèle.
monitoring_target.model_id	String	Facultatif. ID de modèle associé pour la supervision de modèle.
monitoring_signals	Object	Dictionnaire des signaux de supervision à inclure. La clé est un nom pour le signal de supervision dans le contexte de supervision et la valeur est un objet contenant une spécification de signal de supervision. Facultatif pour la supervision de modèle de base qui utilise des données de production récentes comme ligne de base de comparaison et qui comporte 3 signaux de supervision : dérive des données, dérive de prédiction et qualité des données.
alert_notification	Chaîne ou Objet	Description des destinataires de la notification d’alerte.	L’une des deux destinations d’alerte est autorisée : azmonitoring de chaîne ou emailsd’objet contenant un tableau de destinataires d’e-mail
alert_notification.emails	Objet	Liste des adresses e-mail de réception de la notification d’alerte.

Signaux de supervision

Dérive de données

À mesure que les données utilisées pour entraîner le modèle évoluent en production, la distribution des données peut changer, ce qui entraîne une discordance entre les données d’apprentissage et les données réelles que le modèle a l’habitude de prédire. La dérive des données est un phénomène qui se produit dans l’apprentissage automatique quand les propriétés statistiques des données d’entrée utilisées pour l’apprentissage du modèle changent au fil du temps.

Clé	Type	Description	Valeurs autorisées	Valeur par défaut
type	String	Requis. Type de signal de supervision. Le composant prédéfini de traitement du signal de supervision est automatiquement chargé selon le type spécifié ici.	data_drift	data_drift
production_data	Object	Facultatif. Description des données de production à analyser pour le signal de supervision.
production_data.input_data	Object	Facultatif. Description de la source de données d’entrée. Consultez la spécification des données d’entrée de travail.
production_data.data_context	String	Contexte des données, qui fait référence aux données de production de modèle. Il peut s’agir d’entrées ou de sorties de modèle	model_inputs
production_data.data_window	Objet	Facultatif. Fenêtre de données des données de référence à utiliser comme données de base pour la comparaison.	Autorisez soit la fenêtre de données propagée, soit la fenêtre de données fixe uniquement. Pour utiliser la fenêtre de données propagée, veuillez spécifier les propriétés production_data.data_window.lookback_window_offset et production_data.data_window.lookback_window_size. Pour utiliser des fenêtres de données fixes, veuillez spécifier les propriétés production_data.data_window.window_start et production_data.data_window.window_end. Toutes les valeurs de propriété doivent être au format ISO8601.
production_data.pre_processing_component	Chaîne	ID de composant au format azureml:myPreprocessing@latest pour un composant inscrit. Cet élément est obligatoire si production_data.data.input_data.type est uri_folder. Consultez la spécification du composant de prétraitement.
reference_data	Object	Facultatif. Les données de production récentes sont utilisées comme données de ligne de base de comparaison, si ce n’est pas spécifié. Il est recommandé d’utiliser les données d’apprentissage comme ligne de base de comparaison.
reference_data.input_data	Object	Description de la source de données d’entrée. Consultez la spécification des données d’entrée de travail.
reference_data.data_context	String	Contexte des données, qui fait référence au contexte dans lequel le jeu de données a été utilisé auparavant.	model_inputs, , trainingtest, ,validation
reference_data.data_column_names.target_column	Objet	Facultatif. Si la valeur est des reference_data données d’apprentissage, cette propriété est requise pour surveiller les principales fonctionnalités N pour la dérive des données.
reference_data.data_window	Objet	Facultatif. Fenêtre de données des données de référence à utiliser comme données de base pour la comparaison.	Autorisez soit la fenêtre de données propagée, soit la fenêtre de données fixe uniquement. Pour utiliser la fenêtre de données propagée, veuillez spécifier les propriétés reference_data.data_window.lookback_window_offset et reference_data.data_window.lookback_window_size. Pour utiliser des fenêtres de données fixes, veuillez spécifier les propriétés reference_data.data_window.window_start et reference_data.data_window.window_end. Toutes les valeurs de propriété doivent être au format ISO8601.
reference_data_data.pre_processing_component	Chaîne	ID de composant au format azureml:myPreprocessing@latest pour un composant inscrit. Cet élément est obligatoire si reference_data.input_data.type est uri_folder. Consultez la spécification du composant de prétraitement.
features	Object	Facultatif. Caractéristiques cibles à superviser pour la dérive des données. Certains modèles peuvent avoir des centaines ou des milliers de caractéristiques. Il est toujours recommandé de spécifier les caractéristiques utiles pour la supervision.	L’une des valeurs suivantes : liste des noms de caractéristiques, features.top_n_feature_importance ou all_features	Par défaut, features.top_n_feature_importance = 10 si production_data.data_context est training. Sinon, la valeur par défaut est all_features
alert_enabled	Booléen	Permet d’activer/désactiver la notification d’alerte pour le signal de supervision. True ou False
metric_thresholds	Object	Liste des propriétés des métriques et des seuils pour le signal de supervision. Quand le seuil est dépassé et si alert_enabled est true, l’utilisateur reçoit une notification d’alerte.
metric_thresholds.numerical	Objet	facultatif. La liste des métriques et des seuils au format key:value, key est le nom de la métrique, value est le seuil.	Noms de métriques numériques autorisés : jensen_shannon_distance, normalized_wasserstein_distance, population_stability_index, two_sample_kolmogorov_smirnov_test
metric_thresholds.categorical	Objet	facultatif. Liste des métriques et des seuils au format « key:value », « key » est le nom de la métrique, « value » est le seuil.	Noms de métriques catégorielles autorisés : jensen_shannon_distance, chi_squared_test, population_stability_index

Dérive de prédiction

La dérive de prédiction suit les changements dans la distribution des sorties de prédiction d’un modèle en les comparant à des données étiquetées de validation ou de test ou à des données de production récentes.

Clé	Type	Description	Valeurs autorisées	Valeur par défaut
type	String	Requis. Type de signal de supervision. Le composant prédéfini de traitement du signal de supervision est automatiquement chargé selon le type spécifié ici.	prediction_drift	prediction_drift
production_data	Object	Facultatif. Description des données de production à analyser pour le signal de supervision.
production_data.input_data	Object	Facultatif. Description de la source de données d’entrée. Consultez la spécification des données d’entrée de travail.
production_data.data_context	String	Contexte des données, qui fait référence aux données de production de modèle. Il peut s’agir d’entrées ou de sorties de modèle	model_outputs
production_data.data_window	Objet	Facultatif. Fenêtre de données des données de référence à utiliser comme données de base pour la comparaison.	Autorisez soit la fenêtre de données propagée, soit la fenêtre de données fixe uniquement. Pour utiliser la fenêtre de données propagée, veuillez spécifier les propriétés production_data.data_window.lookback_window_offset et production_data.data_window.lookback_window_size. Pour utiliser des fenêtres de données fixes, veuillez spécifier les propriétés production_data.data_window.window_start et production_data.data_window.window_end. Toutes les valeurs de propriété doivent être au format ISO8601.
production_data.pre_processing_component	Chaîne	ID de composant au format azureml:myPreprocessing@latest pour un composant inscrit. Cela est obligatoire si production_data.data.input_data.type c’est le cas uri_folder. Pour plus d’informations sur la spécification du composant de prétraitement, consultez la spécification du composant de prétraitement.
reference_data	Objet	Facultatif. Les données de production récentes sont utilisées comme données de ligne de base de comparaison, si ce n’est pas spécifié. Il est recommandé d’utiliser les données d’apprentissage comme ligne de base de comparaison.
reference_data.input_data	Object	Description de la source de données d’entrée. Consultez la spécification des données d’entrée de travail.
reference_data.data_context	String	Contexte des données, qui fait référence au contexte dans lequel le jeu de données a été utilisé auparavant.	model_inputs, , trainingtest, ,validation
reference_data.data_column_names.target_column	Objet	Facultatif. Si le « reference_data » est constitué de données de formation, cette propriété est requise pour surveiller les N principales fonctionnalités pour la dérive de données.
reference_data.data_window	Objet	Facultatif. Fenêtre de données des données de référence à utiliser comme données de base pour la comparaison.	Autorisez soit la fenêtre de données propagée, soit la fenêtre de données fixe uniquement. Pour utiliser la fenêtre de données propagée, veuillez spécifier les propriétés reference_data.data_window.lookback_window_offset et reference_data.data_window.lookback_window_size. Pour utiliser des fenêtres de données fixes, veuillez spécifier les propriétés reference_data.data_window.window_start et reference_data.data_window.window_end. Toutes les valeurs de propriété doivent être au format ISO8601.
reference_data_data.pre_processing_component	Chaîne	ID de composant au format azureml:myPreprocessing@latest pour un composant inscrit. Cet élément est obligatoire si reference_data.input_data.type est uri_folder. Consultez la spécification du composant de prétraitement.
features	Object	Facultatif. Caractéristiques cibles à superviser pour la dérive des données. Certains modèles peuvent avoir des centaines ou des milliers de caractéristiques. Il est toujours recommandé de spécifier les caractéristiques utiles pour la supervision.	L’une des valeurs suivantes : liste des noms de caractéristiques, features.top_n_feature_importance ou all_features	Par défaut, features.top_n_feature_importance = 10 si production_data.data_context est training. Sinon, la valeur par défaut est all_features
alert_enabled	Booléen	Permet d’activer/désactiver la notification d’alerte pour le signal de supervision. True ou False
metric_thresholds	Object	Liste des propriétés des métriques et des seuils pour le signal de supervision. Quand le seuil est dépassé et si alert_enabled est true, l’utilisateur reçoit une notification d’alerte.
metric_thresholds.numerical	Objet	facultatif. Liste des métriques et des seuils au format « key:value », « key » est le nom de la métrique, « value » est le seuil.	Noms de métriques numériques autorisés : jensen_shannon_distance, normalized_wasserstein_distance, population_stability_index, two_sample_kolmogorov_smirnov_test
metric_thresholds.categorical	Objet	facultatif. Liste des métriques et des seuils au format « key:value », « key » est le nom de la métrique, « value » est le seuil.	Noms de métriques catégorielles autorisés : jensen_shannon_distance, chi_squared_test, population_stability_index

Qualité des données

Le signal de qualité des données suit les problèmes de qualité des données en production en les comparant aux données d’apprentissage ou aux données de production récentes.

Clé	Type	Description	Valeurs autorisées	Valeur par défaut
type	String	Requis. Type de signal de supervision. Le composant prédéfini de traitement du signal de supervision est automatiquement chargé selon le type spécifié ici.	data_quality	data_quality
production_data	Object	Facultatif. Description des données de production à analyser pour le signal de supervision.
production_data.input_data	Object	Facultatif. Description de la source de données d’entrée. Consultez la spécification des données d’entrée de travail.
production_data.data_context	String	Contexte des données, qui fait référence aux données de production de modèle. Il peut s’agir d’entrées ou de sorties de modèle	model_inputs, model_outputs
production_data.data_window	Objet	Facultatif. Fenêtre de données des données de référence à utiliser comme données de base pour la comparaison.	Autorisez soit la fenêtre de données propagée, soit la fenêtre de données fixe uniquement. Pour utiliser la fenêtre de données propagée, veuillez spécifier les propriétés production_data.data_window.lookback_window_offset et production_data.data_window.lookback_window_size. Pour utiliser des fenêtres de données fixes, veuillez spécifier les propriétés production_data.data_window.window_start et production_data.data_window.window_end. Toutes les valeurs de propriété doivent être au format ISO8601.
production_data.pre_processing_component	Chaîne	ID de composant au format azureml:myPreprocessing@latest pour un composant inscrit. Cet élément est obligatoire si production_data.input_data.type est uri_folder. Consultez la spécification du composant de prétraitement.
reference_data	Object	Facultatif. Les données de production récentes sont utilisées comme données de ligne de base de comparaison, si ce n’est pas spécifié. Il est recommandé d’utiliser les données d’apprentissage comme ligne de base de comparaison.
reference_data.input_data	Object	Description de la source de données d’entrée. Consultez la spécification des données d’entrée de travail.
reference_data.data_context	String	Contexte des données, qui fait référence au contexte dans lequel le jeu de données a été utilisé auparavant.	model_inputs, , model_outputstraining, , testvalidation
reference_data.data_column_names.target_column	Objet	Facultatif. Si le « reference_data » est constitué de données de formation, cette propriété est requise pour surveiller les N principales fonctionnalités pour la dérive de données.
reference_data.data_window	Objet	Facultatif. Fenêtre de données des données de référence à utiliser comme données de base pour la comparaison.	Autorisez soit la fenêtre de données propagée, soit la fenêtre de données fixe uniquement. Pour utiliser la fenêtre de données propagée, veuillez spécifier les propriétés reference_data.data_window.lookback_window_offset et reference_data.data_window.lookback_window_size. Pour utiliser des fenêtres de données fixes, veuillez spécifier les propriétés reference_data.data_window.window_start et reference_data.data_window.window_end. Toutes les valeurs de propriété doivent être au format ISO8601.
reference_data.pre_processing_component	Chaîne	ID de composant au format azureml:myPreprocessing@latest pour un composant inscrit. Cet élément est obligatoire si reference_data.input_data.type est uri_folder. Consultez la spécification du composant de prétraitement.
features	Object	Facultatif. Caractéristiques cibles à superviser pour la qualité des données. Certains modèles peuvent avoir des centaines ou des milliers de caractéristiques. Il est toujours recommandé de spécifier les caractéristiques utiles pour la supervision.	L’une des valeurs suivantes : liste des noms de caractéristiques, features.top_n_feature_importance ou all_features	Par défaut, features.top_n_feature_importance = 10 si reference_data.data_context est training. Sinon, la valeur par défaut est all_features
alert_enabled	Booléen	Permet d’activer/désactiver la notification d’alerte pour le signal de supervision. True ou False
metric_thresholds	Object	Liste des propriétés des métriques et des seuils pour le signal de supervision. Quand le seuil est dépassé et si alert_enabled est true, l’utilisateur reçoit une notification d’alerte.
metric_thresholds.numerical	Objet	Facultatif La liste des métriques et des seuils au format key:value, key est le nom de la métrique, value est le seuil.	Noms de métriques numériques autorisés : data_type_error_rate, null_value_rate, out_of_bounds_rate
metric_thresholds.categorical	Objet	Facultatif La liste des métriques et des seuils au format key:value, key est le nom de la métrique, value est le seuil.	Noms de métriques catégorielles autorisés : data_type_error_rate, null_value_rate, out_of_bounds_rate

Dérive d’attribution de caractéristiques (préversion)

L’attribution de caractéristiques d’un modèle peut changer au fil du temps en raison de modifications de la distribution des données, de modifications des relations entre les caractéristiques ou de modifications du problème sous-jacent en cours de résolution. La dérive d’attribution de caractéristiques est un phénomène qui se produit dans les modèles Machine Learning quand l’importance ou la contribution des caractéristiques à la sortie de prédiction change au fil du temps.

Clé	Type	Description	Valeurs autorisées	Valeur par défaut
type	String	Requis. Type de signal de supervision. Le composant prédéfini de traitement du signal de supervision est automatiquement chargé selon le type spécifié ici.	feature_attribution_drift	feature_attribution_drift
production_data	Tableau	Facultatif, valeur par défaut pour collecter les données associées au point de terminaison Azure Machine Learning si ce n’est pas fourni. Le production_data est une liste de jeux de données et de métadonnées associées, qui doit inclure à la fois les données d’entrées et de sortie du modèle. Il peut s’agir d’un seul jeu de données contenant à la fois les entrées et les sorties du modèle, ou de deux jeux de données distincts contenant l’un les entrées et l’autre les sorties du modèle.
production_data.input_data	Objet	Facultatif. Description de la source de données d’entrée. Consultez la spécification des données d’entrée de travail.
production_data.input_data.data_column_names	Object	Nom de colonne de corrélation et noms de colonnes de prédiction au format key:value, requis pour la jointure de données.	Les clés autorisées sont les suivantes : correlation_id, target_column
production_data.data_context	Chaîne	Contexte des données. Il fait référence aux données d’entrée du modèle de production.	model_inputs, , model_outputsmodel_inputs_outputs
production_data.data_window	Objet	Facultatif. Fenêtre de données des données de référence à utiliser comme données de base pour la comparaison.	Autorisez soit la fenêtre de données propagée, soit la fenêtre de données fixe uniquement. Pour utiliser la fenêtre de données propagée, veuillez spécifier les propriétés production_data.data_window.lookback_window_offset et production_data.data_window.lookback_window_size. Pour utiliser des fenêtres de données fixes, veuillez spécifier les propriétés production_data.data_window.window_start et production_data.data_window.window_end. Toutes les valeurs de propriété doivent être au format ISO8601.
production_data.pre_processing_component	Chaîne	ID de composant au format azureml:myPreprocessing@latest pour un composant inscrit. Cet élément est obligatoire si production_data.input_data.type est uri_folder. Consultez la spécification du composant de prétraitement.
production_data.data_window_size	String	Facultatif. Taille de la fenêtre de données en jours au format ISO8601, par exemple P7D. Il s’agit de la fenêtre de données de production à calculer pour les problèmes de qualité des données.	Par défaut, la taille de la fenêtre de données est la dernière période de supervision.
reference_data	Object	Facultatif. Les données de production récentes sont utilisées comme données de ligne de base de comparaison, si ce n’est pas spécifié. Il est recommandé d’utiliser les données d’apprentissage comme ligne de base de comparaison.
reference_data.input_data	Object	Description de la source de données d’entrée. Consultez la spécification des données d’entrée de travail.
reference_data.data_context	String	Contexte des données, qui fait référence au contexte dans lequel le jeu de données a été utilisé auparavant. Pour la dérive d’attribution de fonctionnalités, seules les données training sont autorisées.	training
reference_data.data_column_names.target_column	String	Obligatoire.
reference_data.data_window	Objet	Facultatif. Fenêtre de données des données de référence à utiliser comme données de base pour la comparaison.	Autorisez soit la fenêtre de données propagée, soit la fenêtre de données fixe uniquement. Pour utiliser la fenêtre de données propagée, veuillez spécifier les propriétés reference_data.data_window.lookback_window_offset et reference_data.data_window.lookback_window_size. Pour utiliser des fenêtres de données fixes, veuillez spécifier les propriétés reference_data.data_window.window_start et reference_data.data_window.window_end. Toutes les valeurs de propriété doivent être au format ISO8601.
reference_data.pre_processing_component	Chaîne	ID de composant au format azureml:myPreprocessing@latest pour un composant inscrit. Cet élément est obligatoire si reference_data.input_data.type est uri_folder. Consultez la spécification du composant de prétraitement.
alert_enabled	Booléen	Permet d’activer/désactiver la notification d’alerte pour le signal de supervision. True ou False
metric_thresholds	Objet	Nom de métrique et seuil pour la dérive d’attribution des fonctionnalités au format key:value, où key est le nom de la métrique et value le seuil. Quand le seuil est dépassé et si alert_enabled est activé, l’utilisateur reçoit une notification d’alerte.	Nom de métrique autorisé : normalized_discounted_cumulative_gain

Signal de surveillance personnalisé

Signal de supervision personnalisé via un composant Azure Machine Learning personnalisé.

Clé	Type	Description	Valeurs autorisées	Valeur par défaut
type	String	Requis. Type de signal de supervision. Le composant prédéfini de traitement du signal de supervision est automatiquement chargé selon le type spécifié ici.	custom	custom
component_id	Chaîne	Obligatoire. ID du composant Azure Machine Learning correspondant à votre signal personnalisé. Par exemple, azureml:mycustomcomponent:1
input_data	Objet	Facultatif. Description des données d’entrée à analyser par le signal de surveillance, consultez la spécification des données d’entrée de travail .
input_data.<data_name>.data_context	Chaîne	Contexte des données, qui fait référence aux données de production de modèle. Il peut s’agir d’entrées ou de sorties de modèle	model_inputs
input_data.<data_name>.data_window	Objet	Facultatif. Fenêtre de données des données de référence à utiliser comme données de base pour la comparaison.	Autorisez soit la fenêtre de données propagée, soit la fenêtre de données fixe uniquement. Pour utiliser la fenêtre de données propagée, veuillez spécifier les propriétés input_data.<data_name>.data_window.lookback_window_offset et input_data.<data_name>.data_window.lookback_window_size. Pour utiliser des fenêtres de données fixes, veuillez spécifier les propriétés input_data.<data_name>.data_window.window_start et input_data.<data_name>.data_window.window_end. Toutes les valeurs de propriété doivent être au format ISO8601.
input_data.<data_name>.pre_processing_component	Chaîne	ID de composant au format azureml:myPreprocessing@latest pour un composant inscrit. Cet élément est obligatoire si input_data.<data_name>.input_data.type est uri_folder. Consultez la spécification du composant de prétraitement.
alert_enabled	Booléen	Permet d’activer/désactiver la notification d’alerte pour le signal de supervision. True ou False
metric_thresholds.metric_name	Object	Nom de la métrique personnalisée.
threshold	Object	Seuil acceptable pour la métrique personnalisée.

Performances des modèles (préversion)

Les performances du modèle suivent les performances objectives de la sortie d’un modèle en production en la comparant aux données de vérité de terrain collectées.

Clé	Type	Description	Valeurs autorisées	Valeur par défaut
type	String	Requis. Type de signal de supervision. Le composant prédéfini de traitement du signal de supervision est automatiquement chargé selon le type spécifié ici.	model_performance	model_performance
production_data	Tableau	Facultatif, valeur par défaut pour collecter les données associées au point de terminaison Azure Machine Learning si ce n’est pas fourni. Le production_data est une liste de jeux de données et de métadonnées associées, qui doit inclure à la fois les données d’entrées et de sortie du modèle. Il peut s’agir d’un seul jeu de données contenant à la fois les entrées et les sorties du modèle, ou de deux jeux de données distincts contenant l’un les entrées et l’autre les sorties du modèle.
production_data.input_data	Objet	Facultatif. Description de la source de données d’entrée. Consultez la spécification des données d’entrée de travail.
production_data.input_data.data_column_names	Object	Nom de colonne de corrélation et noms de colonnes de prédiction au format key:value, requis pour la jointure de données.	Les clés autorisées sont les suivantes : correlation_id, target_column
production_data.data_context	Chaîne	Contexte des données. Il fait référence aux données d’entrée du modèle de production.	model_inputs, , model_outputsmodel_inputs_outputs
production_data.data_window	Objet	Facultatif. Fenêtre de données des données de référence à utiliser comme données de base pour la comparaison.	Autorisez soit la fenêtre de données propagée, soit la fenêtre de données fixe uniquement. Pour utiliser la fenêtre de données propagée, veuillez spécifier les propriétés production_data.data_window.lookback_window_offset et production_data.data_window.lookback_window_size. Pour utiliser des fenêtres de données fixes, veuillez spécifier les propriétés production_data.data_window.window_start et production_data.data_window.window_end. Toutes les valeurs de propriété doivent être au format ISO8601.
production_data.pre_processing_component	Chaîne	ID de composant au format azureml:myPreprocessing@latest pour un composant inscrit. Cet élément est obligatoire si production_data.input_data.type est uri_folder. Consultez la spécification du composant de prétraitement.
production_data.data_window_size	String	Facultatif. Taille de la fenêtre de données en jours au format ISO8601, par exemple P7D. Il s’agit de la fenêtre de données de production à calculer pour les problèmes de qualité des données.	Par défaut, la taille de la fenêtre de données est la dernière période de supervision.
reference_data	Object	Facultatif. Les données de production récentes sont utilisées comme données de ligne de base de comparaison, si ce n’est pas spécifié. Il est recommandé d’utiliser les données d’apprentissage comme ligne de base de comparaison.
reference_data.input_data	Object	Description de la source de données d’entrée. Consultez la spécification des données d’entrée de travail.
reference_data.data_context	String	Contexte des données, qui fait référence au contexte dans lequel le jeu de données a été utilisé auparavant. Pour la dérive d’attribution de fonctionnalités, seules les données training sont autorisées.	training
reference_data.data_column_names.target_column	String	Obligatoire.
reference_data.data_window	Objet	Facultatif. Fenêtre de données des données de référence à utiliser comme données de base pour la comparaison.	Autorisez soit la fenêtre de données propagée, soit la fenêtre de données fixe uniquement. Pour utiliser la fenêtre de données propagée, veuillez spécifier les propriétés reference_data.data_window.lookback_window_offset et reference_data.data_window.lookback_window_size. Pour utiliser des fenêtres de données fixes, veuillez spécifier les propriétés reference_data.data_window.window_start et reference_data.data_window.window_end. Toutes les valeurs de propriété doivent être au format ISO8601.
reference_data.pre_processing_component	Chaîne	ID de composant au format azureml:myPreprocessing@latest pour un composant inscrit. Cet élément est obligatoire si reference_data.input_data.type est uri_folder. Consultez la spécification du composant de prétraitement.
alert_enabled	Booléen	Permet d’activer/désactiver la notification d’alerte pour le signal de supervision. True ou False
metric_thresholds.classification	Object	Facultatif La liste des métriques et des seuils au format key:value, key est le nom de la métrique, value est le seuil.	Noms de métrique classification autorisés : accuracy, precision, recall
metric_thresholds.regression	Object	Facultatif La liste des métriques et des seuils au format key:value, key est le nom de la métrique, value est le seuil.	Noms de métrique regression autorisés : mae, mse, rmse

Notes

La commande az ml schedule peut être utilisée pour gérer les modèles Azure Machine Learning.

Exemples

Les exemples cli de supervision sont disponibles dans les exemples de référentiel GitHub. En voici quelques-uns :

YAML : Moniteur out-of-box

S’APPLIQUE À : Extension ml Azure CLI v2 (actuelle)

# out-of-box-monitoring.yaml
$schema:  http://azureml/sdk-2-0/Schedule.json
name: credit_default_model_monitoring
display_name: Credit default model monitoring
description: Credit default model monitoring setup with minimal configurations

trigger:
  # perform model monitoring activity daily at 3:15am
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 # #every day
  schedule: 
    hours: 3 # at 3am
    minutes: 15 # at 15 mins after 3am

create_monitor:

  compute: # specify a spark compute for monitoring job
    instance_type: standard_e4s_v3
    runtime_version: "3.3"

  monitoring_target: 
    ml_task: classification # model task type: [classification, regression, question_answering]
    endpoint_deployment_id: azureml:credit-default:main # azureml endpoint deployment id

  alert_notification: # emails to get alerts
    emails:
      - abc@example.com
      - def@example.com

YAML : Moniteur avancé

S’APPLIQUE À : Extension ml Azure CLI v2 (actuelle)

# advanced-model-monitoring.yaml
$schema:  http://azureml/sdk-2-0/Schedule.json
name: fraud_detection_model_monitoring
display_name: Fraud detection model monitoring
description: Fraud detection model monitoring with advanced configurations

trigger:
  # perform model monitoring activity daily at 3:15am
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 # #every day
  schedule: 
    hours: 3 # at 3am
    minutes: 15 # at 15 mins after 3am

create_monitor:

  compute: 
    instance_type: standard_e4s_v3
    runtime_version: "3.3"

  monitoring_target:
    ml_task: classification
    endpoint_deployment_id: azureml:credit-default:main
  
  monitoring_signals:
    advanced_data_drift: # monitoring signal name, any user defined name works
      type: data_drift
      # reference_dataset is optional. By default referece_dataset is the production inference data associated with Azure Machine Learning online endpoint
      reference_data:
        input_data:
          path: azureml:credit-reference:1 # use training data as comparison reference dataset
          type: mltable
        data_context: training
        data_column_names:
          target_column: DEFAULT_NEXT_MONTH
      features: 
        top_n_feature_importance: 10 # monitor drift for top 10 features
      metric_thresholds:
        numerical:
          jensen_shannon_distance: 0.01
        categorical:
          pearsons_chi_squared_test: 0.02
    advanced_data_quality:
      type: data_quality
      # reference_dataset is optional. By default reference_dataset is the production inference data associated with Azure Machine Learning online endpoint
      reference_data:
        input_data:
          path: azureml:credit-reference:1
          type: mltable
        data_context: training
      features: # monitor data quality for 3 individual features only
        - SEX
        - EDUCATION
      metric_thresholds:
        numerical:
          null_value_rate: 0.05
        categorical:
          out_of_bounds_rate: 0.03

    feature_attribution_drift_signal:
      type: feature_attribution_drift
      # production_data: is not required input here
      # Please ensure Azure Machine Learning online endpoint is enabled to collected both model_inputs and model_outputs data
      # Azure Machine Learning model monitoring will automatically join both model_inputs and model_outputs data and used it for computation
      reference_data:
        input_data:
          path: azureml:credit-reference:1
          type: mltable
        data_context: training
        data_column_names:
          target_column: DEFAULT_NEXT_MONTH
      metric_thresholds:
        normalized_discounted_cumulative_gain: 0.9
  
  alert_notification:
    emails:
      - abc@example.com
      - def@example.com

Annexe

Fuseau horaire

La planification actuelle prend en charge les fuseaux horaires suivants. La clé peut être utilisée directement dans le SDK Python, tandis que la valeur peut être utilisée dans le travail YAML. Le tableau est organisé par UTC (Temps universel coordonné).

UTC	Clé	Valeur
UTC -12:00	DATELINE_STANDARD_TIME	"Dateline Standard Time"
UTC -11:00	UTC_11	"UTC-11"
UTC - 10:00	ALEUTIAN_STANDARD_TIME	Heure standard des îles Aléoutiennes
UTC - 10:00	HAWAIIAN_STANDARD_TIME	"Hawaiian Standard Time"
UTC -09:30	MARQUESAS_STANDARD_TIME	"Marquesas Standard Time"
UTC -09:00	ALASKAN_STANDARD_TIME	"Alaskan Standard Time"
UTC -09:00	UTC_09	"UTC-09"
UTC -08:00	PACIFIC_STANDARD_TIME_MEXICO	"Pacific Standard Time (Mexico)"
UTC -08:00	UTC_08	"UTC-08"
UTC -08:00	PACIFIC_STANDARD_TIME	"Pacific Standard Time"
UTC -07:00	US_MOUNTAIN_STANDARD_TIME	"US Mountain Standard Time"
UTC -07:00	MOUNTAIN_STANDARD_TIME_MEXICO	"Mountain Standard Time (Mexico)"
UTC -07:00	MOUNTAIN_STANDARD_TIME	"Mountain Standard Time"
UTC -06:00	CENTRAL_AMERICA_STANDARD_TIME	"Central America Standard Time"
UTC -06:00	CENTRAL_STANDARD_TIME	"Central Standard Time"
UTC -06:00	EASTER_ISLAND_STANDARD_TIME	"Easter Island Standard Time"
UTC -06:00	CENTRAL_STANDARD_TIME_MEXICO	"Central Standard Time (Mexico)"
UTC -06:00	CANADA_CENTRAL_STANDARD_TIME	"Canada Central Standard Time"
UTC -05:00	SA_PACIFIC_STANDARD_TIME	"SA Pacific Standard Time"
UTC -05:00	EASTERN_STANDARD_TIME_MEXICO	"Eastern Standard Time (Mexico)"
UTC -05:00	EASTERN_STANDARD_TIME	"Eastern Standard Time"
UTC -05:00	HAITI_STANDARD_TIME	"Haiti Standard Time"
UTC -05:00	CUBA_STANDARD_TIME	"Cuba Standard Time"
UTC -05:00	US_EASTERN_STANDARD_TIME	"US Eastern Standard Time"
UTC -05:00	TURKS_AND_CAICOS_STANDARD_TIME	"Turks And Caicos Standard Time"
UTC -04:00	PARAGUAY_STANDARD_TIME	"Paraguay Standard Time"
UTC -04:00	ATLANTIC_STANDARD_TIME	"Atlantic Standard Time"
UTC -04:00	VENEZUELA_STANDARD_TIME	"Venezuela Standard Time"
UTC -04:00	CENTRAL_BRAZILIAN_STANDARD_TIME	"Central Brazilian Standard Time"
UTC -04:00	SA_WESTERN_STANDARD_TIME	"SA Western Standard Time"
UTC -04:00	PACIFIC_SA_STANDARD_TIME	"Pacific SA Standard Time"
UTC -03:30	NEWFOUNDLAND_STANDARD_TIME	"Newfoundland Standard Time"
UTC -03:00	TOCANTINS_STANDARD_TIME	"Tocantins Standard Time"
UTC -03:00	E_SOUTH_AMERICAN_STANDARD_TIME	"E. South America Standard Time"
UTC -03:00	SA_EASTERN_STANDARD_TIME	"SA Eastern Standard Time"
UTC -03:00	ARGENTINA_STANDARD_TIME	"Argentina Standard Time"
UTC -03:00	GREENLAND_STANDARD_TIME	"Greenland Standard Time"
UTC -03:00	MONTEVIDEO_STANDARD_TIME	"Montevideo Standard Time"
UTC -03:00	SAINT_PIERRE_STANDARD_TIME	"Saint Pierre Standard Time"
UTC -03:00	BAHIA_STANDARD_TIM	"Bahia Standard Time"
UTC -02:00	UTC_02	"UTC-02"
UTC -02:00	MID_ATLANTIC_STANDARD_TIME	"Mid-Atlantic Standard Time"
UTC -01:00	AZORES_STANDARD_TIME	"Azores Standard Time"
UTC -01:00	CAPE_VERDE_STANDARD_TIME	"Cape Verde Standard Time"
UTC	UTC	UTC
UTC +00:00	GMT_STANDARD_TIME	"GMT Standard Time"
UTC +00:00	GREENWICH_STANDARD_TIME	"Greenwich Standard Time"
UTC +01:00	MOROCCO_STANDARD_TIME	"Morocco Standard Time"
UTC +01:00	W_EUROPE_STANDARD_TIME	"W. Europe Standard Time"
UTC +01:00	CENTRAL_EUROPE_STANDARD_TIME	"Central Europe Standard Time"
UTC +01:00	ROMANCE_STANDARD_TIME	"Romance Standard Time"
UTC +01:00	CENTRAL_EUROPEAN_STANDARD_TIME	"Central European Standard Time"
UTC +01:00	W_CENTRAL_AFRICA_STANDARD_TIME	"W. Central Africa Standard Time"
UTC +02:00	NAMIBIA_STANDARD_TIME	"Namibia Standard Time"
UTC +02:00	JORDAN_STANDARD_TIME	"Jordan Standard Time"
UTC +02:00	GTB_STANDARD_TIME	"GTB Standard Time"
UTC +02:00	MIDDLE_EAST_STANDARD_TIME	"Middle East Standard Time"
UTC +02:00	EGYPT_STANDARD_TIME	"Egypt Standard Time"
UTC +02:00	E_EUROPE_STANDARD_TIME	"E. Europe Standard Time"
UTC +02:00	SYRIA_STANDARD_TIME	"Syria Standard Time"
UTC +02:00	WEST_BANK_STANDARD_TIME	"West Bank Standard Time"
UTC +02:00	SOUTH_AFRICA_STANDARD_TIME	"South Africa Standard Time"
UTC +02:00	FLE_STANDARD_TIME	"FLE Standard Time"
UTC +02:00	ISRAEL_STANDARD_TIME	"Israel Standard Time"
UTC +02:00	KALININGRAD_STANDARD_TIME	"Kaliningrad Standard Time"
UTC +02:00	LIBYA_STANDARD_TIME	"Libya Standard Time"
UTC +03:00	TÜRKIYE_STANDARD_TIME	« Heure standard de la Turquie »
UTC +03:00	ARABIC_STANDARD_TIME	"Arabic Standard Time"
UTC +03:00	ARAB_STANDARD_TIME	"Arab Standard Time"
UTC +03:00	BELARUS_STANDARD_TIME	"Belarus Standard Time"
UTC +03:00	RUSSIAN_STANDARD_TIME	"Russian Standard Time"
UTC +03:00	E_AFRICA_STANDARD_TIME	"E. Africa Standard Time"
UTC +03:30	IRAN_STANDARD_TIME	"Iran Standard Time"
UTC +04:00	ARABIAN_STANDARD_TIME	"Arabian Standard Time"
UTC +04:00	ASTRAKHAN_STANDARD_TIME	"Astrakhan Standard Time"
UTC +04:00	AZERBAIJAN_STANDARD_TIME	"Azerbaijan Standard Time"
UTC +04:00	RUSSIA_TIME_ZONE_3	"Russia Time Zone 3"
UTC +04:00	MAURITIUS_STANDARD_TIME	"Mauritius Standard Time"
UTC +04:00	GEORGIAN_STANDARD_TIME	"Georgian Standard Time"
UTC +04:00	CAUCASUS_STANDARD_TIME	"Caucasus Standard Time"
UTC +04:30	AFGHANISTAN_STANDARD_TIME	"Afghanistan Standard Time"
UTC +05:00	WEST_ASIA_STANDARD_TIME	"West Asia Standard Time"
UTC +05:00	EKATERINBURG_STANDARD_TIME	"Ekaterinburg Standard Time"
UTC +05:00	PAKISTAN_STANDARD_TIME	"Pakistan Standard Time"
UTC +05:30	INDIA_STANDARD_TIME	"India Standard Time"
UTC +05:30	SRI_LANKA_STANDARD_TIME	"Sri Lanka Standard Time"
UTC +05:45	NEPAL_STANDARD_TIME	"Nepal Standard Time"
UTC +06:00	CENTRAL_ASIA_STANDARD_TIME	"Central Asia Standard Time"
UTC +06:00	BANGLADESH_STANDARD_TIME	"Bangladesh Standard Time"
UTC +06:30	MYANMAR_STANDARD_TIME	"Myanmar Standard Time"
UTC +07:00	N_CENTRAL_ASIA_STANDARD_TIME	"N. Central Asia Standard Time"
UTC +07:00	SE_ASIA_STANDARD_TIME	"SE Asia Standard Time"
UTC +07:00	ALTAI_STANDARD_TIME	"Altai Standard Time"
UTC +07:00	W_MONGOLIA_STANDARD_TIME	"W. Mongolia Standard Time"
UTC +07:00	NORTH_ASIA_STANDARD_TIME	"North Asia Standard Time"
UTC +07:00	TOMSK_STANDARD_TIME	"Tomsk Standard Time"
UTC +08:00	CHINA_STANDARD_TIME	"China Standard Time"
UTC +08:00	NORTH_ASIA_EAST_STANDARD_TIME	"North Asia East Standard Time"
UTC +08:00	SINGAPORE_STANDARD_TIME	"Singapore Standard Time"
UTC +08:00	W_AUSTRALIA_STANDARD_TIME	"W. Australia Standard Time"
UTC +08:00	TAIPEI_STANDARD_TIME	"Taipei Standard Time"
UTC +08:00	ULAANBAATAR_STANDARD_TIME	"Ulaanbaatar Standard Time"
UTC +08:45	AUS_CENTRAL_W_STANDARD_TIME	"Aus Central W. Standard Time"
UTC +09:00	NORTH_KOREA_STANDARD_TIME	"North Korea Standard Time"
UTC +09:00	TRANSBAIKAL_STANDARD_TIME	"Transbaikal Standard Time"
UTC +09:00	TOKYO_STANDARD_TIME	"Tokyo Standard Time"
UTC +09:00	KOREA_STANDARD_TIME	"Korea Standard Time"
UTC +09:00	YAKUTSK_STANDARD_TIME	"Yakutsk Standard Time"
UTC +09:30	CEN_AUSTRALIA_STANDARD_TIME	"Cen. Australia Standard Time"
UTC +09:30	AUS_CENTRAL_STANDARD_TIME	"AUS Central Standard Time"
UTC +10:00	E_AUSTRALIAN_STANDARD_TIME	"E. Australia Standard Time"
UTC +10:00	AUS_EASTERN_STANDARD_TIME	"AUS Eastern Standard Time"
UTC +10:00	WEST_PACIFIC_STANDARD_TIME	"West Pacific Standard Time"
UTC +10:00	TASMANIA_STANDARD_TIME	"Tasmania Standard Time"
UTC +10:00	VLADIVOSTOK_STANDARD_TIME	"Vladivostok Standard Time"
UTC +10:30	LORD_HOWE_STANDARD_TIME	"Lord Howe Standard Time"
UTC +11:00	BOUGAINVILLE_STANDARD_TIME	"Bougainville Standard Time"
UTC +11:00	RUSSIA_TIME_ZONE_10	"Russia Time Zone 10"
UTC +11:00	MAGADAN_STANDARD_TIME	"Magadan Standard Time"
UTC +11:00	NORFOLK_STANDARD_TIME	"Norfolk Standard Time"
UTC +11:00	SAKHALIN_STANDARD_TIME	"Sakhalin Standard Time"
UTC +11:00	CENTRAL_PACIFIC_STANDARD_TIME	"Central Pacific Standard Time"
UTC +12:00	RUSSIA_TIME_ZONE_11	"Russia Time Zone 11"
UTC +12:00	NEW_ZEALAND_STANDARD_TIME	"New Zealand Standard Time"
UTC +12:00	UTC_12	"UTC+12"
UTC +12:00	FIJI_STANDARD_TIME	"Fiji Standard Time"
UTC +12:00	KAMCHATKA_STANDARD_TIME	"Kamchatka Standard Time"
UTC +12:45	CHATHAM_ISLANDS_STANDARD_TIME	"Chatham Islands Standard Time"
UTC +13:00	TONGA__STANDARD_TIME	"Tonga Standard Time"
UTC +13:00	SAMOA_STANDARD_TIME	"Samoa Standard Time"
UTC +14:00	LINE_ISLANDS_STANDARD_TIME	"Line Islands Standard Time"