Programación del esquema YAML de la CLI (v2) para la supervisión de modelos (versión preliminar)

SE APLICA A: Extensión de ML de la CLI de Azure v2 (actual)

La sintaxis de YAML que se detalla en este documento se basa en el esquema JSON de la versión más reciente de la extensión ML de la CLI v2. Se garantiza que esta sintaxis solo funciona con la versión más reciente de la extensión ML de la CLI v2. El esquema JSON completo se puede ver en https://azuremlschemas.azureedge.net/latest/monitorSchedule.schema.json. Dispone de los esquemas de las versiones de anteriores de la extensión en https://azuremlschemasprod.azureedge.net/.

Sintaxis de YAML

Clave	Tipo	Descripción	Valores permitidos
$schema	string	Esquema de YAML.
name	string	Necesario. Nombre de la programación.
description	string	Descripción de la programación.
tags	object	Diccionario de etiquetas de la programación.
trigger	object	Necesario. Configuración de desencadenador para definir la regla que rija cuándo se va a desencadenar el trabajo. Se requiere RecurrenceTrigger o CronTrigger.
create_monitor	object	Necesario. Definición del modelo que se desencadenará mediante una programación. MonitorDefinition es obligatorio.

Configuración del desencadenador

Desencadenador de periodicidad

Clave	Tipo	Descripción	Valores permitidos
type	string	Necesario. Especifica el tipo de programación.	recurrence
frequency	string	Necesario. Especifica la unidad de tiempo que describe la frecuencia con que se activa la programación.	minute, hour, day, , week, month
interval	integer	Necesario. Especifica el intervalo con el que se repite la programación.
start_time	string	Describe la fecha y hora de inicio con zona horaria. Si se omite start_time, el primer trabajo se ejecutará inmediatamente y los trabajos futuros se desencadenarán según la programación, lo que indica que start_time equivaldrá a la hora de creación del trabajo. Si la hora de inicio pertenece al pasado, el primer trabajo se ejecuta en el siguiente tiempo de ejecución calculado.
end_time	string	Describe la fecha y hora de finalización con zona horaria. Si se omite end_time, la programación continuará ejecutándose hasta que se deshabilite explícitamente.
timezone	string	Especifica la zona horaria de la periodicidad. Si se omite, es UTC de forma predeterminada.	Vea el apéndice de valores de zona horaria.
pattern	object	Especifica el patrón de periodicidad. Si se omite el patrón, los trabajos se desencadenarán según la lógica de start_time, frequency e interval.

Programación de periodicidad

La programación de periodicidad define el patrón de periodicidad, que contiene hours, minutes y weekdays.

• Cuando la frecuencia es day, el patrón puede especificar hours y minutes.
• Cuando la frecuencia es week y month, el patrón puede especificar hours, minutes y weekdays.

Clave	Tipo	Valores permitidos
hours	entero o matriz de enteros	0-23
minutes	entero o matriz de enteros	0-59
week_days	cadena o matriz de cadenas	monday, tuesday, wednesday, thursday, friday, , saturdaysunday

CronTrigger

Clave	Tipo	Descripción	Valores permitidos
type	string	Necesario. Especifica el tipo de programación.	cron
expression	string	Necesario. Especifica la expresión CRON para definir cómo desencadenar trabajos. expression usa una expresión crontab estándar para expresar una programación periódica. Una expresión se compone de cinco campos delimitados por espacios: MINUTES HOURS DAYS MONTHS DAYS-OF-WEEK
start_time	string	Describe la fecha y hora de inicio con zona horaria. Si se omite start_time, el primer trabajo se ejecutará inmediatamente y los trabajos futuros se desencadenarán según la programación, lo que indica que start_time equivaldrá a la hora de creación del trabajo. Si la hora de inicio pertenece al pasado, el primer trabajo se ejecuta en el siguiente tiempo de ejecución calculado.
end_time	string	Describe la fecha y hora de finalización con zona horaria. Si se omite end_time, la programación continuará ejecutándose hasta que se deshabilite explícitamente.
timezone	string	Especifica la zona horaria de la periodicidad. Si se omite, es UTC de forma predeterminada.	Vea el apéndice de valores de zona horaria.

Definición de supervisión

Clave	Tipo	Descripción	Valores permitidos	Valor predeterminado
compute	Object	Requerido. Descripción de los recursos de proceso para que el grupo de Spark ejecute el trabajo de supervisión.
compute.instance_type	String	Requerido. Tipo de instancia de proceso que se va a usar para el grupo de Spark.	'standard_e4s_v3', 'standard_e8s_v3', 'standard_e16s_v3', 'standard_e32s_v3', 'standard_e64s_v3'	N/D
compute.runtime_version	String	Opcional. Define la versión del entorno de ejecución de Spark.	3.3	3.3
monitoring_target	Object	Recursos de Azure Machine Learning asociados a la supervisión de modelos.
monitoring_target.ml_task	String	Tarea de aprendizaje automático para el modelo.	Los valores permitidos son: classification, regression, question_answering
monitoring_target.endpoint_deployment_id	String	Opcional. El identificador de implementación o punto de conexión de Azure Machine Learning asociado en formato de azureml:myEndpointName:myDeploymentName. Este campo es necesario si el punto de conexión o la implementación ha habilitado la recopilación de datos del modelo que se usará para la supervisión de modelos.
monitoring_target.model_id	String	Opcional. Identificador del modelo asociado para la supervisión de modelos.
monitoring_signals	Object	Diccionario de señales de supervisión que se van a incluir. La clave es un nombre para la señal de supervisión en el contexto del monitor y el valor es un objeto que contiene una especificación de señal de supervisión. Opcional para la supervisión básica de modelos que usa datos de producción anteriores recientes como línea de base de comparación y tiene 3 señales de supervisión: desfase de datos, desfase de predicción y calidad de los datos.
alert_notification	Cadena u objeto	Descripción de los destinatarios de las notificaciones de alertas.	Se permite uno de los dos destinos de alerta: cadena azmonitoring u Objeto emails que contiene una matriz de destinatarios de correo electrónico
alert_notification.emails	Object	Lista de direcciones de correo electrónico para recibir notificaciones de alertas.

Señales de supervisión

Desfase de datos

A medida que los datos usados para entrenar el modelo evolucionan en producción, la distribución de los datos puede cambiar, lo que da lugar a una discrepancia entre los datos de entrenamiento y los datos reales que se usan para predecir el modelo. El desfase de datos es un fenómeno que se produce en el aprendizaje automático cuando las propiedades estadísticas de los datos de entrada usados para entrenar el modelo cambian con el tiempo.

Clave	Tipo	Descripción	Valores permitidos	Valor predeterminado
type	String	Requerido. Tipo de señal de supervisión. El componente de procesamiento de señales de supervisión precompilado se carga automáticamente según el type especificado aquí.	data_drift	data_drift
production_data	Object	Opcional. Descripción de los datos de producción que se van a analizar para la señal de supervisión.
production_data.input_data	Object	Opcional. Descripción del origen de datos de entrada, consulte la especificación de datos de entrada del trabajo.
production_data.data_context	String	El contexto de los datos hace referencia a los datos de producción del modelo y podría ser entradas del modelo o salidas del modelo	model_inputs
production_data.data_window	Object	Opcional. Ventana de datos de los datos de referencia que se van a usar como datos de línea base de comparación.	Permita solo la ventana de datos graduales o la ventana de datos fijos. Para usar la ventana de datos graduales, especifique las propiedades production_data.data_window.lookback_window_offset y production_data.data_window.lookback_window_size. Para usar las ventanas de datos fijos, especifique las propiedades production_data.data_window.window_start y production_data.data_window.window_end. Todos los valores de propiedad deben estar en formato ISO8601.
production_data.pre_processing_component	Cadena	Id. de componente en el formato de azureml:myPreprocessing@latest para un componente registrado. Esto es necesario si production_data.data.input_data.type es uri_folder, consulte especificación de componentes de preprocesamiento.
reference_data	Object	Opcional. Los datos de producción anteriores recientes se usan como datos de línea base de comparación si no se especifica. La recomendación es usar los datos de entrenamiento como línea base de comparación.
reference_data.input_data	Object	Descripción del origen de datos de entrada, consulte la especificación de datos de entrada del trabajo.
reference_data.data_context	String	El contexto de los datos, hace referencia al contexto que se usó antes del conjunto de datos	model_inputs, training, , test, validation
reference_data.data_column_names.target_column	Object	Opcional. Si es datos de reference_data entrenamiento, esta propiedad es necesaria para supervisar las principales N características para el desfase de datos.
reference_data.data_window	Object	Opcional. Ventana de datos de los datos de referencia que se van a usar como datos de línea base de comparación.	Permita solo la ventana de datos graduales o la ventana de datos fijos. Para usar la ventana de datos graduales, especifique las propiedades reference_data.data_window.lookback_window_offset y reference_data.data_window.lookback_window_size. Para usar las ventanas de datos fijos, especifique las propiedades reference_data.data_window.window_start y reference_data.data_window.window_end. Todos los valores de propiedad deben estar en formato ISO8601.
reference_data_data.pre_processing_component	Cadena	Id. de componente en el formato de azureml:myPreprocessing@latest para un componente registrado. Esto es necesario si reference_data.input_data.type es uri_folder, consulte especificación de componentes de preprocesamiento.
features	Object	Opcional. Características de destino que se van a supervisar para el desfase de datos. Algunos modelos pueden tener cientos o miles de características; siempre se recomienda especificar características interesadas para la supervisión.	Uno de los siguientes valores: lista de nombres de características, features.top_n_feature_importance, o all_features	Valor predeterminado features.top_n_feature_importance = 10 si production_data.data_context es training; de lo contrario, el valor predeterminado es all_features
alert_enabled	Booleano	Active o desactive la notificación de alerta para la señal de supervisión. True o False
metric_thresholds	Object	Lista de métricas y propiedades de umbrales para la señal de supervisión. Cuando se supera el umbral y alert_enabled es true, el usuario recibirá una notificación de alerta.
metric_thresholds.numerical	Object	Opcional. Lista de métricas y umbrales en formato key:value, key es el nombre de la métrica, value es el umbral.	Nombres de métrica numéricos permitidos: jensen_shannon_distance, normalized_wasserstein_distance, population_stability_index, two_sample_kolmogorov_smirnov_test
metric_thresholds.categorical	Object	Opcional. Lista de métricas y umbrales en formato 'key:value', 'key' es el nombre de la métrica, 'value' es el umbral.	Nombres de métricas de categorías permitidos: jensen_shannon_distance, chi_squared_test, population_stability_index

Desfase de predicción

El desfase de predicción realiza un seguimiento de los cambios en la distribución de las salidas de predicción de un modelo al compararlos con datos etiquetados o probar datos etiquetados o datos de producción recientes.

Clave	Tipo	Descripción	Valores permitidos	Valor predeterminado
type	String	Requerido. Tipo de señal de supervisión. El componente de procesamiento de señales de supervisión precompilado se carga automáticamente según el type especificado aquí.	prediction_drift	prediction_drift
production_data	Object	Opcional. Descripción de los datos de producción que se van a analizar para la señal de supervisión.
production_data.input_data	Object	Opcional. Descripción del origen de datos de entrada, consulte la especificación de datos de entrada del trabajo.
production_data.data_context	String	El contexto de los datos hace referencia a los datos de producción del modelo y podría ser entradas del modelo o salidas del modelo	model_outputs
production_data.data_window	Object	Opcional. Ventana de datos de los datos de referencia que se van a usar como datos de línea base de comparación.	Permita solo la ventana de datos graduales o la ventana de datos fijos. Para usar la ventana de datos graduales, especifique las propiedades production_data.data_window.lookback_window_offset y production_data.data_window.lookback_window_size. Para usar las ventanas de datos fijos, especifique las propiedades production_data.data_window.window_start y production_data.data_window.window_end. Todos los valores de propiedad deben estar en formato ISO8601.
production_data.pre_processing_component	Cadena	Id. de componente en el formato de azureml:myPreprocessing@latest para un componente registrado. Esto es necesario si production_data.data.input_data.type es uri_folder. Para obtener más información sobre la especificación de componentes de preprocesamiento, consulte Especificación de componentes de preprocesamiento.
reference_data	Object	Opcional. Los datos de producción anteriores recientes se usan como datos de línea base de comparación si no se especifica. La recomendación es usar los datos de entrenamiento como línea base de comparación.
reference_data.input_data	Object	Descripción del origen de datos de entrada, consulte la especificación de datos de entrada del trabajo.
reference_data.data_context	String	El contexto de los datos, hace referencia al contexto que se usó antes del conjunto de datos	model_inputs, training, , test, validation
reference_data.data_column_names.target_column	Object	Opcional. Si el "reference_data" es datos de entrenamiento, esta propiedad es necesaria para supervisar las principales características N para el desfase de datos.
reference_data.data_window	Object	Opcional. Ventana de datos de los datos de referencia que se van a usar como datos de línea base de comparación.	Permita solo la ventana de datos graduales o la ventana de datos fijos. Para usar la ventana de datos graduales, especifique las propiedades reference_data.data_window.lookback_window_offset y reference_data.data_window.lookback_window_size. Para usar las ventanas de datos fijos, especifique las propiedades reference_data.data_window.window_start y reference_data.data_window.window_end. Todos los valores de propiedad deben estar en formato ISO8601.
reference_data_data.pre_processing_component	Cadena	Id. de componente en el formato de azureml:myPreprocessing@latest para un componente registrado. Esto es necesario si reference_data.input_data.type es uri_folder, consulte especificación de componentes de preprocesamiento.
features	Object	Opcional. Características de destino que se van a supervisar para el desfase de datos. Algunos modelos pueden tener cientos o miles de características; siempre se recomienda especificar características interesadas para la supervisión.	Uno de los siguientes valores: lista de nombres de características, features.top_n_feature_importance, o all_features	Valor predeterminado features.top_n_feature_importance = 10 si production_data.data_context es training; de lo contrario, el valor predeterminado es all_features
alert_enabled	Booleano	Active o desactive la notificación de alerta para la señal de supervisión. True o False
metric_thresholds	Object	Lista de métricas y propiedades de umbrales para la señal de supervisión. Cuando se supera el umbral y alert_enabled es true, el usuario recibirá una notificación de alerta.
metric_thresholds.numerical	Object	Opcional. Lista de métricas y umbrales en formato 'key:value', 'key' es el nombre de la métrica, 'value' es el umbral.	Nombres de métrica numéricos permitidos: jensen_shannon_distance, normalized_wasserstein_distance, population_stability_index, two_sample_kolmogorov_smirnov_test
metric_thresholds.categorical	Object	Opcional. Lista de métricas y umbrales en formato 'key:value', 'key' es el nombre de la métrica, 'value' es el umbral.	Nombres de métricas de categorías permitidos: jensen_shannon_distance, chi_squared_test, population_stability_index

Calidad de los datos

La señal de calidad de los datos realiza un seguimiento de los problemas de calidad de los datos en producción comparando los datos de entrenamiento o los datos de producción anteriores recientes.

Clave	Tipo	Descripción	Valores permitidos	Valor predeterminado
type	String	Requerido. Tipo de señal de supervisión. El componente de procesamiento de señales de supervisión precompilado se carga automáticamente según el type especificado aquí	data_quality	data_quality
production_data	Object	Opcional. Descripción de los datos de producción que se van a analizar para la señal de supervisión.
production_data.input_data	Object	Opcional. Descripción del origen de datos de entrada, consulte la especificación de datos de entrada del trabajo.
production_data.data_context	String	El contexto de los datos hace referencia a los datos de producción del modelo y podría ser entradas del modelo o salidas del modelo	model_inputs, model_outputs
production_data.data_window	Object	Opcional. Ventana de datos de los datos de referencia que se van a usar como datos de línea base de comparación.	Permita solo la ventana de datos graduales o la ventana de datos fijos. Para usar la ventana de datos graduales, especifique las propiedades production_data.data_window.lookback_window_offset y production_data.data_window.lookback_window_size. Para usar las ventanas de datos fijos, especifique las propiedades production_data.data_window.window_start y production_data.data_window.window_end. Todos los valores de propiedad deben estar en formato ISO8601.
production_data.pre_processing_component	Cadena	Id. de componente en el formato de azureml:myPreprocessing@latest para un componente registrado. Esto es necesario si production_data.input_data.type es uri_folder, consulte especificación de componentes de preprocesamiento.
reference_data	Object	Opcional. Los datos de producción anteriores recientes se usan como datos de línea base de comparación si no se especifica. La recomendación es usar los datos de entrenamiento como línea base de comparación.
reference_data.input_data	Object	Descripción del origen de datos de entrada, consulte la especificación de datos de entrada del trabajo.
reference_data.data_context	String	El contexto de los datos, hace referencia al contexto que se usó antes del conjunto de datos	model_inputs, model_outputs, training, , test, validation
reference_data.data_column_names.target_column	Object	Opcional. Si el "reference_data" es datos de entrenamiento, esta propiedad es necesaria para supervisar las principales características N para el desfase de datos.
reference_data.data_window	Object	Opcional. Ventana de datos de los datos de referencia que se van a usar como datos de línea base de comparación.	Permita solo la ventana de datos graduales o la ventana de datos fijos. Para usar la ventana de datos graduales, especifique las propiedades reference_data.data_window.lookback_window_offset y reference_data.data_window.lookback_window_size. Para usar las ventanas de datos fijos, especifique las propiedades reference_data.data_window.window_start y reference_data.data_window.window_end. Todos los valores de propiedad deben estar en formato ISO8601.
reference_data.pre_processing_component	Cadena	Id. de componente en el formato de azureml:myPreprocessing@latest para un componente registrado. Esto es necesario si reference_data.input_data.type es uri_folder, consulte especificación de componentes de preprocesamiento.
features	Object	Opcional. Características de destino que se van a supervisar para la calidad de los datos. Algunos modelos pueden tener cientos o miles de características. Siempre se recomienda especificar características interesadas para la supervisión.	Uno de los siguientes valores: lista de nombres de características, features.top_n_feature_importance, o all_features	Valor predeterminado para features.top_n_feature_importance = 10 si reference_data.data_context es training; de lo contrario, el valor predeterminado es all_features
alert_enabled	Boolean	Active o desactive la notificación de alerta para la señal de supervisión. True o False
metric_thresholds	Object	Lista de métricas y propiedades de umbrales para la señal de supervisión. Cuando se supera el umbral y alert_enabled es true, el usuario recibirá una notificación de alerta.
metric_thresholds.numerical	Object	Opcional Lista de métricas y umbrales en formato key:value, key es el nombre de la métrica, value es el umbral.	Nombres de métrica numéricos permitidos: data_type_error_rate, null_value_rate, out_of_bounds_rate
metric_thresholds.categorical	Object	Opcional Lista de métricas y umbrales en formato key:value, key es el nombre de la métrica, value es el umbral.	Nombres de métricas de categorías permitidos: data_type_error_rate, null_value_rate, out_of_bounds_rate

Desfase de atribución de características (versión preliminar)

La atribución de características de un modelo puede cambiar con el tiempo debido a cambios en la distribución de datos, cambios en las relaciones entre características o cambios en el problema subyacente que se está solucionando. El desfase de atribución de características es un fenómeno que se produce en los modelos de aprendizaje automático cuando cambia la importancia o contribución de las características a la salida de predicción a lo largo del tiempo.

Clave	Tipo	Descripción	Valores permitidos	Valor predeterminado
type	String	Requerido. Tipo de señal de supervisión. El componente de procesamiento de señales de supervisión precompilado se carga automáticamente según el type especificado aquí	feature_attribution_drift	feature_attribution_drift
production_data	Matriz	Opcional, el valor predeterminado es recopilar datos asociados con el punto de conexión de Azure Machine Learning si no se proporciona. El production_data es una lista de conjuntos de datos y sus metadatos asociados, debe incluir tanto las entradas del modelo como los datos de salida del modelo. Podría ser un único conjunto de datos con entradas y salidas del modelo, o bien podría ser dos conjuntos de datos independientes que contienen una entrada de modelo y una salida del modelo.
production_data.input_data	Object	Opcional. Descripción del origen de datos de entrada, consulte la especificación de datos de entrada del trabajo.
production_data.input_data.data_column_names	Object	Nombre de columna de correlación y nombres de columna de predicción en formato key:value, necesarios para la unión de datos.	Las claves permitidas son: correlation_id, target_column
production_data.data_context	Cadena	Contexto de datos. Hace referencia a los datos de entradas del modelo de producción.	model_inputs, , model_outputs, model_inputs_outputs
production_data.data_window	Object	Opcional. Ventana de datos de los datos de referencia que se van a usar como datos de línea base de comparación.	Permita solo la ventana de datos graduales o la ventana de datos fijos. Para usar la ventana de datos graduales, especifique las propiedades production_data.data_window.lookback_window_offset y production_data.data_window.lookback_window_size. Para usar las ventanas de datos fijos, especifique las propiedades production_data.data_window.window_start y production_data.data_window.window_end. Todos los valores de propiedad deben estar en formato ISO8601.
production_data.pre_processing_component	Cadena	Id. de componente en el formato de azureml:myPreprocessing@latest para un componente registrado. Esto es necesario si production_data.input_data.type es uri_folder, consulte especificación de componentes de preprocesamiento.
production_data.data_window_size	String	Opcional. Tamaño de ventana de datos en días con formato ISO8601, por ejemplo, P7D. Se trata de la ventana de datos de producción que se va a calcular para problemas de calidad de datos.	De forma predeterminada, el tamaño de la ventana de datos es el último período de supervisión.
reference_data	Object	Opcional. Los datos de producción anteriores recientes se usan como datos de línea base de comparación si no se especifica. La recomendación es usar los datos de entrenamiento como línea base de comparación.
reference_data.input_data	Object	Descripción del origen de datos de entrada, consulte la especificación de datos de entrada del trabajo.
reference_data.data_context	String	El contexto de los datos hace referencia al contexto que se usó antes del conjunto de datos. Desfase de atribución de características fro, solo están permitidos los datos training.	training
reference_data.data_column_names.target_column	String	Necesario.
reference_data.data_window	Object	Opcional. Ventana de datos de los datos de referencia que se van a usar como datos de línea base de comparación.	Permita solo la ventana de datos graduales o la ventana de datos fijos. Para usar la ventana de datos graduales, especifique las propiedades reference_data.data_window.lookback_window_offset y reference_data.data_window.lookback_window_size. Para usar las ventanas de datos fijos, especifique las propiedades reference_data.data_window.window_start y reference_data.data_window.window_end. Todos los valores de propiedad deben estar en formato ISO8601.
reference_data.pre_processing_component	Cadena	Id. de componente en el formato de azureml:myPreprocessing@latest para un componente registrado. Esto es necesario si reference_data.input_data.type es uri_folder, consulte especificación de componentes de preprocesamiento.
alert_enabled	Boolean	Active o desactive la notificación de alerta para la señal de supervisión. True o False
metric_thresholds	Object	Nombre y umbral de métrica para el desfase de atribución de características en formato key:value, donde key es el nombre de la métrica y value es el umbral. Cuando se supera el umbral y alert_enabled está activado, el usuario recibirá una notificación de alerta.	Nombres de métrica permitidos: normalized_discounted_cumulative_gain

Señal de supervisión personalizada

Señal de supervisión personalizada a través de un componente personalizado de Azure Machine Learning.

Clave	Tipo	Descripción	Valores permitidos	Valor predeterminado
type	String	Requerido. Tipo de señal de supervisión. El componente de procesamiento de señales de supervisión precompilado se carga automáticamente según el type especificado aquí.	custom	custom
component_id	Cadena	Necesario. Identificador del componente de Azure Machine Learning correspondiente a la señal personalizada. Por ejemplo, azureml:mycustomcomponent:1.
input_data	Object	Opcional. Descripción de los datos de entrada que va a analizar la señal de supervisión, consulte especificación de datos de entrada del trabajo.
input_data.<data_name>.data_context	Cadena	El contexto de los datos hace referencia a los datos de producción del modelo y podría ser entradas del modelo o salidas del modelo	model_inputs
input_data.<data_name>.data_window	Object	Opcional. Ventana de datos de los datos de referencia que se van a usar como datos de línea base de comparación.	Permita solo la ventana de datos graduales o la ventana de datos fijos. Para usar la ventana de datos graduales, especifique las propiedades input_data.<data_name>.data_window.lookback_window_offset y input_data.<data_name>.data_window.lookback_window_size. Para usar las ventanas de datos fijos, especifique las propiedades input_data.<data_name>.data_window.window_start y input_data.<data_name>.data_window.window_end. Todos los valores de propiedad deben estar en formato ISO8601.
input_data.<data_name>.pre_processing_component	Cadena	Id. de componente en el formato de azureml:myPreprocessing@latest para un componente registrado. Esto es necesario si input_data.<data_name>.input_data.type es uri_folder, consulte especificación de componentes de preprocesamiento.
alert_enabled	Boolean	Active o desactive la notificación de alerta para la señal de supervisión. True o False
metric_thresholds.metric_name	Object	Nombre de la métrica personalizada.
threshold	Object	Umbral aceptable para la métrica personalizada.

Rendimiento de un modelo (versión preliminar)

El rendimiento del modelo realiza un seguimiento del rendimiento objetivo de la salida de un modelo en producción comparándolo con los datos verídicos básicos recopilados.

Clave	Tipo	Descripción	Valores permitidos	Valor predeterminado
type	String	Requerido. Tipo de señal de supervisión. El componente de procesamiento de señales de supervisión precompilado se carga automáticamente según el type especificado aquí	model_performance	model_performance
production_data	Matriz	Opcional, el valor predeterminado es recopilar datos asociados con el punto de conexión de Azure Machine Learning si no se proporciona. El production_data es una lista de conjuntos de datos y sus metadatos asociados, debe incluir tanto las entradas del modelo como los datos de salida del modelo. Podría ser un único conjunto de datos con entradas y salidas del modelo, o bien podría ser dos conjuntos de datos independientes que contienen una entrada de modelo y una salida del modelo.
production_data.input_data	Object	Opcional. Descripción del origen de datos de entrada, consulte la especificación de datos de entrada del trabajo.
production_data.input_data.data_column_names	Object	Nombre de columna de correlación y nombres de columna de predicción en formato key:value, necesarios para la unión de datos.	Las claves permitidas son: correlation_id, target_column
production_data.data_context	Cadena	Contexto de datos. Hace referencia a los datos de entradas del modelo de producción.	model_inputs, , model_outputs, model_inputs_outputs
production_data.data_window	Object	Opcional. Ventana de datos de los datos de referencia que se van a usar como datos de línea base de comparación.	Permita solo la ventana de datos graduales o la ventana de datos fijos. Para usar la ventana de datos graduales, especifique las propiedades production_data.data_window.lookback_window_offset y production_data.data_window.lookback_window_size. Para usar las ventanas de datos fijos, especifique las propiedades production_data.data_window.window_start y production_data.data_window.window_end. Todos los valores de propiedad deben estar en formato ISO8601.
production_data.pre_processing_component	Cadena	Id. de componente en el formato de azureml:myPreprocessing@latest para un componente registrado. Esto es necesario si production_data.input_data.type es uri_folder, consulte especificación de componentes de preprocesamiento.
production_data.data_window_size	String	Opcional. Tamaño de ventana de datos en días con formato ISO8601, por ejemplo, P7D. Se trata de la ventana de datos de producción que se va a calcular para problemas de calidad de datos.	De forma predeterminada, el tamaño de la ventana de datos es el último período de supervisión.
reference_data	Object	Opcional. Los datos de producción anteriores recientes se usan como datos de línea base de comparación si no se especifica. La recomendación es usar los datos de entrenamiento como línea base de comparación.
reference_data.input_data	Object	Descripción del origen de datos de entrada, consulte la especificación de datos de entrada del trabajo.
reference_data.data_context	String	El contexto de los datos hace referencia al contexto que se usó antes del conjunto de datos. Desfase de atribución de características fro, solo están permitidos los datos training.	training
reference_data.data_column_names.target_column	String	Necesario.
reference_data.data_window	Object	Opcional. Ventana de datos de los datos de referencia que se van a usar como datos de línea base de comparación.	Permita solo la ventana de datos graduales o la ventana de datos fijos. Para usar la ventana de datos graduales, especifique las propiedades reference_data.data_window.lookback_window_offset y reference_data.data_window.lookback_window_size. Para usar las ventanas de datos fijos, especifique las propiedades reference_data.data_window.window_start y reference_data.data_window.window_end. Todos los valores de propiedad deben estar en formato ISO8601.
reference_data.pre_processing_component	Cadena	Id. de componente en el formato de azureml:myPreprocessing@latest para un componente registrado. Esto es necesario si reference_data.input_data.type es uri_folder, consulte especificación de componentes de preprocesamiento.
alert_enabled	Boolean	Active o desactive la notificación de alerta para la señal de supervisión. True o False
metric_thresholds.classification	Object	Opcional Lista de métricas y umbrales en formato key:value, key es el nombre de la métrica, value es el umbral.	Nombres de métrica classification permitidos: accuracy, precision, recall
metric_thresholds.regression	Object	Opcional Lista de métricas y umbrales en formato key:value, key es el nombre de la métrica, value es el umbral.	Nombres de métrica regression permitidos: mae, mse, rmse

Comentarios

El comando az ml schedule se puede usar para administrar los modelos de Azure Machine Learning.

Ejemplos

Los ejemplos de la CLI de supervisión están disponibles en el repositorio de GitHub de ejemplos. Un par son los siguientes:

YAML: monitor de fábrica

SE APLICA A: Extensión de ML de la CLI de Azure v2 (actual)

# out-of-box-monitoring.yaml
$schema:  http://azureml/sdk-2-0/Schedule.json
name: credit_default_model_monitoring
display_name: Credit default model monitoring
description: Credit default model monitoring setup with minimal configurations

trigger:
  # perform model monitoring activity daily at 3:15am
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 # #every day
  schedule: 
    hours: 3 # at 3am
    minutes: 15 # at 15 mins after 3am

create_monitor:

  compute: # specify a spark compute for monitoring job
    instance_type: standard_e4s_v3
    runtime_version: "3.3"

  monitoring_target: 
    ml_task: classification # model task type: [classification, regression, question_answering]
    endpoint_deployment_id: azureml:credit-default:main # azureml endpoint deployment id

  alert_notification: # emails to get alerts
    emails:
      - abc@example.com
      - def@example.com

YAML: monitor avanzado

SE APLICA A: Extensión de ML de la CLI de Azure v2 (actual)

# advanced-model-monitoring.yaml
$schema:  http://azureml/sdk-2-0/Schedule.json
name: fraud_detection_model_monitoring
display_name: Fraud detection model monitoring
description: Fraud detection model monitoring with advanced configurations

trigger:
  # perform model monitoring activity daily at 3:15am
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 # #every day
  schedule: 
    hours: 3 # at 3am
    minutes: 15 # at 15 mins after 3am

create_monitor:

  compute: 
    instance_type: standard_e4s_v3
    runtime_version: "3.3"

  monitoring_target:
    ml_task: classification
    endpoint_deployment_id: azureml:credit-default:main
  
  monitoring_signals:
    advanced_data_drift: # monitoring signal name, any user defined name works
      type: data_drift
      # reference_dataset is optional. By default referece_dataset is the production inference data associated with Azure Machine Learning online endpoint
      reference_data:
        input_data:
          path: azureml:credit-reference:1 # use training data as comparison reference dataset
          type: mltable
        data_context: training
        data_column_names:
          target_column: DEFAULT_NEXT_MONTH
      features: 
        top_n_feature_importance: 10 # monitor drift for top 10 features
      metric_thresholds:
        numerical:
          jensen_shannon_distance: 0.01
        categorical:
          pearsons_chi_squared_test: 0.02
    advanced_data_quality:
      type: data_quality
      # reference_dataset is optional. By default reference_dataset is the production inference data associated with Azure Machine Learning online endpoint
      reference_data:
        input_data:
          path: azureml:credit-reference:1
          type: mltable
        data_context: training
      features: # monitor data quality for 3 individual features only
        - SEX
        - EDUCATION
      metric_thresholds:
        numerical:
          null_value_rate: 0.05
        categorical:
          out_of_bounds_rate: 0.03

    feature_attribution_drift_signal:
      type: feature_attribution_drift
      # production_data: is not required input here
      # Please ensure Azure Machine Learning online endpoint is enabled to collected both model_inputs and model_outputs data
      # Azure Machine Learning model monitoring will automatically join both model_inputs and model_outputs data and used it for computation
      reference_data:
        input_data:
          path: azureml:credit-reference:1
          type: mltable
        data_context: training
        data_column_names:
          target_column: DEFAULT_NEXT_MONTH
      metric_thresholds:
        normalized_discounted_cumulative_gain: 0.9
  
  alert_notification:
    emails:
      - abc@example.com
      - def@example.com

Apéndice

Zona horaria

La programación actual admite las siguientes zonas horarias. La clave se puede usar directamente en el SDK de Python, mientras que el valor se puede usar en el trabajo de YAML. La tabla está organizada por UTC (Hora universal coordinada).

UTC	Clave	Valor
UTC -12:00	DATELINE_STANDARD_TIME	"Hora estándar de línea de fecha"
UTC -11:00	UTC_11	"UTC-11"
UTC - 10:00	ALEUTIAN_STANDARD_TIME	Hora estándar aleutiana
UTC - 10:00	HAWAIIAN_STANDARD_TIME	"Hora estándar de Hawái"
UTC -09:30	MARQUESAS_STANDARD_TIME	"Hora estándar de Marquesas"
UTC -09:00	ALASKAN_STANDARD_TIME	"Hora estándar de Alaska"
UTC -09:00	UTC_09	"UTC-09"
UTC -08:00	PACIFIC_STANDARD_TIME_MEXICO	"Hora estándar del Pacífico (México)"
UTC -08:00	UTC_08	"UTC-08"
UTC -08:00	PACIFIC_STANDARD_TIME	"Hora estándar del Pacífico"
UTC -07:00	US_MOUNTAIN_STANDARD_TIME	"Hora estándar de las Montañas, EE. UU."
UTC -07:00	MOUNTAIN_STANDARD_TIME_MEXICO	"Hora estándar de las Montañas (México)"
UTC -07:00	MOUNTAIN_STANDARD_TIME	"Hora estándar de las Montañas"
UTC -06:00	CENTRAL_AMERICA_STANDARD_TIME	"Hora estándar de Centroamérica"
UTC -06:00	CENTRAL_STANDARD_TIME	"Hora estándar central"
UTC -06:00	EASTER_ISLAND_STANDARD_TIME	"Hora estándar de Isla de Pascua"
UTC -06:00	CENTRAL_STANDARD_TIME_MEXICO	"Hora estándar central (México)"
UTC -06:00	CANADA_CENTRAL_STANDARD_TIME	"Hora estándar de Canadá central"
UTC -05:00	SA_PACIFIC_STANDARD_TIME	"Hora estándar del Pacífico, Sudamérica"
UTC -05:00	EASTERN_STANDARD_TIME_MEXICO	"Hora estándar del Este (México)"
UTC -05:00	EASTERN_STANDARD_TIME	"Hora estándar del Este"
UTC -05:00	HAITI_STANDARD_TIME	"Hora estándar de Haití"
UTC -05:00	CUBA_STANDARD_TIME	"Hora estándar de Cuba"
UTC -05:00	US_EASTERN_STANDARD_TIME	"Hora estándar del Este, EE. UU."
UTC -05:00	TURKS_AND_CAICOS_STANDARD_TIME	"Hora estándar de Islas Turcas y Caicos"
UTC -04:00	PARAGUAY_STANDARD_TIME	"Hora estándar de Paraguay"
UTC -04:00	ATLANTIC_STANDARD_TIME	"Hora estándar del Atlántico"
UTC -04:00	VENEZUELA_STANDARD_TIME	"Hora estándar de Venezuela"
UTC -04:00	CENTRAL_BRAZILIAN_STANDARD_TIME	"Hora estándar de Brasil central"
UTC -04:00	SA_WESTERN_STANDARD_TIME	"Hora estándar oeste, Sudamérica"
UTC -04:00	PACIFIC_SA_STANDARD_TIME	"Hora estándar del Pacífico, Sudamérica"
UTC -03:30	NEWFOUNDLAND_STANDARD_TIME	"Hora estándar de Terranova"
UTC -03:00	TOCANTINS_STANDARD_TIME	"Hora estándar de Tocantins"
UTC -03:00	E_SOUTH_AMERICAN_STANDARD_TIME	"E. Hora estándar este, Sudamérica"
UTC -03:00	SA_EASTERN_STANDARD_TIME	"Hora estándar de Sudamérica Este"
UTC -03:00	ARGENTINA_STANDARD_TIME	"Hora estándar de Argentina"
UTC -03:00	GREENLAND_STANDARD_TIME	"Hora estándar de Groenlandia"
UTC -03:00	MONTEVIDEO_STANDARD_TIME	"Hora estándar de Montevideo"
UTC -03:00	SAINT_PIERRE_STANDARD_TIME	"Hora estándar de Saint Pierre"
UTC -03:00	BAHIA_STANDARD_TIM	"Hora estándar de Bahía"
UTC -02:00	UTC_02	"UTC-02"
UTC -02:00	MID_ATLANTIC_STANDARD_TIME	"Hora estándar del Atlántico Central"
UTC -01:00	AZORES_STANDARD_TIME	"Hora estándar de las Azores"
UTC -01:00	CAPE_VERDE_STANDARD_TIME	"Hora estándar de Cabo Verde"
UTC	UTC	UTC
UTC +00:00	GMT_STANDARD_TIME	"Hora estándar GMT"
UTC +00:00	GREENWICH_STANDARD_TIME	"Hora estándar de Greenwich"
UTC +01:00	MOROCCO_STANDARD_TIME	"Hora estándar de Marruecos"
UTC +01:00	W_EUROPE_STANDARD_TIME	"Hora estándar Europa Occidental"
UTC +01:00	CENTRAL_EUROPE_STANDARD_TIME	"Hora estándar Europa Central"
UTC +01:00	ROMANCE_STANDARD_TIME	"Hora estándar romance"
UTC +01:00	CENTRAL_EUROPEAN_STANDARD_TIME	"Hora estándar centroeuropea"
UTC +01:00	W_CENTRAL_AFRICA_STANDARD_TIME	"Hora estándar de África Central Occidental"
UTC +02:00	NAMIBIA_STANDARD_TIME	"Hora estándar de Namibia"
UTC +02:00	JORDAN_STANDARD_TIME	"Hora estándar de Jordania"
UTC +02:00	GTB_STANDARD_TIME	"Hora estándar GTB"
UTC +02:00	MIDDLE_EAST_STANDARD_TIME	"Hora estándar de Oriente Medio"
UTC +02:00	EGYPT_STANDARD_TIME	"Hora estándar de Egipto"
UTC +02:00	E_EUROPE_STANDARD_TIME	"E. estándar Europa Occidental"
UTC +02:00	SYRIA_STANDARD_TIME	"Hora estándar de Siria"
UTC +02:00	WEST_BANK_STANDARD_TIME	"Hora estándar de Cisjordania"
UTC +02:00	SOUTH_AFRICA_STANDARD_TIME	"Hora estándar de Sudáfrica"
UTC +02:00	FLE_STANDARD_TIME	"Hora estándar FLE"
UTC +02:00	ISRAEL_STANDARD_TIME	"Hora estándar de Israel"
UTC +02:00	KALININGRAD_STANDARD_TIME	"Hora estándar de Kaliningrado"
UTC +02:00	LIBYA_STANDARD_TIME	"Hora estándar de Libia"
UTC +03:00	TÜRKIYE_STANDARD_TIME	"Hora estándar de Turquía"
UTC +03:00	ARABIC_STANDARD_TIME	"Hora estándar arábiga"
UTC +03:00	ARAB_STANDARD_TIME	"Hora estándar árabe"
UTC +03:00	BELARUS_STANDARD_TIME	"Hora estándar de Bielorrusia"
UTC +03:00	RUSSIAN_STANDARD_TIME	"Hora estándar de Rusia"
UTC +03:00	E_AFRICA_STANDARD_TIME	"E. Hora estándar de África"
UTC +03:30	IRAN_STANDARD_TIME	"Hora estándar de Irán"
UTC +04:00	ARABIAN_STANDARD_TIME	"Hora estándar árabe"
UTC +04:00	ASTRAKHAN_STANDARD_TIME	"Hora estándar de Astrakhan"
UTC +04:00	AZERBAIJAN_STANDARD_TIME	"Hora estándar de Azerbaiyán"
UTC +04:00	RUSSIA_TIME_ZONE_3	"Zona horaria 3 de Rusia"
UTC +04:00	MAURITIUS_STANDARD_TIME	"Hora estándar de Mauricio"
UTC +04:00	GEORGIAN_STANDARD_TIME	"Hora estándar de Georgia"
UTC +04:00	CAUCASUS_STANDARD_TIME	"Hora estándar del Cáucaso"
UTC +04:30	AFGHANISTAN_STANDARD_TIME	"Hora estándar de Afganistán"
UTC +05:00	WEST_ASIA_STANDARD_TIME	"Hora estándar Asia Occidental"
UTC +05:00	EKATERINBURG_STANDARD_TIME	"Hora estándar de Ekaterimburgo"
UTC +05:00	PAKISTAN_STANDARD_TIME	"Hora estándar de Pakistán"
UTC +05:30	INDIA_STANDARD_TIME	"Hora estándar de India"
UTC +05:30	SRI_LANKA_STANDARD_TIME	"Hora estándar de Sri Lanka"
UTC +05:45	NEPAL_STANDARD_TIME	"Hora estándar de Nepal"
UTC +06:00	CENTRAL_ASIA_STANDARD_TIME	"Hora estándar de Asia Central"
UTC +06:00	BANGLADESH_STANDARD_TIME	"Hora estándar de Bangladés"
UTC +06:30	MYANMAR_STANDARD_TIME	"Hora estándar de Myanmar"
UTC +07:00	N_CENTRAL_ASIA_STANDARD_TIME	"Hora estándar de Asia Central Norte"
UTC +07:00	SE_ASIA_STANDARD_TIME	"Hora estándar de Asia Sureste"
UTC +07:00	ALTAI_STANDARD_TIME	"Hora estándar de Altai"
UTC +07:00	W_MONGOLIA_STANDARD_TIME	"Hora estándar de Mongolia Occidental"
UTC +07:00	NORTH_ASIA_STANDARD_TIME	"Hora estándar de Asia Norte"
UTC +07:00	TOMSK_STANDARD_TIME	"Hora estándar de Tomsk"
UTC +08:00	CHINA_STANDARD_TIME	"Hora estándar de China"
UTC +08:00	NORTH_ASIA_EAST_STANDARD_TIME	"Hora estándar del este de Asia Norte"
UTC +08:00	SINGAPORE_STANDARD_TIME	"Hora estándar de Singapur"
UTC +08:00	W_AUSTRALIA_STANDARD_TIME	"Hora estándar de Australia occidental"
UTC +08:00	TAIPEI_STANDARD_TIME	"Hora estándar de Taipéi"
UTC +08:00	ULAANBAATAR_STANDARD_TIME	"Hora estándar de Ulán Bator"
UTC +08:45	AUS_CENTRAL_W_STANDARD_TIME	"Hora estándar de Australia Central Oeste"
UTC +09:00	NORTH_KOREA_STANDARD_TIME	"Hora estándar de Corea del Norte"
UTC +09:00	TRANSBAIKAL_STANDARD_TIME	"Hora estándar de Transbaikal"
UTC +09:00	TOKYO_STANDARD_TIME	"Hora estándar de Tokio"
UTC +09:00	KOREA_STANDARD_TIME	"Hora estándar de Corea"
UTC +09:00	YAKUTSK_STANDARD_TIME	"Hora estándar de Yakutsk"
UTC +09:30	CEN_AUSTRALIA_STANDARD_TIME	"Hora estándar de Australia central"
UTC +09:30	AUS_CENTRAL_STANDARD_TIME	"Hora estándar central australiana"
UTC +10:00	E_AUSTRALIAN_STANDARD_TIME	"E. estándar de Australia oriental"
UTC +10:00	AUS_EASTERN_STANDARD_TIME	"Hora estándar oriental australiana"
UTC +10:00	WEST_PACIFIC_STANDARD_TIME	"Hora estándar del Pacífico Occidental"
UTC +10:00	TASMANIA_STANDARD_TIME	"Hora estándar de Tasmania"
UTC +10:00	VLADIVOSTOK_STANDARD_TIME	"Hora estándar de Vladivostok"
UTC +10:30	LORD_HOWE_STANDARD_TIME	"Hora estándar de Lord Howe"
UTC +11:00	BOUGAINVILLE_STANDARD_TIME	"Hora estándar de Bougainville"
UTC +11:00	RUSSIA_TIME_ZONE_10	"Zona horaria 10 de Rusia"
UTC +11:00	MAGADAN_STANDARD_TIME	"Hora estándar de Magadán"
UTC +11:00	NORFOLK_STANDARD_TIME	"Hora estándar de Norfolk"
UTC +11:00	SAKHALIN_STANDARD_TIME	"Hora estándar de Sajalín"
UTC +11:00	CENTRAL_PACIFIC_STANDARD_TIME	"Hora estándar del Pacífico Central"
UTC +12:00	RUSSIA_TIME_ZONE_11	"Zona horaria 11 de Rusia"
UTC +12:00	NEW_ZEALAND_STANDARD_TIME	"Hora estándar de Nueva Zelanda"
UTC +12:00	UTC_12	"UTC+12"
UTC +12:00	FIJI_STANDARD_TIME	"Hora estándar de Fiyi"
UTC +12:00	KAMCHATKA_STANDARD_TIME	"Hora estándar de Kamchatka"
UTC +12:45	CHATHAM_ISLANDS_STANDARD_TIME	"Hora estándar de las Islas Chatham"
UTC +13:00	TONGA__STANDARD_TIME	"Hora estándar de Tonga"
UTC +13:00	SAMOA_STANDARD_TIME	"Hora estándar de Samoa"
UTC +14:00	LINE_ISLANDS_STANDARD_TIME	"Hora estándar de Islas de la Línea"