Plánování schématu YAML cli (v2) pro monitorování modelů (Preview)

PLATÍ PRO: Rozšíření Azure CLI ml v2 (aktuální)

Syntaxe YAML podrobná v tomto dokumentu je založená na schématu JSON pro nejnovější verzi rozšíření ML CLI v2. Tato syntaxe je zaručena pouze pro práci s nejnovější verzí rozšíření ML CLI v2. Komplexní schéma JSON lze zobrazit na adrese https://azuremlschemas.azureedge.net/latest/monitorSchedule.schema.json. Schémata pro starší verze rozšíření najdete na adrese https://azuremlschemasprod.azureedge.net/.

Syntaxe YAML

Klíč	Typ	Popis	Povolené hodnoty
$schema	string	Schéma YAML.
name	string	Povinný: Název plánu
description	string	Popis plánu
tags	objekt	Slovník značek pro plán
trigger	objekt	Povinný: Konfigurace triggeru definující pravidlo, kdy se má aktivovat úloha. Jedna z RecurrenceTrigger nebo CronTrigger je povinná.
create_monitor	objekt	Povinný: Definice monitorování, které se aktivuje podle plánu. MonitorDefinition je povinný.

Konfigurace triggeru

Trigger opakování

Klíč	Typ	Popis	Povolené hodnoty
type	string	Povinný: Určuje typ plánu.	recurrence
frequency	string	Povinný: Určuje jednotku času, která popisuje, jak často se plán aktivuje.	minute, hour, day, , weekmonth
interval	integer	Povinný: Určuje interval, ve kterém se plán aktivuje.
start_time	string	Popisuje počáteční datum a čas pomocí časového pásma. Pokud start_time tuto hodnotu vynecháte, spustí se první úloha okamžitě a budoucí úlohy se aktivují na základě plánu. Říká se, že start_time se bude rovnat času vytvoření úlohy. Pokud je čas spuštění v minulosti, spustí se první úloha při příštím počítaném běhu.
end_time	string	Popisuje koncové datum a čas s časovým pásmem. Pokud end_time tento plán vynecháte, bude se tento plán dál spouštět, dokud nebude explicitně zakázaný.
timezone	string	Určuje časové pásmo opakování. Pokud tento parametr vynecháte, je ve výchozím nastavení UTC.	Viz dodatek k hodnotám časového pásma.
pattern	objekt	Určuje způsob opakování. Pokud vzor vynecháte, úlohy se aktivují podle logiky start_time, četnosti a intervalu.

Plán opakování

Plán opakování definuje způsob opakování, který obsahuje hoursminutes, a weekdays.

• Pokud je dayfrekvence , model může určit hours a minutes.
• Je-li week frekvence a month, vzor může určit hours, minutes a weekdays.

Klíč	Typ	Povolené hodnoty
hours	celé číslo nebo pole celého čísla	0-23
minutes	celé číslo nebo pole celého čísla	0-59
week_days	řetězec nebo pole řetězce	monday, tuesday, wednesday, thursday, friday, , saturdaysunday

CronTrigger

Klíč	Typ	Popis	Povolené hodnoty
type	string	Povinný: Určuje typ plánu.	cron
expression	string	Povinný: Určuje výraz cron, který definuje, jak aktivovat úlohy. výraz používá standardní výraz crontab k vyjádření opakujícího se plánu. Jeden výraz se skládá z pěti polí oddělených mezerami:MINUTES HOURS DAYS MONTHS DAYS-OF-WEEK
start_time	string	Popisuje počáteční datum a čas pomocí časového pásma. Pokud start_time vynecháte, spustí se první úloha okamžitě a budoucí úlohy se aktivují na základě plánu, takže start_time se rovná času vytvoření úlohy. Pokud je čas spuštění v minulosti, spustí se první úloha při příštím počítaném běhu.
end_time	string	Popisuje koncové datum a čas s časovým pásmem. Pokud end_time vynecháte, plán se bude dál spouštět, dokud nebude explicitně zakázaný.
timezone	string	Určuje časové pásmo opakování. Pokud tento parametr vynecháte, je ve výchozím nastavení UTC.	Viz dodatek k hodnotám časového pásma.

Definice monitorování

Klíč	Typ	Popis	Povolené hodnoty	Default value
compute	Objekt	Povinný: Popis výpočetních prostředků pro fond Sparku ke spuštění úlohy monitorování
compute.instance_type	String	Povinný: Typ výpočetní instance, který se má použít pro fond Sparku.	'standard_e4s_v3', 'standard_e8s_v3', 'standard_e16s_v3', 'standard_e32s_v3', 'standard_e64s_v3'	Není k dispozici
compute.runtime_version	String	Volitelné. Definuje verzi modulu runtime Spark.	3.3	3.3
monitoring_target	Objekt	Prostředky služby Azure Machine Learning přidružené k monitorování modelů
monitoring_target.ml_task	String	Úloha strojového učení pro model	Povolené hodnoty jsou: classification, regression, question_answering
monitoring_target.endpoint_deployment_id	String	Volitelné. Přidružené ID koncového azureml:myEndpointName:myDeploymentNamebodu nebo nasazení služby Azure Machine Learning ve formátu . Toto pole se vyžaduje, pokud váš koncový bod nebo nasazení povolilo shromažďování dat modelu pro monitorování modelů.
monitoring_target.model_id	String	Volitelné. Přidružené ID modelu pro monitorování modelu.
monitoring_signals	Objekt	Slovník monitorovacích signálů, které se mají zahrnout. Klíč je název monitorovacího signálu v kontextu monitorování a hodnota je objekt obsahující specifikaci monitorovacího signálu. Volitelné pro základní monitorování modelů, které jako směrný plán porovnání používají nejnovější data z minulosti a mají 3 monitorovací signály: posun dat, posun predikce a kvalitu dat.
alert_notification	Řetězec nebo objekt	Popis příjemců oznámení o upozornění	Jeden ze dvou cílů upozornění je povolený: řetězec azmonitoring nebo objekt emails obsahující pole příjemců e-mailu
alert_notification.emails	Objekt	Seznam e-mailovýchadresch

Monitorovací signály

Posun dat

S tím, jak se data použitá k trénování modelu vyvíjejí v produkčním prostředí, se rozdělení dat může posunout, což vede k neshodě mezi trénovacími daty a skutečnými daty, která model používá k predikci. Posun dat je jev, který se vyskytuje ve strojovém učení, když se statistické vlastnosti vstupních dat používaných k trénování modelu v průběhu času mění.

Klíč	Typ	Popis	Povolené hodnoty	Default value
type	String	Povinný: Typ monitorovacího signálu. Předem připravená komponenta pro zpracování signálu monitorování se automaticky načte podle zadaného parametru type .	data_drift	data_drift
production_data	Objekt	Volitelné. Popis produkčních dat, která se mají analyzovat pro monitorovací signál
production_data.input_data	Objekt	Volitelné. Popis vstupního zdroje dat, viz specifikace vstupních dat úlohy.
production_data.data_context	String	Kontext dat odkazuje na produkční data modelu a může se jednat o vstupy modelu nebo výstupy modelu.	model_inputs
production_data.data_window	Objekt	Volitelné. Okno dat referenčních dat, která se mají použít jako srovnávací směrná data.	Povolte buď okno se posuvnou datou, nebo jen okno s pevnými daty. Pokud chcete použít okno s průběžnámi daty, zadejte production_data.data_window.lookback_window_offset a production_data.data_window.lookback_window_size vlastnosti. Pro použití pevných datových oken zadejte production_data.data_window.window_start a production_data.data_window.window_end vlastnosti. Všechny hodnoty vlastností musí být ve formátu ISO8601.
production_data.pre_processing_component	String	ID komponenty ve formátu azureml:myPreprocessing@latest registrované komponenty. To je vyžadováno, pokud production_data.data.input_data.type je uri_folder, viz specifikace součásti předběžného zpracování.
reference_data	Objekt	Volitelné. Nedávná předchozí produkční data se používají jako data směrného plánu porovnání, pokud není zadána. Doporučením je použít trénovací data jako směrný plán porovnání.
reference_data.input_data	Objekt	Popis vstupního zdroje dat, viz specifikace vstupních dat úlohy.
reference_data.data_context	String	Kontext dat odkazuje na kontext, který byla datová sada použita dříve.	model_inputs, training, , testvalidation
reference_data.data_column_names.target_column	Objekt	Volitelné. reference_data Pokud jsou trénovací data, tato vlastnost se vyžaduje pro monitorování hlavních N funkcí pro posun dat.
reference_data.data_window	Objekt	Volitelné. Okno dat referenčních dat, která se mají použít jako srovnávací směrná data.	Povolte buď okno se posuvnou datou, nebo jen okno s pevnými daty. Pokud chcete použít okno s průběžnámi daty, zadejte reference_data.data_window.lookback_window_offset a reference_data.data_window.lookback_window_size vlastnosti. Pro použití pevných datových oken zadejte reference_data.data_window.window_start a reference_data.data_window.window_end vlastnosti. Všechny hodnoty vlastností musí být ve formátu ISO8601.
reference_data_data.pre_processing_component	String	ID komponenty ve formátu azureml:myPreprocessing@latest registrované komponenty. To je vyžadováno, pokud reference_data.input_data.type je uri_folder, viz specifikace součásti předběžného zpracování.
features	Objekt	Volitelné. Cílové funkce, které se mají monitorovat pro posun dat. Některé modely můžou mít stovky nebo tisíce funkcí. Vždy se doporučuje určit zajímavé funkce pro monitorování.	Jedna z následujících hodnot: seznam názvů funkcí, features.top_n_feature_importancenebo all_features	Výchozí features.top_n_feature_importance = 10 , pokud production_data.data_context je training, jinak je výchozí all_features
alert_enabled	Logická hodnota	Zapněte nebo vypněte oznámení výstrahy pro monitorovací signál. True nebo False
metric_thresholds	Objekt	Seznam vlastností metrik a prahových hodnot pro monitorovací signál Při překročení prahové hodnoty a alert_enabled je true, uživatel obdrží upozornění.
metric_thresholds.numerical	Objekt	Nepovinné. Seznam metrik a prahových hodnot ve key:value formátu key je název metriky. value	Povolené číselné názvy metrik: jensen_shannon_distance, normalized_wasserstein_distance, population_stability_indextwo_sample_kolmogorov_smirnov_test
metric_thresholds.categorical	Objekt	Nepovinné. Seznam metrik a prahových hodnot ve formátu key:value, key je název metriky, hodnota je prahová hodnota.	Povolené názvy metrik kategorií: jensen_shannon_distance, chi_squared_test, population_stability_index

Posun předpovědi

Posun předpovědi sleduje změny v distribuci výstupů predikce modelu tím, že je porovná s ověřením nebo testováním označených dat nebo nedávnými minulými produkčními daty.

Klíč	Typ	Popis	Povolené hodnoty	Default value
type	String	Povinný: Typ monitorovacího signálu. Předem připravená komponenta pro zpracování signálu monitorování se automaticky načte podle zadaného parametru type .	prediction_drift	prediction_drift
production_data	Objekt	Volitelné. Popis produkčních dat, která se mají analyzovat pro monitorovací signál
production_data.input_data	Objekt	Volitelné. Popis vstupního zdroje dat, viz specifikace vstupních dat úlohy.
production_data.data_context	String	Kontext dat odkazuje na produkční data modelu a může se jednat o vstupy modelu nebo výstupy modelu.	model_outputs
production_data.data_window	Objekt	Volitelné. Okno dat referenčních dat, která se mají použít jako srovnávací směrná data.	Povolte buď okno se posuvnou datou, nebo jen okno s pevnými daty. Pokud chcete použít okno s průběžnámi daty, zadejte production_data.data_window.lookback_window_offset a production_data.data_window.lookback_window_size vlastnosti. Pro použití pevných datových oken zadejte production_data.data_window.window_start a production_data.data_window.window_end vlastnosti. Všechny hodnoty vlastností musí být ve formátu ISO8601.
production_data.pre_processing_component	String	ID komponenty ve formátu azureml:myPreprocessing@latest registrované komponenty. To je nutné, pokud production_data.data.input_data.type je uri_folder. Další informace o specifikaci komponenty předběžného zpracování naleznete v části Specifikace součásti předběžného zpracování.
reference_data	Objekt	Volitelné. Nedávná předchozí produkční data se používají jako data směrného plánu porovnání, pokud není zadána. Doporučením je použít trénovací data jako směrný plán porovnání.
reference_data.input_data	Objekt	Popis vstupního zdroje dat, viz specifikace vstupních dat úlohy.
reference_data.data_context	String	Kontext dat odkazuje na kontext, který byla datová sada použita dříve.	model_inputs, training, , testvalidation
reference_data.data_column_names.target_column	Objekt	Volitelné. Pokud je trénovací data "reference_data", tato vlastnost se vyžaduje pro monitorování hlavních N funkcí pro posun dat.
reference_data.data_window	Objekt	Volitelné. Okno dat referenčních dat, která se mají použít jako srovnávací směrná data.	Povolte buď okno se posuvnou datou, nebo jen okno s pevnými daty. Pokud chcete použít okno s průběžnámi daty, zadejte reference_data.data_window.lookback_window_offset a reference_data.data_window.lookback_window_size vlastnosti. Pro použití pevných datových oken zadejte reference_data.data_window.window_start a reference_data.data_window.window_end vlastnosti. Všechny hodnoty vlastností musí být ve formátu ISO8601.
reference_data_data.pre_processing_component	String	ID komponenty ve formátu azureml:myPreprocessing@latest registrované komponenty. To je vyžadováno, pokud reference_data.input_data.type je uri_folder, viz specifikace součásti předběžného zpracování.
features	Objekt	Volitelné. Cílové funkce, které se mají monitorovat pro posun dat. Některé modely můžou mít stovky nebo tisíce funkcí. Vždy se doporučuje určit zajímavé funkce pro monitorování.	Jedna z následujících hodnot: seznam názvů funkcí, features.top_n_feature_importancenebo all_features	Výchozí features.top_n_feature_importance = 10 , pokud production_data.data_context je training, jinak je výchozí all_features
alert_enabled	Logická hodnota	Zapněte nebo vypněte oznámení výstrahy pro monitorovací signál. True nebo False
metric_thresholds	Objekt	Seznam vlastností metrik a prahových hodnot pro monitorovací signál Při překročení prahové hodnoty a alert_enabled je true, uživatel obdrží upozornění.
metric_thresholds.numerical	Objekt	Nepovinné. Seznam metrik a prahových hodnot ve formátu key:value, key je název metriky, hodnota je prahová hodnota.	Povolené číselné názvy metrik: jensen_shannon_distance, normalized_wasserstein_distance, population_stability_indextwo_sample_kolmogorov_smirnov_test
metric_thresholds.categorical	Objekt	Nepovinné. Seznam metrik a prahových hodnot ve formátu key:value, key je název metriky, hodnota je prahová hodnota.	Povolené názvy metrik kategorií: jensen_shannon_distance, chi_squared_test, population_stability_index

Kvalita dat

Signál kvality dat sleduje problémy s kvalitou dat v produkčním prostředí porovnáním s trénovacími daty nebo nedávnými minulými produkčními daty.

Klíč	Typ	Popis	Povolené hodnoty	Default value
type	String	Povinný: Typ monitorovacího signálu. Předem připravená komponenta pro zpracování signálu se automaticky načte podle zadaného type	data_quality	data_quality
production_data	Objekt	Volitelné. Popis produkčních dat, která se mají analyzovat pro monitorovací signál
production_data.input_data	Objekt	Volitelné. Popis vstupního zdroje dat, viz specifikace vstupních dat úlohy.
production_data.data_context	String	Kontext dat odkazuje na produkční data modelu a může se jednat o vstupy modelu nebo výstupy modelu.	model_inputs, model_outputs
production_data.data_window	Objekt	Volitelné. Okno dat referenčních dat, která se mají použít jako srovnávací směrná data.	Povolte buď okno se posuvnou datou, nebo jen okno s pevnými daty. Pokud chcete použít okno s průběžnámi daty, zadejte production_data.data_window.lookback_window_offset a production_data.data_window.lookback_window_size vlastnosti. Pro použití pevných datových oken zadejte production_data.data_window.window_start a production_data.data_window.window_end vlastnosti. Všechny hodnoty vlastností musí být ve formátu ISO8601.
production_data.pre_processing_component	String	ID komponenty ve formátu azureml:myPreprocessing@latest registrované komponenty. To je vyžadováno, pokud production_data.input_data.type je uri_folder, viz specifikace součásti předběžného zpracování.
reference_data	Objekt	Volitelné. Nedávná předchozí produkční data se používají jako data směrného plánu porovnání, pokud není zadána. Doporučením je použít trénovací data jako směrný plán porovnání.
reference_data.input_data	Objekt	Popis vstupního zdroje dat, viz specifikace vstupních dat úlohy.
reference_data.data_context	String	Kontext dat odkazuje na kontext, který byla datová sada použita dříve.	model_inputs, model_outputs, training, , testvalidation
reference_data.data_column_names.target_column	Objekt	Volitelné. Pokud je trénovací data "reference_data", tato vlastnost se vyžaduje pro monitorování hlavních N funkcí pro posun dat.
reference_data.data_window	Objekt	Volitelné. Okno dat referenčních dat, která se mají použít jako srovnávací směrná data.	Povolte buď okno se posuvnou datou, nebo jen okno s pevnými daty. Pokud chcete použít okno s průběžnámi daty, zadejte reference_data.data_window.lookback_window_offset a reference_data.data_window.lookback_window_size vlastnosti. Pro použití pevných datových oken zadejte reference_data.data_window.window_start a reference_data.data_window.window_end vlastnosti. Všechny hodnoty vlastností musí být ve formátu ISO8601.
reference_data.pre_processing_component	String	ID komponenty ve formátu azureml:myPreprocessing@latest registrované komponenty. To je vyžadováno, pokud reference_data.input_data.type je uri_folder, viz specifikace součásti předběžného zpracování.
features	Objekt	Volitelné. Cílové funkce, které se mají monitorovat pro kvalitu dat. Některé modely můžou mít stovky nebo tisíce funkcí. Ke sledování se vždy doporučuje zadat zajímavé funkce.	Jedna z následujících hodnot: seznam názvů funkcí, features.top_n_feature_importancenebo all_features	Výchozí hodnota features.top_n_feature_importance = 10 pokud reference_data.data_context je training, jinak je výchozí all_features
alert_enabled	Logická hodnota	Zapněte nebo vypněte oznámení výstrahy pro monitorovací signál. True nebo False
metric_thresholds	Objekt	Seznam vlastností metrik a prahových hodnot pro monitorovací signál Při překročení prahové hodnoty a alert_enabled je true, uživatel obdrží upozornění.
metric_thresholds.numerical	Objekt	Volitelný seznam metrik a prahových hodnot ve key:value formátu je key název metriky. value	Povolené číselné názvy metrik: data_type_error_rate, null_value_rate, out_of_bounds_rate
metric_thresholds.categorical	Objekt	Volitelný seznam metrik a prahových hodnot ve key:value formátu je key název metriky. value	Povolené názvy metrik kategorií: data_type_error_rate, null_value_rate, out_of_bounds_rate

Posun přiřazení funkcí (Preview)

Přiřazení funkce modelu se může v průběhu času měnit kvůli změnám distribuce dat, změnám vztahů mezi funkcemi nebo změnami souvisejícího problému. Posun přisuzování funkcí je jev, který se vyskytuje v modelech strojového učení, když se důležitost nebo příspěvek funkcí do výstupu předpovědi v průběhu času změní.

Klíč	Typ	Popis	Povolené hodnoty	Default value
type	String	Povinný: Typ monitorovacího signálu. Předem připravená komponenta pro zpracování signálu se automaticky načte podle zadaného type	feature_attribution_drift	feature_attribution_drift
production_data	Pole	Volitelné, výchozí nastavení pro shromážděná data přidružená ke koncovému bodu služby Azure Machine Learning, pokud není k dispozici. Jedná se production_data o seznam datových sad a přidružených meta dat, musí obsahovat vstupy modelu i výstupy modelu. Může to být jedna datová sada se vstupy modelu i výstupy, nebo může to být dvě samostatné datové sady obsahující jeden vstup modelu a jeden výstup modelu.
production_data.input_data	Objekt	Volitelné. Popis vstupního zdroje dat, viz specifikace vstupních dat úlohy.
production_data.input_data.data_column_names	Objekt	Název sloupce korelace a názvy sloupců predikce ve key:value formátu, které jsou potřeba pro spojování dat.	Povolené klíče jsou: correlation_id, target_column
production_data.data_context	String	Kontext dat. Odkazuje na vstupní data produkčního modelu.	model_inputs, , model_outputsmodel_inputs_outputs
production_data.data_window	Objekt	Volitelné. Okno dat referenčních dat, která se mají použít jako srovnávací směrná data.	Povolte buď okno se posuvnou datou, nebo jen okno s pevnými daty. Pokud chcete použít okno s průběžnámi daty, zadejte production_data.data_window.lookback_window_offset a production_data.data_window.lookback_window_size vlastnosti. Pro použití pevných datových oken zadejte production_data.data_window.window_start a production_data.data_window.window_end vlastnosti. Všechny hodnoty vlastností musí být ve formátu ISO8601.
production_data.pre_processing_component	String	ID komponenty ve formátu azureml:myPreprocessing@latest registrované komponenty. To je vyžadováno, pokud production_data.input_data.type je uri_folder, viz specifikace součásti předběžného zpracování.
production_data.data_window_size	String	Volitelné. Velikost okna dat ve dnech s formátem ISO8601, například P7D. Toto je okno produkčních dat, které se má vypočítat pro problémy s kvalitou dat.	Ve výchozím nastavení je velikost datového okna posledním obdobím monitorování.
reference_data	Objekt	Volitelné. Nedávná předchozí produkční data se používají jako data směrného plánu porovnání, pokud není zadána. Doporučením je použít trénovací data jako směrný plán porovnání.
reference_data.input_data	Objekt	Popis vstupního zdroje dat, viz specifikace vstupních dat úlohy.
reference_data.data_context	String	Kontext dat odkazuje na kontext, který byla datová sada použita dříve. Posun přisuzování funkcí Fro, povolená jsou pouze training data.	training
reference_data.data_column_names.target_column	String	Povinný:
reference_data.data_window	Objekt	Volitelné. Okno dat referenčních dat, která se mají použít jako srovnávací směrná data.	Povolte buď okno se posuvnou datou, nebo jen okno s pevnými daty. Pokud chcete použít okno s průběžnámi daty, zadejte reference_data.data_window.lookback_window_offset a reference_data.data_window.lookback_window_size vlastnosti. Pro použití pevných datových oken zadejte reference_data.data_window.window_start a reference_data.data_window.window_end vlastnosti. Všechny hodnoty vlastností musí být ve formátu ISO8601.
reference_data.pre_processing_component	String	ID komponenty ve formátu azureml:myPreprocessing@latest registrované komponenty. To je vyžadováno, pokud reference_data.input_data.type je uri_folder, viz specifikace součásti předběžného zpracování.
alert_enabled	Logická hodnota	Zapněte nebo vypněte oznámení výstrahy pro monitorovací signál. True nebo False
metric_thresholds	Objekt	Název a prahová hodnota metriky pro posun přisuzování funkcí ve key:value formátu, kde key je název metriky a value je prahová hodnota. Když dojde k překročení prahové hodnoty a alert_enabled je zapnutá, uživateli se zobrazí upozornění.	Povolený název metriky: normalized_discounted_cumulative_gain

Vlastní monitorovací signál

Vlastní signál monitorování prostřednictvím vlastní komponenty Azure Machine Learning

Klíč	Typ	Popis	Povolené hodnoty	Default value
type	String	Povinný: Typ monitorovacího signálu. Předem připravená komponenta pro zpracování signálu monitorování se automaticky načte podle zadaného parametru type .	custom	custom
component_id	String	Povinný: ID komponenty Azure Machine Learning odpovídající vašemu vlastnímu signálu. Příklad: azureml:mycustomcomponent:1
input_data	Objekt	Volitelné. Popis vstupních dat, která má být analyzována monitorovacím signálem, viz specifikace vstupních dat úlohy.
input_data.<data_name>.data_context	String	Kontext dat odkazuje na produkční data modelu a může se jednat o vstupy modelu nebo výstupy modelu.	model_inputs
input_data.<data_name>.data_window	Objekt	Volitelné. Okno dat referenčních dat, která se mají použít jako srovnávací směrná data.	Povolte buď okno se posuvnou datou, nebo jen okno s pevnými daty. Pokud chcete použít okno s průběžnámi daty, zadejte input_data.<data_name>.data_window.lookback_window_offset a input_data.<data_name>.data_window.lookback_window_size vlastnosti. Pro použití pevných datových oken zadejte input_data.<data_name>.data_window.window_start a input_data.<data_name>.data_window.window_end vlastnosti. Všechny hodnoty vlastností musí být ve formátu ISO8601.
input_data.<data_name>.pre_processing_component	String	ID komponenty ve formátu azureml:myPreprocessing@latest registrované komponenty. To je vyžadováno, pokud input_data.<data_name>.input_data.type je uri_folder, viz specifikace součásti předběžného zpracování.
alert_enabled	Logická hodnota	Zapněte nebo vypněte oznámení výstrahy pro monitorovací signál. True nebo False
metric_thresholds.metric_name	Objekt	Název vlastní metriky
threshold	Objekt	Přijatelná prahová hodnota pro vlastní metriku

Výkon modelu (Preview)

Výkon modelu sleduje objektivní výkon výstupu modelu v produkčním prostředí tím, že ho porovná se shromážděnými podkladovými pravdivými daty.

Klíč	Typ	Popis	Povolené hodnoty	Default value
type	String	Povinný: Typ monitorovacího signálu. Předem připravená komponenta pro zpracování signálu se automaticky načte podle zadaného type	model_performance	model_performance
production_data	Pole	Volitelné, výchozí nastavení pro shromážděná data přidružená ke koncovému bodu služby Azure Machine Learning, pokud není k dispozici. Jedná se production_data o seznam datových sad a přidružených meta dat, musí obsahovat vstupy modelu i výstupy modelu. Může to být jedna datová sada se vstupy modelu i výstupy, nebo může to být dvě samostatné datové sady obsahující jeden vstup modelu a jeden výstup modelu.
production_data.input_data	Objekt	Volitelné. Popis vstupního zdroje dat, viz specifikace vstupních dat úlohy.
production_data.input_data.data_column_names	Objekt	Název sloupce korelace a názvy sloupců predikce ve key:value formátu, které jsou potřeba pro spojování dat.	Povolené klíče jsou: correlation_id, target_column
production_data.data_context	String	Kontext dat. Odkazuje na vstupní data produkčního modelu.	model_inputs, , model_outputsmodel_inputs_outputs
production_data.data_window	Objekt	Volitelné. Okno dat referenčních dat, která se mají použít jako srovnávací směrná data.	Povolte buď okno se posuvnou datou, nebo jen okno s pevnými daty. Pokud chcete použít okno s průběžnámi daty, zadejte production_data.data_window.lookback_window_offset a production_data.data_window.lookback_window_size vlastnosti. Pro použití pevných datových oken zadejte production_data.data_window.window_start a production_data.data_window.window_end vlastnosti. Všechny hodnoty vlastností musí být ve formátu ISO8601.
production_data.pre_processing_component	String	ID komponenty ve formátu azureml:myPreprocessing@latest registrované komponenty. To je vyžadováno, pokud production_data.input_data.type je uri_folder, viz specifikace součásti předběžného zpracování.
production_data.data_window_size	String	Volitelné. Velikost okna dat ve dnech s formátem ISO8601, například P7D. Toto je okno produkčních dat, které se má vypočítat pro problémy s kvalitou dat.	Ve výchozím nastavení je velikost datového okna posledním obdobím monitorování.
reference_data	Objekt	Volitelné. Nedávná předchozí produkční data se používají jako data směrného plánu porovnání, pokud není zadána. Doporučením je použít trénovací data jako směrný plán porovnání.
reference_data.input_data	Objekt	Popis vstupního zdroje dat, viz specifikace vstupních dat úlohy.
reference_data.data_context	String	Kontext dat odkazuje na kontext, který byla datová sada použita dříve. Posun přisuzování funkcí Fro, povolená jsou pouze training data.	training
reference_data.data_column_names.target_column	String	Povinný:
reference_data.data_window	Objekt	Volitelné. Okno dat referenčních dat, která se mají použít jako srovnávací směrná data.	Povolte buď okno se posuvnou datou, nebo jen okno s pevnými daty. Pokud chcete použít okno s průběžnámi daty, zadejte reference_data.data_window.lookback_window_offset a reference_data.data_window.lookback_window_size vlastnosti. Pro použití pevných datových oken zadejte reference_data.data_window.window_start a reference_data.data_window.window_end vlastnosti. Všechny hodnoty vlastností musí být ve formátu ISO8601.
reference_data.pre_processing_component	String	ID komponenty ve formátu azureml:myPreprocessing@latest registrované komponenty. To je vyžadováno, pokud reference_data.input_data.type je uri_folder, viz specifikace součásti předběžného zpracování.
alert_enabled	Logická hodnota	Zapněte nebo vypněte oznámení výstrahy pro monitorovací signál. True nebo False
metric_thresholds.classification	Objekt	Volitelný seznam metrik a prahových hodnot ve key:value formátu je key název metriky. value	Povolené classification názvy metrik: accuracy, precisionrecall
metric_thresholds.regression	Objekt	Volitelný seznam metrik a prahových hodnot ve key:value formátu je key název metriky. value	Povolené regression názvy metrik: mae, msermse

Poznámky

Tento az ml schedule příkaz se dá použít ke správě modelů Azure Machine Learning.

Příklady

Příklady rozhraní příkazového řádku monitorování jsou k dispozici v příkladech v úložišti GitHub. Pár je následující:

YAML: Předefinované monitorování

PLATÍ PRO: Rozšíření Azure CLI ml v2 (aktuální)

# out-of-box-monitoring.yaml
$schema:  http://azureml/sdk-2-0/Schedule.json
name: credit_default_model_monitoring
display_name: Credit default model monitoring
description: Credit default model monitoring setup with minimal configurations

trigger:
  # perform model monitoring activity daily at 3:15am
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 # #every day
  schedule: 
    hours: 3 # at 3am
    minutes: 15 # at 15 mins after 3am

create_monitor:

  compute: # specify a spark compute for monitoring job
    instance_type: standard_e4s_v3
    runtime_version: "3.3"

  monitoring_target: 
    ml_task: classification # model task type: [classification, regression, question_answering]
    endpoint_deployment_id: azureml:credit-default:main # azureml endpoint deployment id

  alert_notification: # emails to get alerts
    emails:
      - abc@example.com
      - def@example.com

YAML: Rozšířený monitor

PLATÍ PRO: Rozšíření Azure CLI ml v2 (aktuální)

# advanced-model-monitoring.yaml
$schema:  http://azureml/sdk-2-0/Schedule.json
name: fraud_detection_model_monitoring
display_name: Fraud detection model monitoring
description: Fraud detection model monitoring with advanced configurations

trigger:
  # perform model monitoring activity daily at 3:15am
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 # #every day
  schedule: 
    hours: 3 # at 3am
    minutes: 15 # at 15 mins after 3am

create_monitor:

  compute: 
    instance_type: standard_e4s_v3
    runtime_version: "3.3"

  monitoring_target:
    ml_task: classification
    endpoint_deployment_id: azureml:credit-default:main
  
  monitoring_signals:
    advanced_data_drift: # monitoring signal name, any user defined name works
      type: data_drift
      # reference_dataset is optional. By default referece_dataset is the production inference data associated with Azure Machine Learning online endpoint
      reference_data:
        input_data:
          path: azureml:credit-reference:1 # use training data as comparison reference dataset
          type: mltable
        data_context: training
        data_column_names:
          target_column: DEFAULT_NEXT_MONTH
      features: 
        top_n_feature_importance: 10 # monitor drift for top 10 features
      metric_thresholds:
        numerical:
          jensen_shannon_distance: 0.01
        categorical:
          pearsons_chi_squared_test: 0.02
    advanced_data_quality:
      type: data_quality
      # reference_dataset is optional. By default reference_dataset is the production inference data associated with Azure Machine Learning online endpoint
      reference_data:
        input_data:
          path: azureml:credit-reference:1
          type: mltable
        data_context: training
      features: # monitor data quality for 3 individual features only
        - SEX
        - EDUCATION
      metric_thresholds:
        numerical:
          null_value_rate: 0.05
        categorical:
          out_of_bounds_rate: 0.03

    feature_attribution_drift_signal:
      type: feature_attribution_drift
      # production_data: is not required input here
      # Please ensure Azure Machine Learning online endpoint is enabled to collected both model_inputs and model_outputs data
      # Azure Machine Learning model monitoring will automatically join both model_inputs and model_outputs data and used it for computation
      reference_data:
        input_data:
          path: azureml:credit-reference:1
          type: mltable
        data_context: training
        data_column_names:
          target_column: DEFAULT_NEXT_MONTH
      metric_thresholds:
        normalized_discounted_cumulative_gain: 0.9
  
  alert_notification:
    emails:
      - abc@example.com
      - def@example.com

Dodatek

Časové pásmo

Aktuální plán podporuje následující časová pásma. Klíč lze použít přímo v sadě Python SDK, zatímco hodnotu je možné použít v úloze YAML. Tabulka je uspořádaná podle standardu UTC (Coordinated Universal Time).

UTC	Key	Hodnota
UTC -12:00	DATELINE_STANDARD_TIME	"Dateline Standard Time"
UTC -11:00	UTC_11	"UTC-11"
UTC – 10:00	ALEUTIAN_STANDARD_TIME	Aleutian Standard Time
UTC – 10:00	HAWAIIAN_STANDARD_TIME	"Havajský standardní čas"
UTC -09:30	MARQUESAS_STANDARD_TIME	"Marquesas Standard Time"
UTC -09:00	ALASKAN_STANDARD_TIME	"Aljaška standardní čas"
UTC -09:00	UTC_09	"UTC-09"
UTC -08:00	PACIFIC_STANDARD_TIME_MEXICO	"Pacific Standard Time (Mexiko)"
UTC -08:00	UTC_08	"UTC-08"
UTC -08:00	PACIFIC_STANDARD_TIME	"Tichomoří – standardní čas"
UTC -07:00	US_MOUNTAIN_STANDARD_TIME	"US Mountain Standard Time"
UTC -07:00	MOUNTAIN_STANDARD_TIME_MEXICO	"Horská standardní doba (Mexiko)"
UTC -07:00	MOUNTAIN_STANDARD_TIME	"Horská standardní doba"
UTC -06:00	CENTRAL_AMERICA_STANDARD_TIME	"Střední Amerika – standardní čas"
UTC -06:00	CENTRAL_STANDARD_TIME	"Centrální standardní čas"
UTC -06:00	EASTER_ISLAND_STANDARD_TIME	"Velikonoční ostrov Standardní čas"
UTC -06:00	CENTRAL_STANDARD_TIME_MEXICO	"Central Standard Time (Mexiko)"
UTC -06:00	CANADA_CENTRAL_STANDARD_TIME	"Kanada – střed standardní čas"
UTC -05:00	SA_PACIFIC_STANDARD_TIME	"SA Pacific Standard Time"
UTC -05:00	EASTERN_STANDARD_TIME_MEXICO	"Východní standardní čas (Mexiko)"
UTC -05:00	EASTERN_STANDARD_TIME	"Východní standardní čas"
UTC -05:00	HAITI_STANDARD_TIME	"Haiti – standardní čas"
UTC -05:00	CUBA_STANDARD_TIME	"Kuba – standardní čas"
UTC -05:00	US_EASTERN_STANDARD_TIME	"USA – východ – standardní čas"
UTC -05:00	TURKS_AND_CAICOS_STANDARD_TIME	"Turks And Caicos Standardní čas"
UTC -04:00	PARAGUAY_STANDARD_TIME	"Paraguay – standardní čas"
UTC -04:00	ATLANTIC_STANDARD_TIME	"Atlantic Standard Time"
UTC -04:00	VENEZUELA_STANDARD_TIME	"Venezuelský standardní čas"
UTC -04:00	CENTRAL_BRAZILIAN_STANDARD_TIME	"Střední brazilský standardní čas"
UTC -04:00	SA_WESTERN_STANDARD_TIME	"SA Western Standard Time"
UTC -04:00	PACIFIC_SA_STANDARD_TIME	"Pacific SA Standard Time"
UTC -03:30	NEWFOUNDLAND_STANDARD_TIME	"Newfoundland Standard Time"
UTC -03:00	TOCANTINS_STANDARD_TIME	"Tocantins Standard Time"
UTC -03:00	E_SOUTH_AMERICAN_STANDARD_TIME	"E. Jižní Amerika Standardní čas"
UTC -03:00	SA_EASTERN_STANDARD_TIME	"SA Eastern Standard Time"
UTC -03:00	ARGENTINA_STANDARD_TIME	"Argentina Standard Time"
UTC -03:00	GREENLAND_STANDARD_TIME	"Greenland Standard Time"
UTC -03:00	MONTEVIDEO_STANDARD_TIME	"Montevideo Standardní čas"
UTC -03:00	SAINT_PIERRE_STANDARD_TIME	"Saint Pierre Standard Time"
UTC -03:00	BAHIA_STANDARD_TIM	"Bahia Standard Time"
UTC -02:00	UTC_02	"UTC-02"
UTC -02:00	MID_ATLANTIC_STANDARD_TIME	"Mid-Atlantic Standard Time"
UTC -01:00	AZORES_STANDARD_TIME	"Azores Standard Time"
UTC -01:00	CAPE_VERDE_STANDARD_TIME	"Kapverdský standardní čas"
UTC	UTC	UTC
UTC +00:00	GMT_STANDARD_TIME	"GMT Standard Time"
UTC +00:00	GREENWICH_STANDARD_TIME	"Greenwich Standard Time"
UTC +01:00	MOROCCO_STANDARD_TIME	"Maroko Standardní čas"
UTC +01:00	W_EUROPE_STANDARD_TIME	"W. Evropský standardní čas"
UTC +01:00	CENTRAL_EUROPE_STANDARD_TIME	"Střední Evropa – standardní čas"
UTC +01:00	ROMANCE_STANDARD_TIME	"Romantika standardního času"
UTC +01:00	CENTRAL_EUROPEAN_STANDARD_TIME	"Středoevropský standardní čas"
UTC +01:00	W_CENTRAL_AFRICA_STANDARD_TIME	"W. Střední Afrika – standardní čas"
UTC +02:00	NAMIBIA_STANDARD_TIME	"Namibie – standardní čas"
UTC +02:00	JORDAN_STANDARD_TIME	"Jordan Standard Time"
UTC +02:00	GTB_STANDARD_TIME	"GTB Standard Time"
UTC +02:00	MIDDLE_EAST_STANDARD_TIME	"Střední východ – standardní čas"
UTC +02:00	EGYPT_STANDARD_TIME	"Egypt Standardní čas"
UTC +02:00	E_EUROPE_STANDARD_TIME	"E. Evropský standardní čas"
UTC +02:00	SYRIA_STANDARD_TIME	"Sýrie – standardní čas"
UTC +02:00	WEST_BANK_STANDARD_TIME	"Standardní čas západní banky"
UTC +02:00	SOUTH_AFRICA_STANDARD_TIME	"Jihoafrická republika – standardní čas"
UTC +02:00	FLE_STANDARD_TIME	"FLE Standardní čas"
UTC +02:00	ISRAEL_STANDARD_TIME	"Izrael – standardní čas"
UTC +02:00	KALININGRAD_STANDARD_TIME	"Kaliningrad – standardní čas"
UTC +02:00	LIBYA_STANDARD_TIME	"Libye standardní čas"
UTC +03:00	TÜRKIYE_STANDARD_TIME	"Türkiye Standard Time"
UTC +03:00	ARABIC_STANDARD_TIME	"Arabský standardní čas"
UTC +03:00	ARAB_STANDARD_TIME	"Arabský standardní čas"
UTC +03:00	BELARUS_STANDARD_TIME	"Bělorusko Standardní čas"
UTC +03:00	RUSSIAN_STANDARD_TIME	"Ruský standardní čas"
UTC +03:00	E_AFRICA_STANDARD_TIME	"E. Afrika Standardní čas"
UTC +03:30	IRAN_STANDARD_TIME	"Írán – standardní čas"
UTC +04:00	ARABIAN_STANDARD_TIME	"Arabský standardní čas"
UTC +04:00	ASTRAKHAN_STANDARD_TIME	"Astrakhan Standard Time"
UTC +04:00	AZERBAIJAN_STANDARD_TIME	"Ázerbájdžán – standardní čas"
UTC +04:00	RUSSIA_TIME_ZONE_3	"Rusko – časové pásmo 3"
UTC +04:00	MAURITIUS_STANDARD_TIME	"Mauricius Standardní čas"
UTC +04:00	GEORGIAN_STANDARD_TIME	"Georgian Standard Time"
UTC +04:00	CAUCASUS_STANDARD_TIME	"Bělošský standardní čas"
UTC +04:30	AFGHANISTAN_STANDARD_TIME	"Afghánistán – standardní čas"
UTC +05:00	WEST_ASIA_STANDARD_TIME	"Západní Asie – standardní čas"
UTC +05:00	EKATERINBURG_STANDARD_TIME	"Ekaterinburg Standard Time"
UTC +05:00	PAKISTAN_STANDARD_TIME	"Pákistán – standardní čas"
UTC +05:30	INDIA_STANDARD_TIME	"Indie – standardní čas"
UTC +05:30	SRI_LANKA_STANDARD_TIME	"Srí Lanka Standardní čas"
UTC +05:45	NEPAL_STANDARD_TIME	"Nepál – standardní čas"
UTC +06:00	CENTRAL_ASIA_STANDARD_TIME	"Střední Asie – standardní čas"
UTC +06:00	BANGLADESH_STANDARD_TIME	"Bangladéš – standardní čas"
UTC +06:30	MYANMAR_STANDARD_TIME	"Myanmar – standardní čas"
UTC +07:00	N_CENTRAL_ASIA_STANDARD_TIME	"N. Střední Asie – standardní čas"
UTC +07:00	SE_ASIA_STANDARD_TIME	"SE Asia Standard Time"
UTC +07:00	ALTAI_STANDARD_TIME	"Altai Standard Time"
UTC +07:00	W_MONGOLIA_STANDARD_TIME	"W. Mongolsko standardní čas"
UTC +07:00	NORTH_ASIA_STANDARD_TIME	"Severní Asie – standardní čas"
UTC +07:00	TOMSK_STANDARD_TIME	"Tomsk Standard Time"
UTC + 08:00	CHINA_STANDARD_TIME	"Čína – standardní čas"
UTC + 08:00	NORTH_ASIA_EAST_STANDARD_TIME	"Severní Asie – východ – standardní čas"
UTC + 08:00	SINGAPORE_STANDARD_TIME	"Singapur – standardní čas"
UTC + 08:00	W_AUSTRALIA_STANDARD_TIME	"W. Austrálie ( standardní čas)
UTC + 08:00	TAIPEI_STANDARD_TIME	"Tchaj-pej – standardní čas"
UTC + 08:00	ULAANBAATAR_STANDARD_TIME	"Ulaanbaatar Standard Time"
UTC +08:45	AUS_CENTRAL_W_STANDARD_TIME	"Aus Central W. Standard Time"
UTC +09:00	NORTH_KOREA_STANDARD_TIME	"Severní Korea – standardní čas"
UTC +09:00	TRANSBAIKAL_STANDARD_TIME	"Transbaikal Standard Time"
UTC +09:00	TOKYO_STANDARD_TIME	"Tokyo Standard Time"
UTC +09:00	KOREA_STANDARD_TIME	"Korea Standard Time"
UTC +09:00	YAKUTSK_STANDARD_TIME	"Yakutsk Standard Time"
UTC +09:30	CEN_AUSTRALIA_STANDARD_TIME	"Cen. Austrálie ( standardní čas)
UTC +09:30	AUS_CENTRAL_STANDARD_TIME	"AUS Central Standard Time"
UTC +10:00	E_AUSTRALIAN_STANDARD_TIME	"E. Austrálie ( standardní čas)
UTC +10:00	AUS_EASTERN_STANDARD_TIME	"AUS Eastern Standard Time"
UTC +10:00	WEST_PACIFIC_STANDARD_TIME	"West Pacific Standard Time"
UTC +10:00	TASMANIA_STANDARD_TIME	"Tasmania Standard Time"
UTC +10:00	VLADIVOSTOK_STANDARD_TIME	"Směrodatný čas"
UTC +10:30	LORD_HOWE_STANDARD_TIME	"Lord Howe Standard Time"
UTC +11:00	BOUGAINVILLE_STANDARD_TIME	"Bougainville Standard Time"
UTC +11:00	RUSSIA_TIME_ZONE_10	"Rusko – časové pásmo 10"
UTC +11:00	MAGADAN_STANDARD_TIME	"Magadan Standard Time"
UTC +11:00	NORFOLK_STANDARD_TIME	"Norfolk Standard Time"
UTC +11:00	SAKHALIN_STANDARD_TIME	"Sakhalin Standardní čas"
UTC +11:00	CENTRAL_PACIFIC_STANDARD_TIME	"Střední Tichomoří – standardní čas"
UTC +12:00	RUSSIA_TIME_ZONE_11	"Rusko – časové pásmo 11"
UTC +12:00	NEW_ZEALAND_STANDARD_TIME	"Nový Zéland Standardní čas"
UTC +12:00	UTC_12	"UTC+12"
UTC +12:00	FIJI_STANDARD_TIME	"Fiji Standard Time"
UTC +12:00	KAMCHATKA_STANDARD_TIME	"Kamchatka Standardní čas"
UTC +12:45	CHATHAM_ISLANDS_STANDARD_TIME	"Chatham Islands Standard Time"
UTC +13:00	TONGA__STANDARD_TIME	"Tonga Standard Time"
UTC +13:00	SAMOA_STANDARD_TIME	"Samoa Standard Time"
UTC +14:00	LINE_ISLANDS_STANDARD_TIME	"Line Islands Standard Time"