YAML-schema (v2) plannen voor modelbewaking (preview)

VAN TOEPASSING OP: Azure CLI ml-extensie v2 (huidige)

De YAML-syntaxis die in dit document wordt beschreven, is gebaseerd op het JSON-schema voor de nieuwste versie van de ML CLI v2-extensie. Deze syntaxis werkt gegarandeerd alleen met de nieuwste versie van de ML CLI v2-extensie. Het uitgebreide JSON-schema kan worden bekeken op https://azuremlschemas.azureedge.net/latest/monitorSchedule.schema.json. U vindt de schema's voor oudere extensieversies op https://azuremlschemasprod.azureedge.net/.

YAML-syntaxis

Sleutel	Type	Description	Toegestane waarden
$schema	tekenreeks	Het YAML-schema.
name	tekenreeks	Vereist. Naam van de planning.
description	tekenreeks	Beschrijving van de planning.
tags	object	Woordenlijst met tags voor de planning.
trigger	object	Vereist. De triggerconfiguratie voor het definiëren van een regel wanneer een taak moet worden geactiveerd. Een van RecurrenceTrigger of CronTrigger is vereist.
create_monitor	object	Vereist. De definitie van de monitor die wordt geactiveerd door een schema. MonitorDefinition is vereist.

Triggerconfiguratie

Trigger met terugkeerpatroon

Sleutel	Type	Description	Toegestane waarden
type	tekenreeks	Vereist. Geeft het schematype.	recurrence
frequency	tekenreeks	Vereist. Hiermee geeft u de tijdseenheid op die beschrijft hoe vaak de planning wordt geactiveerd.	minuteday, hour, weekmonth
interval	geheel getal	Vereist. Hiermee geeft u het interval op waarop de planning wordt geactiveerd.
start_time	tekenreeks	Beschrijft de begindatum en -tijd met tijdzone. Als start_time u dit weglaat, wordt de eerste taak direct uitgevoerd en worden de toekomstige taken geactiveerd op basis van de planning, waarbij wordt aangegeven start_time dat deze gelijk is aan de gemaakte tijd van de taak. Als de begintijd zich in het verleden bevindt, wordt de eerste taak uitgevoerd bij de volgende berekende uitvoeringstijd.
end_time	tekenreeks	Beschrijft de einddatum en tijd met tijdzone. Als end_time u dit weglaat, blijft de planning actief totdat deze expliciet is uitgeschakeld.
timezone	tekenreeks	Hiermee geeft u de tijdzone van het terugkeerpatroon. Als u dit weglaat, is standaard UTC.	Zie bijlage voor tijdzonewaarden
pattern	object	Hiermee geeft u het patroon van het terugkeerpatroon. Als u een patroon weglaat, worden de taken geactiveerd volgens de logica van start_time, frequentie en interval.

Terugkeerschema

Terugkeerschema definieert het terugkeerpatroon, met hours, minutesen weekdays.

• Wanneer frequentie is day, kan het patroon opgeven hours en minutes.
• Wanneer frequentie is week enmonth, kan hourshet patroon , en weekdaysminutes .

Sleutel	Type	Toegestane waarden
hours	geheel getal of matrix van geheel getal	0-23
minutes	geheel getal of matrix van geheel getal	0-59
week_days	tekenreeks of matrix van tekenreeks	monday, , tuesdaywednesday, thursday, , friday, , saturdaysunday

CronTrigger

Sleutel	Type	Description	Toegestane waarden
type	tekenreeks	Vereist. Geeft het schematype.	cron
expression	tekenreeks	Vereist. Hiermee geeft u de cron-expressie op om te definiëren hoe taken moeten worden geactiveerd. expressie maakt gebruik van een standaard crontab-expressie om een terugkerend schema uit te drukken. Eén expressie bestaat uit vijf door spaties gescheiden velden:MINUTES HOURS DAYS MONTHS DAYS-OF-WEEK
start_time	tekenreeks	Beschrijft de begindatum en -tijd met tijdzone. Als start_time wordt weggelaten, wordt de eerste taak direct uitgevoerd en worden de toekomstige taken geactiveerd op basis van de planning, waarin wordt aangegeven dat start_time gelijk is aan de gemaakte tijd van de taak. Als de begintijd zich in het verleden bevindt, wordt de eerste taak uitgevoerd bij de volgende berekende uitvoeringstijd.
end_time	tekenreeks	Beschrijft de einddatum en tijd met tijdzone. Als end_time wordt weggelaten, blijft de planning actief totdat deze expliciet is uitgeschakeld.
timezone	tekenreeks	Hiermee geeft u de tijdzone van het terugkeerpatroon. Als u dit weglaat, is standaard UTC.	Zie bijlage voor tijdzonewaarden

Definitie bewaken

Sleutel	Type	Description	Toegestane waarden	Default value
compute	Object	Vereist. Beschrijving van rekenresources voor Spark-pool voor het uitvoeren van de bewakingstaak.
compute.instance_type	String	Vereist. Het type rekeninstantie dat moet worden gebruikt voor Spark-pool.	'standard_e4s_v3', 'standard_e8s_v3', 'standard_e16s_v3', 'standard_e32s_v3', 'standard_e64s_v3'	n.v.t.
compute.runtime_version	String	Optioneel. Hiermee definieert u de Spark-runtimeversie.	3.3	3.3
monitoring_target	Object	Azure Machine Learning-asset(s) die zijn gekoppeld aan modelbewaking.
monitoring_target.ml_task	String	Machine learning-taak voor het model.	Toegestane waarden zijn: classification, regressionquestion_answering
monitoring_target.endpoint_deployment_id	String	Optioneel. De bijbehorende Azure Machine Learning-eindpunt-/implementatie-id in de indeling .azureml:myEndpointName:myDeploymentName Dit veld is vereist als uw eindpunt/implementatie het verzamelen van modelgegevens heeft ingeschakeld voor modelbewaking.
monitoring_target.model_id	String	Optioneel. De bijbehorende model-id voor modelbewaking.
monitoring_signals	Object	Woordenlijst van bewakingssignalen die moeten worden opgenomen. De sleutel is een naam voor het bewakingssignaal binnen de context van de monitor en de waarde is een object met een bewakingssignaalspecificatie. Optioneel voor basismodelbewaking die gebruikmaakt van recente productiegegevens uit het verleden als vergelijkingsbasislijn en drie bewakingssignalen heeft: gegevensdrift, voorspellingsdrift en gegevenskwaliteit.
alert_notification	Tekenreeks of object	Beschrijving van ontvangers van waarschuwingsmeldingen.	Een van de twee waarschuwingsbestemmingen is toegestaan: tekenreeks azmonitoring of object emails met een matrix met e-mailontvangers
alert_notification.emails	Object	Lijst met e-mailadressen voor het ontvangen van waarschuwingsmeldingen.

Bewakingssignalen

Gegevensdrift

Naarmate de gegevens die worden gebruikt om het model te trainen zich in productie ontwikkelen, kan de verdeling van de gegevens verschuiven, wat resulteert in een niet-overeenkomende overeenkomst tussen de trainingsgegevens en de werkelijke gegevens die door het model worden gebruikt om te voorspellen. Gegevensdrift is een fenomeen dat optreedt in machine learning wanneer de statistische eigenschappen van de invoergegevens die worden gebruikt om de modelwijziging in de loop van de tijd te trainen.

Sleutel	Type	Description	Toegestane waarden	Default value
type	String	Vereist. Type bewakingssignaal. Het vooraf samengestelde bewakingssignaalverwerkingsonderdeel wordt automatisch geladen volgens de type opgegeven hier.	data_drift	data_drift
production_data	Object	Optioneel. Beschrijving van productiegegevens die moeten worden geanalyseerd voor bewakingssignaal.
production_data.input_data	Object	Optioneel. Beschrijving van invoergegevensbron, zie specificatie van taakinvoergegevens .
production_data.data_context	String	De context van gegevens, het verwijst naar modelproductiegegevens en kan modelinvoer of modeluitvoer zijn	model_inputs
production_data.data_window	Object	Optioneel. Gegevensvenster van de referentiegegevens die moeten worden gebruikt als vergelijkingsbasislijngegevens.	Sta alleen het venster rolling gegevens of het vaste gegevensvenster toe. Geef production_data.data_window.lookback_window_offset en eigenschappen op voor production_data.data_window.lookback_window_size het gebruik van het venster rolling gegevens. Geef production_data.data_window.window_start en eigenschappen op voor production_data.data_window.window_end het gebruik van vaste gegevensvensters. Alle eigenschapswaarden moeten de indeling van ISO8601 hebben.
production_data.pre_processing_component	String	Onderdeel-id in de indeling van azureml:myPreprocessing@latest een geregistreerd onderdeel. Dit is vereist, zie production_data.data.input_data.type uri_folderspecificatie van voorverwerkingsonderdelen.
reference_data	Object	Optioneel. Recente productiegegevens uit het verleden worden gebruikt als vergelijkingsbasislijngegevens als dit niet is opgegeven. Aanbeveling is om trainingsgegevens als vergelijkingsbasislijn te gebruiken.
reference_data.input_data	Object	Beschrijving van invoergegevensbron, zie specificatie van taakinvoergegevens .
reference_data.data_context	String	De context van gegevens, deze verwijst naar de context die eerder is gebruikt voor de gegevensset	model_inputs, , , trainingtestvalidation
reference_data.data_column_names.target_column	Object	Optioneel. Als de reference_data trainingsgegevens zijn, is deze eigenschap vereist voor het bewaken van de belangrijkste N-functies voor gegevensdrift.
reference_data.data_window	Object	Optioneel. Gegevensvenster van de referentiegegevens die moeten worden gebruikt als vergelijkingsbasislijngegevens.	Sta alleen het venster rolling gegevens of het vaste gegevensvenster toe. Geef reference_data.data_window.lookback_window_offset en eigenschappen op voor reference_data.data_window.lookback_window_size het gebruik van het venster rolling gegevens. Geef reference_data.data_window.window_start en eigenschappen op voor reference_data.data_window.window_end het gebruik van vaste gegevensvensters. Alle eigenschapswaarden moeten de indeling van ISO8601 hebben.
reference_data_data.pre_processing_component	String	Onderdeel-id in de indeling van azureml:myPreprocessing@latest een geregistreerd onderdeel. Dit is vereist, zie uri_folderreference_data.input_data.type specificatie van voorverwerkingsonderdelen.
features	Object	Optioneel. Doelfuncties die moeten worden bewaakt op gegevensdrift. Sommige modellen hebben mogelijk honderden of duizenden functies. Het wordt altijd aanbevolen om geïnteresseerde functies op te geven voor bewaking.	Een van de volgende waarden: lijst met functienamen, features.top_n_feature_importanceof all_features	Standaard features.top_n_feature_importance = 10 als production_data.data_context dat het is training, anders is de standaardwaarde all_features
alert_enabled	Booleaanse waarde	Schakel waarschuwingsmeldingen in of uit voor het bewakingssignaal. True of False
metric_thresholds	Object	Lijst met metrische gegevens en drempelwaarden voor het bewakingssignaal. Wanneer de drempelwaarde wordt overschreden en alert_enabled is true, ontvangt de gebruiker een waarschuwingsmelding.
metric_thresholds.numerical	Object	Optioneel. Lijst met metrische gegevens en drempelwaarden in key:value indeling, key is de naam van de metrische waarde, value de drempelwaarde.	Toegestane numerieke metrische namen: jensen_shannon_distance, normalized_wasserstein_distance, population_stability_indextwo_sample_kolmogorov_smirnov_test
metric_thresholds.categorical	Object	Optioneel. Lijst met metrische gegevens en drempelwaarden in de notatie 'sleutel:waarde', 'sleutel' is de naam van de metrische waarde, 'waarde' is de drempelwaarde.	Toegestane categorische metrische namen: jensen_shannon_distance, chi_squared_testpopulation_stability_index

Voorspellingsdrift

Voorspellingsdrift houdt wijzigingen in de distributie van de voorspellingsuitvoer van een model bij door deze te vergelijken met validatie of test gelabelde gegevens of recente eerdere productiegegevens.

Sleutel	Type	Description	Toegestane waarden	Default value
type	String	Vereist. Type bewakingssignaal. Het vooraf samengestelde bewakingssignaalverwerkingsonderdeel wordt automatisch geladen volgens de type opgegeven hier.	prediction_drift	prediction_drift
production_data	Object	Optioneel. Beschrijving van productiegegevens die moeten worden geanalyseerd voor bewakingssignaal.
production_data.input_data	Object	Optioneel. Beschrijving van invoergegevensbron, zie specificatie van taakinvoergegevens .
production_data.data_context	String	De context van gegevens, het verwijst naar modelproductiegegevens en kan modelinvoer of modeluitvoer zijn	model_outputs
production_data.data_window	Object	Optioneel. Gegevensvenster van de referentiegegevens die moeten worden gebruikt als vergelijkingsbasislijngegevens.	Sta alleen het venster rolling gegevens of het vaste gegevensvenster toe. Geef production_data.data_window.lookback_window_offset en eigenschappen op voor production_data.data_window.lookback_window_size het gebruik van het venster rolling gegevens. Geef production_data.data_window.window_start en eigenschappen op voor production_data.data_window.window_end het gebruik van vaste gegevensvensters. Alle eigenschapswaarden moeten de indeling van ISO8601 hebben.
production_data.pre_processing_component	String	Onderdeel-id in de indeling van azureml:myPreprocessing@latest een geregistreerd onderdeel. Dit is vereist indienproduction_data.data.input_data.type.uri_folder Zie de specificatie van het voorverwerkingsonderdeel voor meer informatie over de specificatie van het voorverwerkingsonderdeel.
reference_data	Object	Optioneel. Recente productiegegevens uit het verleden worden gebruikt als vergelijkingsbasislijngegevens als dit niet is opgegeven. Aanbeveling is om trainingsgegevens als vergelijkingsbasislijn te gebruiken.
reference_data.input_data	Object	Beschrijving van invoergegevensbron, zie specificatie van taakinvoergegevens .
reference_data.data_context	String	De context van gegevens, deze verwijst naar de context die eerder is gebruikt voor de gegevensset	model_inputs, , , trainingtestvalidation
reference_data.data_column_names.target_column	Object	Optioneel. Als de 'reference_data' trainingsgegevens is, is deze eigenschap vereist voor het bewaken van de belangrijkste N-functies voor gegevensdrift.
reference_data.data_window	Object	Optioneel. Gegevensvenster van de referentiegegevens die moeten worden gebruikt als vergelijkingsbasislijngegevens.	Sta alleen het venster rolling gegevens of het vaste gegevensvenster toe. Geef reference_data.data_window.lookback_window_offset en eigenschappen op voor reference_data.data_window.lookback_window_size het gebruik van het venster rolling gegevens. Geef reference_data.data_window.window_start en eigenschappen op voor reference_data.data_window.window_end het gebruik van vaste gegevensvensters. Alle eigenschapswaarden moeten de indeling van ISO8601 hebben.
reference_data_data.pre_processing_component	String	Onderdeel-id in de indeling van azureml:myPreprocessing@latest een geregistreerd onderdeel. Dit is vereist, zie uri_folderreference_data.input_data.type specificatie van voorverwerkingsonderdelen.
features	Object	Optioneel. Doelfuncties die moeten worden bewaakt op gegevensdrift. Sommige modellen hebben mogelijk honderden of duizenden functies. Het wordt altijd aanbevolen om geïnteresseerde functies op te geven voor bewaking.	Een van de volgende waarden: lijst met functienamen, features.top_n_feature_importanceof all_features	Standaard features.top_n_feature_importance = 10 als production_data.data_context dat het is training, anders is de standaardwaarde all_features
alert_enabled	Booleaanse waarde	Schakel waarschuwingsmeldingen in of uit voor het bewakingssignaal. True of False
metric_thresholds	Object	Lijst met metrische gegevens en drempelwaarden voor het bewakingssignaal. Wanneer de drempelwaarde wordt overschreden en alert_enabled is true, ontvangt de gebruiker een waarschuwingsmelding.
metric_thresholds.numerical	Object	Optioneel. Lijst met metrische gegevens en drempelwaarden in de notatie 'sleutel:waarde', 'sleutel' is de naam van de metrische waarde, 'waarde' is de drempelwaarde.	Toegestane numerieke metrische namen: jensen_shannon_distance, normalized_wasserstein_distance, population_stability_indextwo_sample_kolmogorov_smirnov_test
metric_thresholds.categorical	Object	Optioneel. Lijst met metrische gegevens en drempelwaarden in de notatie 'sleutel:waarde', 'sleutel' is de naam van de metrische waarde, 'waarde' is de drempelwaarde.	Toegestane categorische metrische namen: jensen_shannon_distance, chi_squared_testpopulation_stability_index

Gegevenskwaliteit

Het signaal voor gegevenskwaliteit houdt problemen met de gegevenskwaliteit bij in de productie door te vergelijken met trainingsgegevens of recente eerdere productiegegevens.

Sleutel	Type	Description	Toegestane waarden	Default value
type	String	Vereist. Type bewakingssignaal. Vooraf gedefinieerd bewakingssignaalverwerkingsonderdeel wordt automatisch geladen volgens de type opgegeven hier	data_quality	data_quality
production_data	Object	Optioneel. Beschrijving van productiegegevens die moeten worden geanalyseerd voor bewakingssignaal.
production_data.input_data	Object	Optioneel. Beschrijving van invoergegevensbron, zie specificatie van taakinvoergegevens .
production_data.data_context	String	De context van gegevens, het verwijst naar modelproductiegegevens en kan modelinvoer of modeluitvoer zijn	model_inputs, model_outputs
production_data.data_window	Object	Optioneel. Gegevensvenster van de referentiegegevens die moeten worden gebruikt als vergelijkingsbasislijngegevens.	Sta alleen het venster rolling gegevens of het vaste gegevensvenster toe. Geef production_data.data_window.lookback_window_offset en eigenschappen op voor production_data.data_window.lookback_window_size het gebruik van het venster rolling gegevens. Geef production_data.data_window.window_start en eigenschappen op voor production_data.data_window.window_end het gebruik van vaste gegevensvensters. Alle eigenschapswaarden moeten de indeling van ISO8601 hebben.
production_data.pre_processing_component	String	Onderdeel-id in de indeling van azureml:myPreprocessing@latest een geregistreerd onderdeel. Dit is vereist, zie production_data.input_data.type uri_folderspecificatie van voorverwerkingsonderdelen.
reference_data	Object	Optioneel. Recente productiegegevens uit het verleden worden gebruikt als vergelijkingsbasislijngegevens als dit niet is opgegeven. Aanbeveling is om trainingsgegevens als vergelijkingsbasislijn te gebruiken.
reference_data.input_data	Object	Beschrijving van invoergegevensbron, zie specificatie van taakinvoergegevens .
reference_data.data_context	String	De context van gegevens, deze verwijst naar de context die eerder is gebruikt voor de gegevensset	model_inputstraining, model_outputs, testvalidation
reference_data.data_column_names.target_column	Object	Optioneel. Als de 'reference_data' trainingsgegevens is, is deze eigenschap vereist voor het bewaken van de belangrijkste N-functies voor gegevensdrift.
reference_data.data_window	Object	Optioneel. Gegevensvenster van de referentiegegevens die moeten worden gebruikt als vergelijkingsbasislijngegevens.	Sta alleen het venster rolling gegevens of het vaste gegevensvenster toe. Geef reference_data.data_window.lookback_window_offset en eigenschappen op voor reference_data.data_window.lookback_window_size het gebruik van het venster rolling gegevens. Geef reference_data.data_window.window_start en eigenschappen op voor reference_data.data_window.window_end het gebruik van vaste gegevensvensters. Alle eigenschapswaarden moeten de indeling van ISO8601 hebben.
reference_data.pre_processing_component	String	Onderdeel-id in de indeling van azureml:myPreprocessing@latest een geregistreerd onderdeel. Dit is vereist, zie reference_data.input_data.type uri_folderspecificatie van voorverwerkingsonderdelen.
features	Object	Optioneel. Doelfuncties die moeten worden bewaakt voor gegevenskwaliteit. Sommige modellen hebben mogelijk honderden of duizenden functies. Het wordt altijd aanbevolen om geïnteresseerde functies voor bewaking op te geven.	Een van de volgende waarden: lijst met functienamen, features.top_n_feature_importanceof all_features	Standaard ingesteld op features.top_n_feature_importance = 10 indien reference_data.data_context , traininganders is de standaardwaarde all_features
alert_enabled	Booleaanse waarde	Schakel waarschuwingsmeldingen in of uit voor het bewakingssignaal. True of False
metric_thresholds	Object	Lijst met metrische gegevens en drempelwaarden voor het bewakingssignaal. Wanneer de drempelwaarde wordt overschreden en alert_enabled is true, ontvangt de gebruiker een waarschuwingsmelding.
metric_thresholds.numerical	Object	Optionele lijst met metrische gegevens en drempelwaarden in key:value indeling, key is de naam van de metrische waarde, value de drempelwaarde.	Toegestane numerieke metrische namen: data_type_error_rate, null_value_rateout_of_bounds_rate
metric_thresholds.categorical	Object	Optionele lijst met metrische gegevens en drempelwaarden in key:value indeling, key is de naam van de metrische waarde, value de drempelwaarde.	Toegestane categorische metrische namen: data_type_error_rate, null_value_rateout_of_bounds_rate

Afwijking van kenmerktoewijzing (preview)

De kenmerktoewijzing van een model kan na verloop van tijd veranderen vanwege wijzigingen in de distributie van gegevens, wijzigingen in de relaties tussen functies of wijzigingen in het onderliggende probleem die worden opgelost. Kenmerktoewijzingsdrift is een fenomeen dat optreedt in machine learning-modellen wanneer het belang of de bijdrage van functies aan de voorspellingsuitvoer na verloop van tijd verandert.

Sleutel	Type	Description	Toegestane waarden	Default value
type	String	Vereist. Type bewakingssignaal. Vooraf gedefinieerd bewakingssignaalverwerkingsonderdeel wordt automatisch geladen volgens de type opgegeven hier	feature_attribution_drift	feature_attribution_drift
production_data	Matrix	Optioneel: standaard verzamelde gegevens die zijn gekoppeld aan het Azure Machine Learning-eindpunt als dit niet is opgegeven. Het is een lijst met gegevenssets en de bijbehorende metagegevens. De production_data gegevens moeten zowel modelinvoer als modeluitvoergegevens bevatten. Het kan één gegevensset zijn met zowel modelinvoer als uitvoer, of twee afzonderlijke gegevenssets met één modelinvoer en één modeluitvoer.
production_data.input_data	Object	Optioneel. Beschrijving van invoergegevensbron, zie specificatie van taakinvoergegevens .
production_data.input_data.data_column_names	Object	Naam van correlatiekolom en voorspellingskolomnamen in key:value indeling, die nodig zijn voor het samenvoegen van gegevens.	Toegestane sleutels zijn: correlation_id, target_column
production_data.data_context	String	De context van gegevens. Het verwijst naar invoergegevens van productiemodellen.	model_inputs, , model_outputsmodel_inputs_outputs
production_data.data_window	Object	Optioneel. Gegevensvenster van de referentiegegevens die moeten worden gebruikt als vergelijkingsbasislijngegevens.	Sta alleen het venster rolling gegevens of het vaste gegevensvenster toe. Geef production_data.data_window.lookback_window_offset en eigenschappen op voor production_data.data_window.lookback_window_size het gebruik van het venster rolling gegevens. Geef production_data.data_window.window_start en eigenschappen op voor production_data.data_window.window_end het gebruik van vaste gegevensvensters. Alle eigenschapswaarden moeten de indeling van ISO8601 hebben.
production_data.pre_processing_component	String	Onderdeel-id in de indeling van azureml:myPreprocessing@latest een geregistreerd onderdeel. Dit is vereist, zie production_data.input_data.type uri_folderspecificatie van voorverwerkingsonderdelen.
production_data.data_window_size	String	Optioneel. Grootte van gegevensvensters in dagen met ISO8601-indeling, bijvoorbeeld P7D. Dit is het productiegegevensvenster dat moet worden berekend voor problemen met de gegevenskwaliteit.	Standaard is de grootte van het gegevensvenster de laatste bewakingsperiode.
reference_data	Object	Optioneel. Recente productiegegevens uit het verleden worden gebruikt als vergelijkingsbasislijngegevens als dit niet is opgegeven. Aanbeveling is om trainingsgegevens als vergelijkingsbasislijn te gebruiken.
reference_data.input_data	Object	Beschrijving van invoergegevensbron, zie specificatie van taakinvoergegevens .
reference_data.data_context	String	De context van gegevens verwijst naar de context die de gegevensset eerder heeft gebruikt. Afwijking van kenmerktoeschrijving, alleen training toegestane gegevens.	training
reference_data.data_column_names.target_column	String	Vereist.
reference_data.data_window	Object	Optioneel. Gegevensvenster van de referentiegegevens die moeten worden gebruikt als vergelijkingsbasislijngegevens.	Sta alleen het venster rolling gegevens of het vaste gegevensvenster toe. Geef reference_data.data_window.lookback_window_offset en eigenschappen op voor reference_data.data_window.lookback_window_size het gebruik van het venster rolling gegevens. Geef reference_data.data_window.window_start en eigenschappen op voor reference_data.data_window.window_end het gebruik van vaste gegevensvensters. Alle eigenschapswaarden moeten de indeling van ISO8601 hebben.
reference_data.pre_processing_component	String	Onderdeel-id in de indeling van azureml:myPreprocessing@latest een geregistreerd onderdeel. Dit is vereist, zie reference_data.input_data.type uri_folderspecificatie van voorverwerkingsonderdelen.
alert_enabled	Booleaanse waarde	Schakel waarschuwingsmeldingen in of uit voor het bewakingssignaal. True of False
metric_thresholds	Object	Metrische naam en drempelwaarde voor afwijking van functietoewijzing in key:value indeling, waarbij key de metrische naam en value de drempelwaarde is. Wanneer de drempelwaarde wordt overschreden en alert_enabled is ingeschakeld, ontvangt de gebruiker een waarschuwingsmelding.	Toegestane metrische naam: normalized_discounted_cumulative_gain

Aangepast bewakingssignaal

Aangepast bewakingssignaal via een aangepast Azure Machine Learning-onderdeel.

Sleutel	Type	Description	Toegestane waarden	Default value
type	String	Vereist. Type bewakingssignaal. Het vooraf samengestelde bewakingssignaalverwerkingsonderdeel wordt automatisch geladen volgens de type opgegeven hier.	custom	custom
component_id	String	Vereist. De azure Machine Learning-onderdeel-id die overeenkomt met uw aangepaste signaal. Bijvoorbeeld azureml:mycustomcomponent:1
input_data	Object	Optioneel. Beschrijving van de invoergegevens die moeten worden geanalyseerd door het bewakingssignaal. Zie de specificatie van taakinvoergegevens .
input_data.<data_name>.data_context	String	De context van gegevens, het verwijst naar modelproductiegegevens en kan modelinvoer of modeluitvoer zijn	model_inputs
input_data.<data_name>.data_window	Object	Optioneel. Gegevensvenster van de referentiegegevens die moeten worden gebruikt als vergelijkingsbasislijngegevens.	Sta alleen het venster rolling gegevens of het vaste gegevensvenster toe. Geef input_data.<data_name>.data_window.lookback_window_offset en eigenschappen op voor input_data.<data_name>.data_window.lookback_window_size het gebruik van het venster rolling gegevens. Geef input_data.<data_name>.data_window.window_start en eigenschappen op voor input_data.<data_name>.data_window.window_end het gebruik van vaste gegevensvensters. Alle eigenschapswaarden moeten de indeling van ISO8601 hebben.
input_data.<data_name>.pre_processing_component	String	Onderdeel-id in de indeling van azureml:myPreprocessing@latest een geregistreerd onderdeel. Dit is vereist, zie input_data.<data_name>.input_data.type uri_folderspecificatie van voorverwerkingsonderdelen.
alert_enabled	Booleaanse waarde	Schakel waarschuwingsmeldingen in of uit voor het bewakingssignaal. True of False
metric_thresholds.metric_name	Object	Naam van de aangepaste metrische waarde.
threshold	Object	Acceptabele drempelwaarde voor de aangepaste metrische gegevens.

Modelprestaties (preview)

Modelprestaties volgen de objectieve prestaties van de uitvoer van een model in productie door deze te vergelijken met verzamelde gegevens over de grondwaar.

Sleutel	Type	Description	Toegestane waarden	Default value
type	String	Vereist. Type bewakingssignaal. Vooraf gedefinieerd bewakingssignaalverwerkingsonderdeel wordt automatisch geladen volgens de type opgegeven hier	model_performance	model_performance
production_data	Matrix	Optioneel: standaard verzamelde gegevens die zijn gekoppeld aan het Azure Machine Learning-eindpunt als dit niet is opgegeven. Het is een lijst met gegevenssets en de bijbehorende metagegevens. De production_data gegevens moeten zowel modelinvoer als modeluitvoergegevens bevatten. Het kan één gegevensset zijn met zowel modelinvoer als uitvoer, of twee afzonderlijke gegevenssets met één modelinvoer en één modeluitvoer.
production_data.input_data	Object	Optioneel. Beschrijving van invoergegevensbron, zie specificatie van taakinvoergegevens .
production_data.input_data.data_column_names	Object	Naam van correlatiekolom en voorspellingskolomnamen in key:value indeling, die nodig zijn voor het samenvoegen van gegevens.	Toegestane sleutels zijn: correlation_id, target_column
production_data.data_context	String	De context van gegevens. Het verwijst naar invoergegevens van productiemodellen.	model_inputs, , model_outputsmodel_inputs_outputs
production_data.data_window	Object	Optioneel. Gegevensvenster van de referentiegegevens die moeten worden gebruikt als vergelijkingsbasislijngegevens.	Sta alleen het venster rolling gegevens of het vaste gegevensvenster toe. Geef production_data.data_window.lookback_window_offset en eigenschappen op voor production_data.data_window.lookback_window_size het gebruik van het venster rolling gegevens. Geef production_data.data_window.window_start en eigenschappen op voor production_data.data_window.window_end het gebruik van vaste gegevensvensters. Alle eigenschapswaarden moeten de indeling van ISO8601 hebben.
production_data.pre_processing_component	String	Onderdeel-id in de indeling van azureml:myPreprocessing@latest een geregistreerd onderdeel. Dit is vereist, zie production_data.input_data.type uri_folderspecificatie van voorverwerkingsonderdelen.
production_data.data_window_size	String	Optioneel. Grootte van gegevensvensters in dagen met ISO8601-indeling, bijvoorbeeld P7D. Dit is het productiegegevensvenster dat moet worden berekend voor problemen met de gegevenskwaliteit.	Standaard is de grootte van het gegevensvenster de laatste bewakingsperiode.
reference_data	Object	Optioneel. Recente productiegegevens uit het verleden worden gebruikt als vergelijkingsbasislijngegevens als dit niet is opgegeven. Aanbeveling is om trainingsgegevens als vergelijkingsbasislijn te gebruiken.
reference_data.input_data	Object	Beschrijving van invoergegevensbron, zie specificatie van taakinvoergegevens .
reference_data.data_context	String	De context van gegevens verwijst naar de context die de gegevensset eerder heeft gebruikt. Afwijking van kenmerktoeschrijving, alleen training toegestane gegevens.	training
reference_data.data_column_names.target_column	String	Vereist.
reference_data.data_window	Object	Optioneel. Gegevensvenster van de referentiegegevens die moeten worden gebruikt als vergelijkingsbasislijngegevens.	Sta alleen het venster rolling gegevens of het vaste gegevensvenster toe. Geef reference_data.data_window.lookback_window_offset en eigenschappen op voor reference_data.data_window.lookback_window_size het gebruik van het venster rolling gegevens. Geef reference_data.data_window.window_start en eigenschappen op voor reference_data.data_window.window_end het gebruik van vaste gegevensvensters. Alle eigenschapswaarden moeten de indeling van ISO8601 hebben.
reference_data.pre_processing_component	String	Onderdeel-id in de indeling van azureml:myPreprocessing@latest een geregistreerd onderdeel. Dit is vereist, zie reference_data.input_data.type uri_folderspecificatie van voorverwerkingsonderdelen.
alert_enabled	Booleaanse waarde	Schakel waarschuwingsmeldingen in of uit voor het bewakingssignaal. True of False
metric_thresholds.classification	Object	Optionele lijst met metrische gegevens en drempelwaarden in key:value indeling, key is de naam van de metrische waarde, value de drempelwaarde.	Toegestane classification metrische namen: accuracy, precisionrecall
metric_thresholds.regression	Object	Optionele lijst met metrische gegevens en drempelwaarden in key:value indeling, key is de naam van de metrische waarde, value de drempelwaarde.	Toegestane regression metrische namen: mae, msermse

Opmerkingen

De az ml schedule opdracht kan worden gebruikt voor het beheren van Azure Machine Learning-modellen.

Voorbeelden

Bewakings-CLI-voorbeelden zijn beschikbaar in de GitHub-voorbeeldenopslagplaats. Een paar zijn als volgt:

YAML: Out-Of-Box Monitor

VAN TOEPASSING OP: Azure CLI ml-extensie v2 (huidige)

# out-of-box-monitoring.yaml
$schema:  http://azureml/sdk-2-0/Schedule.json
name: credit_default_model_monitoring
display_name: Credit default model monitoring
description: Credit default model monitoring setup with minimal configurations

trigger:
  # perform model monitoring activity daily at 3:15am
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 # #every day
  schedule: 
    hours: 3 # at 3am
    minutes: 15 # at 15 mins after 3am

create_monitor:

  compute: # specify a spark compute for monitoring job
    instance_type: standard_e4s_v3
    runtime_version: "3.3"

  monitoring_target: 
    ml_task: classification # model task type: [classification, regression, question_answering]
    endpoint_deployment_id: azureml:credit-default:main # azureml endpoint deployment id

  alert_notification: # emails to get alerts
    emails:
      - abc@example.com
      - def@example.com

YAML: Geavanceerde monitor

VAN TOEPASSING OP: Azure CLI ml-extensie v2 (huidige)

# advanced-model-monitoring.yaml
$schema:  http://azureml/sdk-2-0/Schedule.json
name: fraud_detection_model_monitoring
display_name: Fraud detection model monitoring
description: Fraud detection model monitoring with advanced configurations

trigger:
  # perform model monitoring activity daily at 3:15am
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 # #every day
  schedule: 
    hours: 3 # at 3am
    minutes: 15 # at 15 mins after 3am

create_monitor:

  compute: 
    instance_type: standard_e4s_v3
    runtime_version: "3.3"

  monitoring_target:
    ml_task: classification
    endpoint_deployment_id: azureml:credit-default:main
  
  monitoring_signals:
    advanced_data_drift: # monitoring signal name, any user defined name works
      type: data_drift
      # reference_dataset is optional. By default referece_dataset is the production inference data associated with Azure Machine Learning online endpoint
      reference_data:
        input_data:
          path: azureml:credit-reference:1 # use training data as comparison reference dataset
          type: mltable
        data_context: training
        data_column_names:
          target_column: DEFAULT_NEXT_MONTH
      features: 
        top_n_feature_importance: 10 # monitor drift for top 10 features
      metric_thresholds:
        numerical:
          jensen_shannon_distance: 0.01
        categorical:
          pearsons_chi_squared_test: 0.02
    advanced_data_quality:
      type: data_quality
      # reference_dataset is optional. By default reference_dataset is the production inference data associated with Azure Machine Learning online endpoint
      reference_data:
        input_data:
          path: azureml:credit-reference:1
          type: mltable
        data_context: training
      features: # monitor data quality for 3 individual features only
        - SEX
        - EDUCATION
      metric_thresholds:
        numerical:
          null_value_rate: 0.05
        categorical:
          out_of_bounds_rate: 0.03

    feature_attribution_drift_signal:
      type: feature_attribution_drift
      # production_data: is not required input here
      # Please ensure Azure Machine Learning online endpoint is enabled to collected both model_inputs and model_outputs data
      # Azure Machine Learning model monitoring will automatically join both model_inputs and model_outputs data and used it for computation
      reference_data:
        input_data:
          path: azureml:credit-reference:1
          type: mltable
        data_context: training
        data_column_names:
          target_column: DEFAULT_NEXT_MONTH
      metric_thresholds:
        normalized_discounted_cumulative_gain: 0.9
  
  alert_notification:
    emails:
      - abc@example.com
      - def@example.com

Bijlage

Tijdzone

Het huidige schema ondersteunt de volgende tijdzones. De sleutel kan rechtstreeks in de Python SDK worden gebruikt, terwijl de waarde kan worden gebruikt in de YAML-taak. De tabel is ingedeeld op UTC(Coordinated Universal Time).

UTC	Sleutel	Weergegeven als
UTC -12:00	DATELINE_STANDARD_TIME	"Dateline Standard Time"
UTC -11:00	UTC_11	"UTC-11"
UTC - 10:00	ALEUTIAN_STANDARD_TIME	Aleutian Standard Time
UTC - 10:00	HAWAIIAN_STANDARD_TIME	"Hawaiiaanse standaardtijd"
UTC -09:30	MARQUESAS_STANDARD_TIME	"Eenmalige tijd"
UTC -09:00	ALASKAN_STANDARD_TIME	"Alaskan Standard Time"
UTC -09:00	UTC_09	"UTC-09"
UTC -08:00	PACIFIC_STANDARD_TIME_MEXICO	"Pacific Standard Time (Mexico)"
UTC -08:00	UTC_08	"UTC-08"
UTC -08:00	PACIFIC_STANDARD_TIME	"Pacific Standard Time"
UTC -07:00	US_MOUNTAIN_STANDARD_TIME	"US Mountain Standard Time"
UTC -07:00	MOUNTAIN_STANDARD_TIME_MEXICO	"Mountain Standard Time (Mexico)"
UTC -07:00	MOUNTAIN_STANDARD_TIME	"Mountain Standard Time"
UTC -06:00	CENTRAL_AMERICA_STANDARD_TIME	"Central America Standard Time"
UTC -06:00	CENTRAL_STANDARD_TIME	"Centrale standaardtijd"
UTC -06:00	EASTER_ISLAND_STANDARD_TIME	"Paaseiland Standaardtijd"
UTC -06:00	CENTRAL_STANDARD_TIME_MEXICO	"Central Standard Time (Mexico)"
UTC -06:00	CANADA_CENTRAL_STANDARD_TIME	"Canada Central Standard Time"
UTC -05:00	SA_PACIFIC_STANDARD_TIME	"SA Pacific Standard Time"
UTC -05:00	EASTERN_STANDARD_TIME_MEXICO	"Eastern Standard Time (Mexico)"
UTC -05:00	EASTERN_STANDARD_TIME	"Eastern Standard Time"
UTC -05:00	HAITI_STANDARD_TIME	"Haïti Standaardtijd"
UTC -05:00	CUBA_STANDARD_TIME	"Cuba Standard Time"
UTC -05:00	US_EASTERN_STANDARD_TIME	"US Eastern Standard Time"
UTC -05:00	TURKS_AND_CAICOS_STANDARD_TIME	"Turks en Caicos Standaardtijd"
UTC -04:00	PARAGUAY_STANDARD_TIME	"Paraguay Standard Time"
UTC -04:00	ATLANTIC_STANDARD_TIME	"Atlantic Standard Time"
UTC -04:00	VENEZUELA_STANDARD_TIME	"Venezuela Standard Time"
UTC -04:00	CENTRAL_BRAZILIAN_STANDARD_TIME	"Centrale Braziliaanse standaardtijd"
UTC -04:00	SA_WESTERN_STANDARD_TIME	"SA Western Standard Time"
UTC -04:00	PACIFIC_SA_STANDARD_TIME	"Pacific SA Standard Time"
UTC -03:30	NEWFOUNDLAND_STANDARD_TIME	"Newfoundland Standard Time"
UTC -03:00	TOCANTINS_STANDARD_TIME	"Tocantins Standard Time"
UTC -03:00	E_SOUTH_AMERICAN_STANDARD_TIME	"E. Zuid-Amerika Standaardtijd"
UTC -03:00	SA_EASTERN_STANDARD_TIME	"SA Eastern Standard Time"
UTC -03:00	ARGENTINA_STANDARD_TIME	"Argentinië Standaardtijd"
UTC -03:00	GREENLAND_STANDARD_TIME	"Groenland Standaardtijd"
UTC -03:00	MONTEVIDEO_STANDARD_TIME	"Standaardtijd van De Stad"
UTC -03:00	SAINT_PIERRE_STANDARD_TIME	"Saint Pierre Standard Time"
UTC -03:00	BAHIA_STANDARD_TIM	"Standaardtijd Van Den 12012"
UTC -02:00	UTC_02	"UTC-02"
UTC -02:00	MID_ATLANTIC_STANDARD_TIME	"Mid-Atlantic Standard Time"
UTC -01:00	AZORES_STANDARD_TIME	"Azoren Standaardtijd"
UTC -01:00	CAPE_VERDE_STANDARD_TIME	"Cape Verde Standard Time"
UTC	UTC	UTC
UTC +00:00	GMT_STANDARD_TIME	"GMT Standard Time"
UTC +00:00	GREENWICH_STANDARD_TIME	"Greenwich Standard Time"
UTC +01:00	MOROCCO_STANDARD_TIME	"Marokko Standaardtijd"
UTC +01:00	W_EUROPE_STANDARD_TIME	"W. Europa Standaardtijd"
UTC +01:00	CENTRAL_EUROPE_STANDARD_TIME	"Central Europe Standard Time"
UTC +01:00	ROMANCE_STANDARD_TIME	"Romance Standard Time"
UTC +01:00	CENTRAL_EUROPEAN_STANDARD_TIME	"Centraal-Europese standaardtijd"
UTC +01:00	W_CENTRAL_AFRICA_STANDARD_TIME	"W. Central Africa Standard Time"
UTC +02:00	NAMIBIA_STANDARD_TIME	"Namibië Standaardtijd"
UTC +02:00	JORDAN_STANDARD_TIME	"Jordan Standard Time"
UTC +02:00	GTB_STANDARD_TIME	"GTB Standaardtijd"
UTC +02:00	MIDDLE_EAST_STANDARD_TIME	"Middle East Standard Time"
UTC +02:00	EGYPT_STANDARD_TIME	"Egypte Standaardtijd"
UTC +02:00	E_EUROPE_STANDARD_TIME	"E. Europa Standaardtijd"
UTC +02:00	SYRIA_STANDARD_TIME	"Syrië Standard Time"
UTC +02:00	WEST_BANK_STANDARD_TIME	"Westoever standaardtijd"
UTC +02:00	SOUTH_AFRICA_STANDARD_TIME	"Zuid-Afrika Standaardtijd"
UTC +02:00	FLE_STANDARD_TIME	"FLE-standaardtijd"
UTC +02:00	ISRAEL_STANDARD_TIME	"Israël Standard Time"
UTC +02:00	KALININGRAD_STANDARD_TIME	"Standaardtijd Van Den 12012"
UTC +02:00	LIBYA_STANDARD_TIME	"Libische standaardtijd"
UTC +03:00	TÜRKIYE_STANDARD_TIME	"Türktürk Standard Time"
UTC +03:00	ARABIC_STANDARD_TIME	"Arabische standaardtijd"
UTC +03:00	ARAB_STANDARD_TIME	"Arabische standaardtijd"
UTC +03:00	BELARUS_STANDARD_TIME	"Wit-Rusland Standaardtijd"
UTC +03:00	RUSSIAN_STANDARD_TIME	"Russische standaardtijd"
UTC +03:00	E_AFRICA_STANDARD_TIME	"E. Afrika Standaardtijd"
UTC +03:30	IRAN_STANDARD_TIME	"Iran Standard Time"
UTC +04:00	ARABIAN_STANDARD_TIME	"Arabische standaardtijd"
UTC +04:00	ASTRAKHAN_STANDARD_TIME	"Astra beweerd standaardtijd"
UTC +04:00	AZERBAIJAN_STANDARD_TIME	"Azerbeidzjaans standaardtijd"
UTC +04:00	RUSSIA_TIME_ZONE_3	"Rusland Tijdzone 3"
UTC +04:00	MAURITIUS_STANDARD_TIME	"Mauritiaanse standaardtijd"
UTC +04:00	GEORGIAN_STANDARD_TIME	"Georgische standaardtijd"
UTC +04:00	CAUCASUS_STANDARD_TIME	"Kaukasische standaardtijd"
UTC +04:30	AFGHANISTAN_STANDARD_TIME	"Afghanistan Standard Time"
UTC +05:00	WEST_ASIA_STANDARD_TIME	"West Asia Standard Time"
UTC +05:00	EKATERINBURG_STANDARD_TIME	"Ekaterinburg Standaardtijd"
UTC +05:00	PAKISTAN_STANDARD_TIME	"Pakistan Standard Time"
UTC +05:30	INDIA_STANDARD_TIME	"India Standard Time"
UTC +05:30	SRI_LANKA_STANDARD_TIME	"Sri Lanka Standard Time"
UTC +05:45	NEPAL_STANDARD_TIME	"Nepal Standard Time"
UTC +06:00	CENTRAL_ASIA_STANDARD_TIME	"Central Asia Standard Time"
UTC +06:00	BANGLADESH_STANDARD_TIME	"Bangladesh Standard Time"
UTC +06:30	MYANMAR_STANDARD_TIME	"Myanmar Standard Time"
UTC +07:00	N_CENTRAL_ASIA_STANDARD_TIME	"N. Central Asia Standard Time"
UTC +07:00	SE_ASIA_STANDARD_TIME	"SE Asia Standard Time"
UTC +07:00	ALTAI_STANDARD_TIME	"Altai Standard Time"
UTC +07:00	W_MONGOLIA_STANDARD_TIME	"W. Mongoolse standaardtijd"
UTC +07:00	NORTH_ASIA_STANDARD_TIME	"North Asia Standard Time"
UTC +07:00	TOMSK_STANDARD_TIME	"Tomsk Standard Time"
UTC +08:00	CHINA_STANDARD_TIME	"China Standard Time"
UTC +08:00	NORTH_ASIA_EAST_STANDARD_TIME	"North Asia East Standard Time"
UTC +08:00	SINGAPORE_STANDARD_TIME	"Singapore Standard Time"
UTC +08:00	W_AUSTRALIA_STANDARD_TIME	"W. Australië Standaardtijd"
UTC +08:00	TAIPEI_STANDARD_TIME	"Taipei Standard Time"
UTC +08:00	ULAANBAATAR_STANDARD_TIME	"Ulaanbaatar Standard Time"
UTC +08:45	AUS_CENTRAL_W_STANDARD_TIME	"Aus Central W. Standaardtijd"
UTC +09:00	NORTH_KOREA_STANDARD_TIME	"Noord-Korea Standaardtijd"
UTC +09:00	TRANSBAIKAL_STANDARD_TIME	"Transbaikal Standard Time"
UTC +09:00	TOKYO_STANDARD_TIME	"Tokyo Standard Time"
UTC +09:00	KOREA_STANDARD_TIME	"Korea Standard Time"
UTC +09:00	YAKUTSK_STANDARD_TIME	"Yakutsk Standaardtijd"
UTC +09:30	CEN_AUSTRALIA_STANDARD_TIME	"Cen. Australië Standaardtijd"
UTC +09:30	AUS_CENTRAL_STANDARD_TIME	"AUS Central Standard Time"
UTC +10:00	E_AUSTRALIAN_STANDARD_TIME	"E. Australië Standaardtijd"
UTC +10:00	AUS_EASTERN_STANDARD_TIME	"AUS Eastern Standard Time"
UTC +10:00	WEST_PACIFIC_STANDARD_TIME	"West Pacific Standard Time"
UTC +10:00	TASMANIA_STANDARD_TIME	"Tasmanië Standaardtijd"
UTC +10:00	VLADIVOSTOK_STANDARD_TIME	"Vladivostok Standard Time"
UTC +10:30	LORD_HOWE_STANDARD_TIME	"Lord Howe Standard Time"
UTC +11:00	BOUGAINVILLE_STANDARD_TIME	"Bougainville Standard Time"
UTC +11:00	RUSSIA_TIME_ZONE_10	"Rusland Tijdzone 10"
UTC +11:00	MAGADAN_STANDARD_TIME	"Magadan Standard Time"
UTC +11:00	NORFOLK_STANDARD_TIME	"Norfolk Standard Time"
UTC +11:00	SAKHALIN_STANDARD_TIME	"Sakhalin Standard Time"
UTC +11:00	CENTRAL_PACIFIC_STANDARD_TIME	"Central Pacific Standard Time"
UTC +12:00	RUSSIA_TIME_ZONE_11	"Rusland Tijdzone 11"
UTC +12:00	NEW_ZEALAND_STANDARD_TIME	"Nieuw-Zeeland Standaardtijd"
UTC +12:00	UTC_12	"UTC+12"
UTC +12:00	FIJI_STANDARD_TIME	"Standaardtijd van Fiji"
UTC +12:00	KAMCHATKA_STANDARD_TIME	"Kamchatka Standaardtijd"
UTC +12:45	CHATHAM_ISLANDS_STANDARD_TIME	"Chatham Islands Standard Time"
UTC +13:00	TONGA__STANDARD_TIME	"Tonga Standaardtijd"
UTC +13:00	SAMOA_STANDARD_TIME	"Samoa Standaardtijd"
UTC +14:00	LINE_ISLANDS_STANDARD_TIME	"Standaardtijd lijneilanden"