모델 모니터링을 위한 CLI(v2) 일정 YAML 스키마(미리 보기)

아티클
09/01/2024

이 문서에 자세히 설명된 YAML 구문은 최신 버전의 ML CLI v2 확장에 대한 JSON 스키마를 기반으로 합니다. 이 구문은 최신 버전의 ML CLI v2 확장에서만 작동하도록 보장됩니다. 포괄적인 JSON 스키마는 .에서 https://azuremlschemas.azureedge.net/latest/monitorSchedule.schema.json볼 수 있습니다. https://azuremlschemasprod.azureedge.net/에서 이전 확장 버전에 대한 스키마를 찾을 수 있습니다.

YAML 구문

키	형식	설명
`$schema`	string	YAML 스키마입니다.
`name`	string	필수입니다. 일정의 이름입니다.
`description`	string	일정에 대한 설명입니다.
`tags`	개체	일정에 대한 태그 사전입니다.
`trigger`	개체	필수입니다. 작업을 트리거할 때 규칙을 정의하는 트리거 구성입니다. `RecurrenceTrigger` 또는 `CronTrigger` 중 하나가 필요합니다.
`create_monitor`	개체	필수입니다. 일정에 따라 트리거되는 모니터의 정의입니다. `MonitorDefinition`이 필요합니다.

트리거 구성

되풀이 트리거

키	형식	설명	허용된 값
`type`	string	필수입니다. 일정 유형을 지정합니다.	되풀이
`frequency`	string	필수입니다. 일정이 실행되는 빈도를 설명하는 시간 단위를 지정합니다.	`minute`, `hour`, `day`, `weekmonth`
`interval`	정수	필수입니다. 일정이 실행되는 간격을 지정합니다.
`start_time`	string	시작 날짜와 시간을 시간대와 함께 설명합니다. `start_time`을 생략하면 첫 번째 작업이 즉시 실행되고 이후 작업은 일정에 따라 트리거됩니다. 즉, `start_time`은 작업 만들기 시간과 동일합니다. 시작 시간이 과거이면 첫 번째 작업은 계산된 다음 런타임에 실행됩니다.
`end_time`	string	종료 날짜와 시간을 시간대와 함께 설명합니다. `end_time`을 생략하면 일정은 명시적으로 사용하지 않도록 설정될 때까지 계속 실행됩니다.
`timezone`	string	되풀이의 표준 시간대를 지정합니다. 생략하면 기본적으로 UTC입니다.	시간대 값에 대한 부록을 참조하세요.
`pattern`	개체	되풀이의 패턴을 지정합니다. 패턴이 생략되면 start_time, 빈도 및 간격의 논리에 따라 작업이 트리거됩니다.

되풀이 일정

되풀이 일정은 hours, minutes 및 weekdays를 포함하는 되풀이 방법을 정의합니다.

빈도가 day인 경우 패턴은 hours 및 minutes를 지정할 수 있습니다.
빈도가 week 및 month인 경우 패턴은 hours, minutes 및 weekdays를 지정할 수 있습니다.

키	Type	허용된 값
`hours`	정수 또는 정수 배열	`0-23`
`minutes`	정수 또는 정수 배열	`0-59`
`week_days`	문자열 또는 문자열 배열	`monday`, `tuesday`, `wednesday`, `thursday`, `friday`, `saturdaysunday`

CronTrigger

키	형식	설명	허용된 값
`type`	string	필수입니다. 일정 유형을 지정합니다.	cron
`expression`	string	필수입니다. 작업을 트리거하는 방법을 정의하는 cron 식을 지정합니다. 식은 표준 crontab 식을 사용하여 되풀이 일정을 표현합니다. 단일 식은 공백으로 구분된 5개의 필드로 구성됩니다(`MINUTES HOURS DAYS MONTHS DAYS-OF-WEEK`).
`start_time`	string	시작 날짜와 시간을 시간대와 함께 설명합니다. start_time이 생략되면 첫 번째 작업이 즉시 실행되고 스케줄에 따라 이후 작업이 트리거됩니다. 즉, start_time은 작업 생성 시간과 동일합니다. 시작 시간이 과거이면 첫 번째 작업은 계산된 다음 런타임에 실행됩니다.
`end_time`	string	종료 날짜와 시간을 시간대와 함께 설명합니다. end_time을 생략하면 명시적으로 사용하지 않도록 설정될 때까지 일정이 계속 실행됩니다.
`timezone`	string	되풀이의 표준 시간대를 지정합니다. 생략하면 기본적으로 UTC입니다.	시간대 값에 대한 부록을 참조하세요.

모니터 정의

키	형식	설명	허용된 값	Default value
`compute`	Object	필수입니다. 모니터링 작업을 실행하기 위한 Spark 풀의 컴퓨팅 리소스에 대한 설명입니다.
`compute.instance_type`	문자열	필수입니다. Spark 풀에 사용할 컴퓨팅 인스턴스 유형입니다.	'standard_e4s_v3', 'standard_e8s_v3', 'standard_e16s_v3', 'standard_e32s_v3', 'standard_e64s_v3'	해당 없음
`compute.runtime_version`	문자열	선택 사항. Spark 런타임 버전을 정의합니다.	`3.3`	`3.3`
`monitoring_target`	Object	모델 모니터링과 관련된 Azure Machine Learning 자산입니다.
`monitoring_target.ml_task`	문자열	모델에 대한 기계 학습 작업입니다.	허용되는 값은 다음과 `classificationregression`같습니다.`question_answering`
`monitoring_target.endpoint_deployment_id`	문자열	선택 사항. `azureml:myEndpointName:myDeploymentName` 형식의 연결된 Azure Machine Learning 엔드포인트/배포 ID입니다. 엔드포인트/배포에서 모델 모니터링에 사용할 모델 데이터 수집을 사용하도록 설정한 경우 이 필드가 필요합니다.
`monitoring_target.model_id`	문자열	선택 사항. 모델 모니터링을 위한 연결된 모델 ID입니다.
`monitoring_signals`	Object	포함할 모니터링 신호 사전입니다. 키는 모니터 컨텍스트 내 모니터링 신호의 이름이고 값은 모니터링 신호 사양을 포함하는 개체입니다. 최근 과거 프로덕션 데이터를 비교 기준으로 사용하고 데이터 드리프트, 예측 드리프트, 데이터 품질의 3가지 모니터링 신호가 있는 기본 모델 모니터링의 경우 선택 사항입니다.
`alert_notification`	문자열 또는 개체	경고 알림 수신자에 대한 설명입니다.	두 경고 대상 중 하나는 허용됩니다. 전자 메일 받는 사람의 배열을 포함하는 문자열 `azmonitoring` 또는 개체 `emails`
`alert_notification.emails`	Object	경고 알림을 받을 이메일 주소 목록입니다.

모니터링 신호

데이터 드리프트

모델을 학습하는 데 사용되는 데이터가 프로덕션 과정에서 발전함에 따라 데이터 배포가 바뀔 수 있으며, 이로 인해 학습 데이터와 모델이 예측하는 데 사용되는 실제 데이터가 일치하지 않을 수 있습니다. 데이터 드리프트는 모델 학습에 사용되는 입력 데이터의 통계적 속성이 시간에 따라 변할 때 기계 학습에서 발생하는 현상입니다.

키	형식	설명	허용된 값	기본값
`type`	문자열	필수입니다. 모니터링 신호 형식. 미리 빌드된 모니터링 신호 처리 구성 요소는 여기에 지정된 `type`에 따라 자동으로 로드됩니다.	`data_drift`	`data_drift`
`production_data`	Object	선택 사항. 신호 모니터링을 위해 분석할 프로덕션 데이터에 대한 설명입니다.
`production_data.input_data`	Object	선택 사항. 입력 데이터 원본에 대한 설명은 작업 입력 데이터 사양을 참조하세요.
`production_data.data_context`	문자열	데이터의 컨텍스트는 모델 프로덕션 데이터를 나타내며 모델 입력 또는 모델 출력일 수 있습니다.	`model_inputs`
`production_data.data_window`	Object	선택 사항. 비교 기준 데이터로 사용할 참조 데이터의 데이터 창입니다.	롤링 데이터 창 또는 고정 데이터 창만 허용합니다. 롤링 데이터 창을 사용하려면 지정하고 `production_data.data_window.lookback_window_size` 속성을 지정 `production_data.data_window.lookback_window_offset` 하세요. 고정 데이터 창을 사용하려면 지정하고 `production_data.data_window.window_end` 속성을 지정 `production_data.data_window.window_start` 하세요. 모든 속성 값은 ISO8601 형식이어야 합니다.
`production_data.pre_processing_component`	문자열	등록된 구성 요소에 대한 `azureml:myPreprocessing@latest` 형식의 구성 요소 ID입니다. 이는 `production_data.data.input_data.type`이 `uri_folder`인 경우 필수입니다. 전처리 구성 요소 사양을 참조하세요.
`reference_data`	Object	선택 사항. 지정되지 않은 경우 최근 과거 프로덕션 데이터가 비교 기준 데이터로 사용됩니다. 학습 데이터를 비교 기준으로 사용하는 것이 좋습니다.
`reference_data.input_data`	Object	입력 데이터 원본에 대한 설명은 작업 입력 데이터 사양을 참조하세요.
`reference_data.data_context`	문자열	데이터 컨텍스트는 이전에 데이터 세트가 사용되었던 컨텍스트를 나타냅니다.	`model_inputs`, `training`, `testvalidation`
`reference_data.data_column_names.target_column`	Object	선택 사항. 학습 데이터인 `reference_data` 경우 이 속성은 데이터 드리프트에 대한 상위 N 기능을 모니터링하는 데 필요합니다.
`reference_data.data_window`	Object	선택 사항. 비교 기준 데이터로 사용할 참조 데이터의 데이터 창입니다.	롤링 데이터 창 또는 고정 데이터 창만 허용합니다. 롤링 데이터 창을 사용하려면 지정하고 `reference_data.data_window.lookback_window_size` 속성을 지정 `reference_data.data_window.lookback_window_offset` 하세요. 고정 데이터 창을 사용하려면 지정하고 `reference_data.data_window.window_end` 속성을 지정 `reference_data.data_window.window_start` 하세요. 모든 속성 값은 ISO8601 형식이어야 합니다.
`reference_data_data.pre_processing_component`	문자열	등록된 구성 요소에 대한 `azureml:myPreprocessing@latest` 형식의 구성 요소 ID입니다. `reference_data.input_data.type`이 `uri_folder`인 경우 이는 필수입니다. 전처리 구성 요소 사양을 참조하세요.
`features`	Object	선택 사항. 데이터 드리프트를 모니터링할 대상 기능입니다. 일부 모델에는 수백 또는 수천 개의 기능이 있을 수 있으므로 항상 모니터링을 위해 관심 있는 기능을 지정하는 것이 좋습니다.	다음 값 중 하나: 기능 이름 목록, `features.top_n_feature_importance` 또는 `all_features`	`production_data.data_context`가 `training`이면 기본값은 `features.top_n_feature_importance = 10`이고, 그렇지 않으면 기본값은 `all_features`입니다.
`alert_enabled`	Boolean	모니터링 신호에 대한 경고 알림을 켜거나 끕니다. `True` 또는 `False`
`metric_thresholds`	Object	모니터링 신호에 대한 메트릭 및 임계값 속성 목록입니다. 임계값을 초과하면 `alert_enabled` `true`사용자에게 경고 알림이 표시됩니다.
`metric_thresholds.numerical`	Object	선택 사항. 메트릭 및 임계값 `key:value` 형식 `key` 의 목록은 메트릭 이름 `value` 이며 임계값입니다.	허용되는 숫자 메트릭 이름: `jensen_shannon_distance`, `normalized_wasserstein_distance`, `population_stability_indextwo_sample_kolmogorov_smirnov_test`
`metric_thresholds.categorical`	Object	선택 사항. 'key:value' 형식의 메트릭 및 임계값 목록, 'key'는 메트릭 이름, 'value'는 임계값입니다.	허용된 범주 메트릭 이름: `jensen_shannon_distance`, `chi_squared_testpopulation_stability_index`

예측 드리프트

예측 드리프트는 유효성 검사 또는 테스트 레이블이 지정된 데이터 또는 최근 과거 프로덕션 데이터와 비교하여 모델 예측 출력 배포의 변화를 추적합니다.

키	형식	설명	허용된 값	기본값
`type`	문자열	필수입니다. 모니터링 신호 형식. 미리 빌드된 모니터링 신호 처리 구성 요소는 여기에 지정된 `type`에 따라 자동으로 로드됩니다.	`prediction_drift`	`prediction_drift`
`production_data`	Object	선택 사항. 신호 모니터링을 위해 분석할 프로덕션 데이터에 대한 설명입니다.
`production_data.input_data`	Object	선택 사항. 입력 데이터 원본에 대한 설명은 작업 입력 데이터 사양을 참조하세요.
`production_data.data_context`	문자열	데이터의 컨텍스트는 모델 프로덕션 데이터를 나타내며 모델 입력 또는 모델 출력일 수 있습니다.	`model_outputs`
`production_data.data_window`	Object	선택 사항. 비교 기준 데이터로 사용할 참조 데이터의 데이터 창입니다.	롤링 데이터 창 또는 고정 데이터 창만 허용합니다. 롤링 데이터 창을 사용하려면 지정하고 `production_data.data_window.lookback_window_size` 속성을 지정 `production_data.data_window.lookback_window_offset` 하세요. 고정 데이터 창을 사용하려면 지정하고 `production_data.data_window.window_end` 속성을 지정 `production_data.data_window.window_start` 하세요. 모든 속성 값은 ISO8601 형식이어야 합니다.
`production_data.pre_processing_component`	문자열	등록된 구성 요소에 대한 `azureml:myPreprocessing@latest` 형식의 구성 요소 ID입니다. 필요한 경우 `production_data.data.input_data.type` 이 값이 `uri_folder`필요합니다. 전처리 구성 요소 사양에 대한 자세한 내용은 전처리 구성 요소 사양을 참조 하세요.
`reference_data`	Object	선택 사항. 지정되지 않은 경우 최근 과거 프로덕션 데이터가 비교 기준 데이터로 사용됩니다. 학습 데이터를 비교 기준으로 사용하는 것이 좋습니다.
`reference_data.input_data`	Object	입력 데이터 원본에 대한 설명은 작업 입력 데이터 사양을 참조하세요.
`reference_data.data_context`	문자열	데이터 컨텍스트는 이전에 데이터 세트가 사용되었던 컨텍스트를 나타냅니다.	`model_inputs`, `training`, `testvalidation`
`reference_data.data_column_names.target_column`	Object	선택 사항. 'reference_data'이 학습 데이터인 경우 이 속성은 데이터 드리프트에 대한 상위 N 기능을 모니터링하는 데 필요합니다.
`reference_data.data_window`	Object	선택 사항. 비교 기준 데이터로 사용할 참조 데이터의 데이터 창입니다.	롤링 데이터 창 또는 고정 데이터 창만 허용합니다. 롤링 데이터 창을 사용하려면 지정하고 `reference_data.data_window.lookback_window_size` 속성을 지정 `reference_data.data_window.lookback_window_offset` 하세요. 고정 데이터 창을 사용하려면 지정하고 `reference_data.data_window.window_end` 속성을 지정 `reference_data.data_window.window_start` 하세요. 모든 속성 값은 ISO8601 형식이어야 합니다.
`reference_data_data.pre_processing_component`	문자열	등록된 구성 요소에 대한 `azureml:myPreprocessing@latest` 형식의 구성 요소 ID입니다. `reference_data.input_data.type`이 `uri_folder`인 경우 이는 필수입니다. 전처리 구성 요소 사양을 참조하세요.
`features`	Object	선택 사항. 데이터 드리프트를 모니터링할 대상 기능입니다. 일부 모델에는 수백 또는 수천 개의 기능이 있을 수 있으므로 항상 모니터링을 위해 관심 있는 기능을 지정하는 것이 좋습니다.	다음 값 중 하나: 기능 이름 목록, `features.top_n_feature_importance` 또는 `all_features`	`production_data.data_context`가 `training`이면 기본값은 `features.top_n_feature_importance = 10`이고, 그렇지 않으면 기본값은 `all_features`입니다.
`alert_enabled`	Boolean	모니터링 신호에 대한 경고 알림을 켜거나 끕니다. `True` 또는 `False`
`metric_thresholds`	Object	모니터링 신호에 대한 메트릭 및 임계값 속성 목록입니다. 임계값을 초과하면 `alert_enabled` `true`사용자에게 경고 알림이 표시됩니다.
`metric_thresholds.numerical`	Object	선택 사항. 'key:value' 형식의 메트릭 및 임계값 목록, 'key'는 메트릭 이름, 'value'는 임계값입니다.	허용되는 숫자 메트릭 이름: `jensen_shannon_distance`, `normalized_wasserstein_distance`, `population_stability_indextwo_sample_kolmogorov_smirnov_test`
`metric_thresholds.categorical`	Object	선택 사항. 'key:value' 형식의 메트릭 및 임계값 목록, 'key'는 메트릭 이름, 'value'는 임계값입니다.	허용된 범주 메트릭 이름: `jensen_shannon_distance`, `chi_squared_testpopulation_stability_index`

데이터 품질

데이터 품질 신호는 학습 데이터 또는 최근의 과거 프로덕션 데이터와 비교하여 프로덕션 시 데이터 품질 문제를 추적합니다.

키	형식	설명	허용된 값	기본값
`type`	문자열	필수입니다. 모니터링 신호 형식. 미리 빌드된 모니터링 신호 처리 구성 요소는 여기에 지정된 `type`에 따라 자동으로 로드됩니다.	`data_quality`	`data_quality`
`production_data`	Object	선택 사항. 신호 모니터링을 위해 분석할 프로덕션 데이터에 대한 설명입니다.
`production_data.input_data`	Object	선택 사항. 입력 데이터 원본에 대한 설명은 작업 입력 데이터 사양을 참조하세요.
`production_data.data_context`	문자열	데이터의 컨텍스트는 모델 프로덕션 데이터를 나타내며 모델 입력 또는 모델 출력일 수 있습니다.	`model_inputs`, `model_outputs`
`production_data.data_window`	Object	선택 사항. 비교 기준 데이터로 사용할 참조 데이터의 데이터 창입니다.	롤링 데이터 창 또는 고정 데이터 창만 허용합니다. 롤링 데이터 창을 사용하려면 지정하고 `production_data.data_window.lookback_window_size` 속성을 지정 `production_data.data_window.lookback_window_offset` 하세요. 고정 데이터 창을 사용하려면 지정하고 `production_data.data_window.window_end` 속성을 지정 `production_data.data_window.window_start` 하세요. 모든 속성 값은 ISO8601 형식이어야 합니다.
`production_data.pre_processing_component`	문자열	등록된 구성 요소에 대한 `azureml:myPreprocessing@latest` 형식의 구성 요소 ID입니다. 이는 `production_data.input_data.type`이 `uri_folder`인 경우 필수입니다. 전처리 구성 요소 사양을 참조하세요.
`reference_data`	Object	선택 사항. 지정되지 않은 경우 최근 과거 프로덕션 데이터가 비교 기준 데이터로 사용됩니다. 학습 데이터를 비교 기준으로 사용하는 것이 좋습니다.
`reference_data.input_data`	Object	입력 데이터 원본에 대한 설명은 작업 입력 데이터 사양을 참조하세요.
`reference_data.data_context`	문자열	데이터 컨텍스트는 이전에 데이터 세트가 사용되었던 컨텍스트를 나타냅니다.	`model_inputs`, `model_outputs`, `training`, `testvalidation`
`reference_data.data_column_names.target_column`	Object	선택 사항. 'reference_data'이 학습 데이터인 경우 이 속성은 데이터 드리프트에 대한 상위 N 기능을 모니터링하는 데 필요합니다.
`reference_data.data_window`	Object	선택 사항. 비교 기준 데이터로 사용할 참조 데이터의 데이터 창입니다.	롤링 데이터 창 또는 고정 데이터 창만 허용합니다. 롤링 데이터 창을 사용하려면 지정하고 `reference_data.data_window.lookback_window_size` 속성을 지정 `reference_data.data_window.lookback_window_offset` 하세요. 고정 데이터 창을 사용하려면 지정하고 `reference_data.data_window.window_end` 속성을 지정 `reference_data.data_window.window_start` 하세요. 모든 속성 값은 ISO8601 형식이어야 합니다.
`reference_data.pre_processing_component`	문자열	등록된 구성 요소에 대한 `azureml:myPreprocessing@latest` 형식의 구성 요소 ID입니다. 이는 `reference_data.input_data.type`이 `uri_folder`인 경우 필수입니다. 전처리 구성 요소 사양을 참조하세요.
`features`	Object	선택 사항. 데이터 품질을 모니터링할 대상 기능입니다. 일부 모델에는 수백 또는 수천 개의 기능이 있을 수 있습니다. 모니터링을 위해 관심 있는 기능을 지정하는 것이 항상 권장됩니다.	다음 값 중 하나: 기능 이름 목록, `features.top_n_feature_importance` 또는 `all_features`	`reference_data.data_context`가 `training`이면 기본값은 `features.top_n_feature_importance = 10`이고, 그렇지 않으면 기본값은 `all_features`입니다.
`alert_enabled`	Boolean	모니터링 신호에 대한 경고 알림을 켜거나 끕니다. `True` 또는 `False`
`metric_thresholds`	Object	모니터링 신호에 대한 메트릭 및 임계값 속성 목록입니다. 임계값을 초과하면 `alert_enabled` `true`사용자에게 경고 알림이 표시됩니다.
`metric_thresholds.numerical`	Object	선택적 메트릭 목록 및 임계값 `key:value` 형식 `key` 은 메트릭 이름 `value` 이며 임계값입니다.	허용되는 숫자 메트릭 이름: `data_type_error_rate`, `null_value_rateout_of_bounds_rate`
`metric_thresholds.categorical`	Object	선택적 메트릭 목록 및 임계값 `key:value` 형식 `key` 은 메트릭 이름 `value` 이며 임계값입니다.	허용된 범주 메트릭 이름: `data_type_error_rate`, `null_value_rateout_of_bounds_rate`

기능 특성 드리프트(미리 보기)

모델의 기능 특성은 데이터 배포의 변화, 기능 간 관계의 변화 또는 해결 중인 기본 문제의 변화로 인해 시간이 지남에 따라 변경될 수 있습니다. 기능 특성 드리프트는 예측 결과에 대한 기능의 중요도이나 기여도가 시간에 따라 변할 때 기계 학습 모델에서 발생하는 현상입니다.

키	형식	설명	허용된 값	기본값
`type`	문자열	필수입니다. 모니터링 신호 형식. 미리 빌드된 모니터링 신호 처리 구성 요소는 여기에 지정된 `type`에 따라 자동으로 로드됩니다.	`feature_attribution_drift`	`feature_attribution_drift`
`production_data`	배열	선택 사항이며, 제공되지 않은 경우 기본적으로 Azure Machine Learning 엔드포인트와 연결된 수집된 데이터입니다. 데이터 `production_data` 세트 및 관련 메타 데이터의 목록이며 모델 입력과 모델 출력 데이터를 모두 포함해야 합니다. 모델 입력과 출력이 모두 있는 단일 데이터 세트이거나 하나의 모델 입력과 하나의 모델 출력을 포함하는 두 개의 개별 데이터 세트일 수 있습니다.
`production_data.input_data`	Object	선택 사항. 입력 데이터 원본에 대한 설명은 작업 입력 데이터 사양을 참조하세요.
`production_data.input_data.data_column_names`	Object	데이터 조인에 필요한 형식의 `key:value` 상관 관계 열 이름 및 예측 열 이름입니다.	허용되는 키는 다음과 `correlation_id`같습니다. `target_column`
`production_data.data_context`	문자열	데이터의 컨텍스트. 프로덕션 모델 입력 데이터를 나타냅니다.	`model_inputs`, , `model_outputsmodel_inputs_outputs`
`production_data.data_window`	Object	선택 사항. 비교 기준 데이터로 사용할 참조 데이터의 데이터 창입니다.	롤링 데이터 창 또는 고정 데이터 창만 허용합니다. 롤링 데이터 창을 사용하려면 지정하고 `production_data.data_window.lookback_window_size` 속성을 지정 `production_data.data_window.lookback_window_offset` 하세요. 고정 데이터 창을 사용하려면 지정하고 `production_data.data_window.window_end` 속성을 지정 `production_data.data_window.window_start` 하세요. 모든 속성 값은 ISO8601 형식이어야 합니다.
`production_data.pre_processing_component`	문자열	등록된 구성 요소에 대한 `azureml:myPreprocessing@latest` 형식의 구성 요소 ID입니다. 이는 `production_data.input_data.type`이 `uri_folder`인 경우 필수입니다. 전처리 구성 요소 사양을 참조하세요.
`production_data.data_window_size`	문자열	선택 사항. 예를 들어 `P7D`ISO8601 형식의 데이터 창 크기(일)입니다. 이는 데이터 품질 문제에 대해 계산되는 프로덕션 데이터 창입니다.	기본적으로 데이터 창 크기는 마지막 모니터링 기간입니다.
`reference_data`	Object	선택 사항. 지정되지 않은 경우 최근 과거 프로덕션 데이터가 비교 기준 데이터로 사용됩니다. 학습 데이터를 비교 기준으로 사용하는 것이 좋습니다.
`reference_data.input_data`	Object	입력 데이터 원본에 대한 설명은 작업 입력 데이터 사양을 참조하세요.
`reference_data.data_context`	문자열	데이터의 컨텍스트는 이전에 데이터 세트가 사용되었던 컨텍스트를 의미합니다. Fro 기능 특성 드리프트, 데이터만 `training` 허용됩니다.	`training`
`reference_data.data_column_names.target_column`	문자열	필수입니다.
`reference_data.data_window`	Object	선택 사항. 비교 기준 데이터로 사용할 참조 데이터의 데이터 창입니다.	롤링 데이터 창 또는 고정 데이터 창만 허용합니다. 롤링 데이터 창을 사용하려면 지정하고 `reference_data.data_window.lookback_window_size` 속성을 지정 `reference_data.data_window.lookback_window_offset` 하세요. 고정 데이터 창을 사용하려면 지정하고 `reference_data.data_window.window_end` 속성을 지정 `reference_data.data_window.window_start` 하세요. 모든 속성 값은 ISO8601 형식이어야 합니다.
`reference_data.pre_processing_component`	문자열	등록된 구성 요소에 대한 `azureml:myPreprocessing@latest` 형식의 구성 요소 ID입니다. 이는 `reference_data.input_data.type`이 `uri_folder`인 경우 필수입니다. 전처리 구성 요소 사양을 참조하세요.
`alert_enabled`	Boolean	모니터링 신호에 대한 경고 알림을 켜거나 끕니다. `True` 또는 `False`
`metric_thresholds`	Object	메트릭 이름 및 기능 특성 드리프트에 `key:value` 대한 임계값(메트 `key` 릭 이름 `value` 이며 임계값)입니다. 임계값이 초과되고 `alert_enabled`이 켜져 있으면 사용자는 경고 알림을 받게 됩니다.	허용되는 메트릭 이름: `normalized_discounted_cumulative_gain`

사용자 지정 모니터링 신호

사용자 지정 Azure Machine Learning 구성 요소를 통한 사용자 지정 모니터링 신호입니다.

키	형식	설명	허용된 값	기본값
`type`	문자열	필수입니다. 모니터링 신호 형식. 미리 빌드된 모니터링 신호 처리 구성 요소는 여기에 지정된 `type`에 따라 자동으로 로드됩니다.	`custom`	`custom`
`component_id`	문자열	필수입니다. 사용자 지정 신호에 해당하는 Azure Machine Learning 구성 요소 ID입니다. 예: `azureml:mycustomcomponent:1`
`input_data`	Object	선택 사항. 모니터링 신호로 분석할 입력 데이터에 대한 설명은 작업 입력 데이터 사양을 참조하세요.
`input_data.<data_name>.data_context`	문자열	데이터의 컨텍스트는 모델 프로덕션 데이터를 나타내며 모델 입력 또는 모델 출력일 수 있습니다.	`model_inputs`
`input_data.<data_name>.data_window`	Object	선택 사항. 비교 기준 데이터로 사용할 참조 데이터의 데이터 창입니다.	롤링 데이터 창 또는 고정 데이터 창만 허용합니다. 롤링 데이터 창을 사용하려면 지정하고 `input_data.<data_name>.data_window.lookback_window_size` 속성을 지정 `input_data.<data_name>.data_window.lookback_window_offset` 하세요. 고정 데이터 창을 사용하려면 지정하고 `input_data.<data_name>.data_window.window_end` 속성을 지정 `input_data.<data_name>.data_window.window_start` 하세요. 모든 속성 값은 ISO8601 형식이어야 합니다.
`input_data.<data_name>.pre_processing_component`	문자열	등록된 구성 요소에 대한 `azureml:myPreprocessing@latest` 형식의 구성 요소 ID입니다. 이는 `input_data.<data_name>.input_data.type`이 `uri_folder`인 경우 필수입니다. 전처리 구성 요소 사양을 참조하세요.
`alert_enabled`	Boolean	모니터링 신호에 대한 경고 알림을 켜거나 끕니다. `True` 또는 `False`
`metric_thresholds.metric_name`	Object	사용자 지정 메트릭의 이름입니다.
`threshold`	Object	사용자 지정 메트릭에 허용되는 임계값입니다.

모델 성능(미리 보기)

모델 성능은 프로덕션 환경의 모델 출력 목표 성능을 수집된 참값 데이터와 비교하여 추적합니다.

키	형식	설명	허용된 값	기본값
`type`	문자열	필수입니다. 모니터링 신호 형식. 미리 빌드된 모니터링 신호 처리 구성 요소는 여기에 지정된 `type`에 따라 자동으로 로드됩니다.	`model_performance`	`model_performance`
`production_data`	배열	선택 사항이며, 제공되지 않은 경우 기본적으로 Azure Machine Learning 엔드포인트와 연결된 수집된 데이터입니다. 데이터 `production_data` 세트 및 관련 메타 데이터의 목록이며 모델 입력과 모델 출력 데이터를 모두 포함해야 합니다. 모델 입력과 출력이 모두 있는 단일 데이터 세트이거나 하나의 모델 입력과 하나의 모델 출력을 포함하는 두 개의 개별 데이터 세트일 수 있습니다.
`production_data.input_data`	Object	선택 사항. 입력 데이터 원본에 대한 설명은 작업 입력 데이터 사양을 참조하세요.
`production_data.input_data.data_column_names`	Object	데이터 조인에 필요한 형식의 `key:value` 상관 관계 열 이름 및 예측 열 이름입니다.	허용되는 키는 다음과 `correlation_id`같습니다. `target_column`
`production_data.data_context`	문자열	데이터의 컨텍스트. 프로덕션 모델 입력 데이터를 나타냅니다.	`model_inputs`, , `model_outputsmodel_inputs_outputs`
`production_data.data_window`	Object	선택 사항. 비교 기준 데이터로 사용할 참조 데이터의 데이터 창입니다.	롤링 데이터 창 또는 고정 데이터 창만 허용합니다. 롤링 데이터 창을 사용하려면 지정하고 `production_data.data_window.lookback_window_size` 속성을 지정 `production_data.data_window.lookback_window_offset` 하세요. 고정 데이터 창을 사용하려면 지정하고 `production_data.data_window.window_end` 속성을 지정 `production_data.data_window.window_start` 하세요. 모든 속성 값은 ISO8601 형식이어야 합니다.
`production_data.pre_processing_component`	문자열	등록된 구성 요소에 대한 `azureml:myPreprocessing@latest` 형식의 구성 요소 ID입니다. 이는 `production_data.input_data.type`이 `uri_folder`인 경우 필수입니다. 전처리 구성 요소 사양을 참조하세요.
`production_data.data_window_size`	문자열	선택 사항. 예를 들어 `P7D`ISO8601 형식의 데이터 창 크기(일)입니다. 이는 데이터 품질 문제에 대해 계산되는 프로덕션 데이터 창입니다.	기본적으로 데이터 창 크기는 마지막 모니터링 기간입니다.
`reference_data`	Object	선택 사항. 지정되지 않은 경우 최근 과거 프로덕션 데이터가 비교 기준 데이터로 사용됩니다. 학습 데이터를 비교 기준으로 사용하는 것이 좋습니다.
`reference_data.input_data`	Object	입력 데이터 원본에 대한 설명은 작업 입력 데이터 사양을 참조하세요.
`reference_data.data_context`	문자열	데이터의 컨텍스트는 이전에 데이터 세트가 사용되었던 컨텍스트를 의미합니다. Fro 기능 특성 드리프트, 데이터만 `training` 허용됩니다.	`training`
`reference_data.data_column_names.target_column`	문자열	필수입니다.
`reference_data.data_window`	Object	선택 사항. 비교 기준 데이터로 사용할 참조 데이터의 데이터 창입니다.	롤링 데이터 창 또는 고정 데이터 창만 허용합니다. 롤링 데이터 창을 사용하려면 지정하고 `reference_data.data_window.lookback_window_size` 속성을 지정 `reference_data.data_window.lookback_window_offset` 하세요. 고정 데이터 창을 사용하려면 지정하고 `reference_data.data_window.window_end` 속성을 지정 `reference_data.data_window.window_start` 하세요. 모든 속성 값은 ISO8601 형식이어야 합니다.
`reference_data.pre_processing_component`	문자열	등록된 구성 요소에 대한 `azureml:myPreprocessing@latest` 형식의 구성 요소 ID입니다. 이는 `reference_data.input_data.type`이 `uri_folder`인 경우 필수입니다. 전처리 구성 요소 사양을 참조하세요.
`alert_enabled`	Boolean	모니터링 신호에 대한 경고 알림을 켜거나 끕니다. `True` 또는 `False`
`metric_thresholds.classification`	Object	선택적 메트릭 목록 및 임계값 `key:value` 형식 `key` 은 메트릭 이름 `value` 이며 임계값입니다.	허용되는 `classification` 메트릭 이름: `accuracy`, `precisionrecall`
`metric_thresholds.regression`	Object	선택적 메트릭 목록 및 임계값 `key:value` 형식 `key` 은 메트릭 이름 `value` 이며 임계값입니다.	허용되는 `regression` 메트릭 이름: `mae`, `msermse`

설명

이 az ml schedule 명령은 Azure Machine Learning 모델을 관리하는 데 사용할 수 있습니다.

예제

모니터링 CLI 예제는 GitHub 리포지토리 예제에서 사용할 수 있습니다. 두 항목은 다음과 같습니다.

YAML: 기본 제공 모니터

적용 대상: Azure CLI ml 확장 v2(현재)

# out-of-box-monitoring.yaml
$schema:  http://azureml/sdk-2-0/Schedule.json
name: credit_default_model_monitoring
display_name: Credit default model monitoring
description: Credit default model monitoring setup with minimal configurations

trigger:
  # perform model monitoring activity daily at 3:15am
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 # #every day
  schedule: 
    hours: 3 # at 3am
    minutes: 15 # at 15 mins after 3am

create_monitor:

  compute: # specify a spark compute for monitoring job
    instance_type: standard_e4s_v3
    runtime_version: "3.3"

  monitoring_target: 
    ml_task: classification # model task type: [classification, regression, question_answering]
    endpoint_deployment_id: azureml:credit-default:main # azureml endpoint deployment id

  alert_notification: # emails to get alerts
    emails:
      - abc@example.com
      - def@example.com

YAML: 고급 모니터