Поделиться через

Схема yamL набора компонентов CLI (версия 2)

  • Статья

ОБЛАСТЬ ПРИМЕНЕНИЯ: расширение машинного обучения Azure CLI версии 2 (текущее)

Примечание.

Синтаксис YAML, описанный в этом документе, основан на схеме JSON для последней версии расширения ML CLI (версия 2). Этот синтаксис гарантированно работает только с последней версией расширения ML CLI (версия 2). Схемы для старых версий расширений можно найти по адресу https://azuremlschemasprod.azureedge.net/.

Синтаксис YAML

Ключ Тип Описание Допустимые значения Default value
$schema строка Схема YAML. Если вы используете расширение МАШИННОЕ ОБУЧЕНИЕ AZURE VS Code для создания ФАЙЛА YAML, включая $schema в верхней части файла, позволяет вызывать завершение схемы и ресурсов.
name строка Обязательный. Имя набора компонентов.
версия строка Обязательный. Версия набора компонентов.
описание строка Описание набора компонентов.
спецификация объект Обязательный. Спецификация набора компонентов.
specification.path строка Обязательный путь к папке спецификации локального набора компонентов.
entities объект (список строк) Обязательный. Сущности, с которым связан этот набор компонентов.
постановка строка Этап набора компонентов. Разработка, производство, архивированный Разработка
tags объект Словарь тегов для набора компонентов.
materialization_settings объект Параметр материализации набора компонентов.
materialization_settings.offline_enabled boolean Включена ли материализация значений признаков в автономном хранилище. True, False
materialization_settings.schedule объект Расписание материализации. См. схему YAML для планирования интерфейса командной строки (2)
materialization_settings.schedule.frequency строка Требуется, если расписание настроено. Перечисление для описания частоты расписания повторения. День, час, минута, неделя, месяц день
materialization_settings.schedule.interval integer Требуется, если расписание настроено. Интервал между повторяющимися заданиями.
materialization_settings.schedule.time_zone строка Часовой пояс триггера расписания. UTC
materialization_settings.schedule.start_time строка Время триггера расписания.
materialization_settings.notification объект Параметр уведомления о материализации.
materialization_settings.notification.email_on объект (список строк) Требуется, если уведомление настроено. Уведомление по электронной почте отправляется, когда состояние задания соответствует этому параметру. JobFailed, JobCompleted, JobCancelled.
materialization_settings.notification.emails объект (список строк) Требуется, если уведомление настроено. Адрес электронной почты, на который отправляется уведомление.
materialization_settings.resource объект Вычислительный ресурс Spark Машинное обучение Azure, используемый для задания материализации.
materialization_settings.resource.instance_type строка Машинное обучение Azure тип вычислительного экземпляра Spark. Standard_E4s_v3, Standard_E8s_v3, Standard_E16s_v3, Standard_E32s_v3, Standard_E64s_v3. Чтобы получить обновленный список поддерживаемых типов, обратитесь к интерактивному обработке данных с помощью Apache Spark в Машинное обучение Azure (предварительная версия).
materialization_settings.spark_configuration dictionary словарь конфигурации Spark

Замечания

Для az ml feature-set управления набором компонентов можно использовать команду.

Примеры

Примеры доступны в репозитории примеров GitHub. Ниже показаны некоторые из них.

YAML: базовый

$schema: http://azureml/sdk-2-0/Featureset.json

name: transactions
version: "1"
description: 7-day and 3-day rolling aggregation of transactions featureset
specification:
  path: ./spec # path to feature set specification folder. Can be local (absolute path or relative path to current location) or cloud uri. Contains FeatureSetSpec.yaml + transformation code
entities: # entities associated with this feature-set
  - azureml:account:1
stage: Development

YAML: с конфигурацией материализации

name: transactions
version: "1"
description: 7-day and 3-day rolling aggregation of transactions featureset
specification:
  path: ./spec # path to feature set specification folder. Can be local (absolute path or relative path to current location) or cloud uri. Contains FeatureSetSpec.yaml + transformation code
entities: # entities associated with this feature-set
  - azureml:account:1
stage: Development
materialization_settings:
    offline_enabled: True
    schedule: # we use existing definition of schedule under job with some constraints. Recurrence pattern will not be supported.
        type: recurrence  # Only recurrence type would be supported
        frequency: Day # Only support Day and Hour
        interval: 1 #every day
        time_zone: "Pacific Standard Time"
    notification: 
        email_on:
        - JobFailed
        emails:
        - alice@microsoft.com

    resource:
        instance_type: Standard_E8S_V3
    spark_configuration:
        spark.driver.cores: 4
        spark.driver.memory: 36g
        spark.executor.cores: 4
        spark.executor.memory: 36g
        spark.executor.instances: 2

Следующие шаги