Планирование заданий импорта данных (предварительная версия)

ОБЛАСТЬ ПРИМЕНЕНИЯ:Расширение машинного обучения Azure CLI версии 2 (current)Python SDK azure-ai-ml версии 2 (current)

В этой статье вы узнаете, как программно планировать импорт данных с помощью пользовательского интерфейса расписания. Расписание можно создать на основе истекшего времени. Расписания на основе времени могут обрабатывать обычные задачи, например регулярные импорты данных для их актуальности. Научившись создавать расписания, вы узнаете, как извлекать, обновлять и деактивировать их с помощью интерфейса командной строки, пакета SDK и ресурсов пользовательского интерфейса студии.

Необходимые компоненты

• Вам нужна подписка Azure для использования Машинное обучение Azure. Если у вас нет подписки Azure, создайте бесплатную учетную запись, прежде чем приступить к работе. Опробуйте бесплатную или платную версию Машинного обучения Azure уже сегодня.

Azure CLI

• Установите Azure CLI и расширение ml. Выполните инструкции по установке, приведенные в статье Установка, настройка и использование CLI (версия 2).

• Создайте рабочую область Машинного обучения Azure, если у вас ее нет. Создание рабочего пространства описывается в статье Установка, настройка и использование CLI (версия 2).

Пакет SDK для Python

• Создайте рабочую область Машинного обучения Azure, если у вас ее нет.
• Пакет SDK версии 2 Машинного обучения Azure для Python.

Studio

• Рабочая область Машинного обучения Azure. См.раздел Создание ресурсов рабочей области.
• Понимание конвейеров Машинное обучение Azure. Узнайте , что такое конвейеры машинного обучения и как создать задание конвейера в CLI версии 2 или пакете SDK версии 2.

Планирование импорта данных

Чтобы импортировать данные на регулярной основе, необходимо создать расписание. Действие Schedule импорта данных связывается с триггером. Триггер может быть cronлибо , который использует выражение cron для описания задержки между выполнением, либо для recurrenceуказания частоты запуска задания. В каждом случае необходимо сначала создать определение импорта данных. Существующий импорт данных или импорт данных, определенный встроенным способом, работает для этого. Дополнительные сведения см. в статье "Создание импорта данных" в CLI, пакете SDK и пользовательском интерфейсе.

Создание графика

Создание расписания на основе времени с шаблоном повторения

Azure CLI

ОБЛАСТЬ ПРИМЕНЕНИЯ: расширение машинного обучения Azure CLI версии 2 (текущее)

YAML: планирование импорта данных с шаблоном повторения

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: simple_recurrence_import_schedule
display_name: Simple recurrence import schedule
description: a simple hourly recurrence import schedule

trigger:
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 #every day
  schedule:
    hours: [4,5,10,11,12]
    minutes: [0,30]
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data: ./my-snowflake-import-data.yaml

YAML: планирование определения импорта данных в соответствии с шаблоном повторения в управляемом хранилище данных

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: inline_recurrence_import_schedule
display_name: Inline recurrence import schedule
description: an inline hourly recurrence import schedule

trigger:
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 #every day
  schedule:
    hours: [4,5,10,11,12]
    minutes: [0,30]
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data:
  type: mltable
  name: my_snowflake_ds
  path: azureml://datastores/workspacemanagedstore
  source:
    type: database
    query: select * from TPCH_SF1.REGION
    connection: azureml:my_snowflake_connection

A trigger содержит следующие свойства:

• (обязательно) type указывает тип расписания либо recurrence cron. Дополнительные сведения см. в следующем разделе.

Затем выполните следующую команду в интерфейсе командной строки:

> az ml schedule create -f <file-name>.yml

Пакет SDK для Python

ОБЛАСТЬ ПРИМЕНЕНИЯ: Пакет SDK для Python azure-ai-ml версии 2 (current)

from azure.ai.ml.data_transfer import Database
from azure.ai.ml.constants import TimeZone
from azure.ai.ml.entities import (
    ImportDataSchedule,
    RecurrenceTrigger,
    RecurrencePattern,
)
from datetime import datetime

source = Database(connection="azureml:my_sf_connection", query="select * from my_table")

path = "azureml://datastores/workspaceblobstore/paths/snowflake/schedule/${{name}}"


my_data = DataImport(
    type="mltable", source=source, path=path, name="my_schedule_sfds_test"
)

schedule_name = "my_simple_sdk_create_schedule_recurrence"

schedule_start_time = datetime.utcnow()

recurrence_trigger = RecurrenceTrigger(
    frequency="day",
    interval=1,
    schedule=RecurrencePattern(hours=1, minutes=[0, 1]),
    start_time=schedule_start_time,
    time_zone=TimeZone.UTC,
)

import_schedule = ImportDataSchedule(
    name=schedule_name, trigger=recurrence_trigger, import_data=my_data
)

ml_client.schedules.begin_create_or_update(import_schedule).result()

RecurrenceTrigger содержит перечисленные ниже свойства.

• (обязательно) Для лучшего программирования используйте RecurrenceTrigger расписание повторения.

Studio

Когда импорт данных имеет удовлетворительную производительность и выходные данные, можно настроить расписание для автоматического активации этого импорта.

1. Перейдите к Студия машинного обучения Azure

2. В разделе "Ресурсы " в области навигации слева выберите "Данные". На вкладке импорта данных выберите импортированный ресурс данных, к которому требуется присоединить расписание. Откроется страница журнала заданий импорта, как показано на снимке экрана:

   

3. На странице журнала заданий импорта выберите последний URL-адрес гиперссылки имени задания импорта, чтобы открыть страницу сведений о задании конвейеров, как показано на этом снимке экрана:

   

4. На странице сведений о задании конвейера любого импорта данных выберите "Расписание ->Создать новое расписание", чтобы открыть мастер создания расписания , как показано на этом снимке экрана:

   

5. Основные параметры мастера создания расписания имеют свойства, показанные на этом снимке экрана:

   

• Имя: уникальный идентификатор расписания в рабочей области.

• Описание: описание расписания.

• Триггер: шаблон повторения расписания, который включает следующие свойства:

  • Часовой пояс: расчет времени триггера основан на этом часовом поясе; (UTC) По умолчанию координированное универсальное время.
  • Выражение повторения или Cron: выберите повторение, чтобы указать повторяющийся шаблон. В разделе "Повторение" можно указать частоту повторения по минутам, часам, дням, неделям или месяцам.
  • Начало: расписание сначала становится активным на этой дате. По умолчанию дата создания этого расписания.
  • Конец: расписание станет неактивным после этой даты. По умолчанию это NONE, что означает, что расписание остается активным, пока вы не отключите его вручную.
  • Теги: выбранные теги расписания.

  После настройки основных параметров можно выбрать "Просмотр и создание", а расписание автоматически отправляет импорт данных на основе указанного шаблона повторения. Вы также можете выбрать или обновить параметры импорта данных с помощью мастера.

Примечание.

Эти свойства применяются к интерфейсу командной строки и пакету SDK:

• (обязательно) frequency указывает единицу времени, описывающую частоту срабатывания расписания. Может иметь значения

  • minute
  • hour
  • day
  • week
  • month

• (обязательно) interval указывает, как часто расписание запускается на основе частоты, которая является числом единиц времени ожидания до тех пор, пока расписание снова не срабатывает.

• (Необязательно) schedule определяет шаблон повторения, содержащий hours, minutesи weekdays.

  • Если frequency равно day, шаблон может указывать hours и minutes.
  • При frequency равном значении week и monthшаблон может указывать hoursи minutes weekdays.
  • hours должно быть целым числом или списком, начиная от 0 до 23.
  • minutes должно быть целым числом или списком, начиная от 0 до 59.
  • weekdays строка или список, начиная от monday sunday.
  • Если schedule опущен, задания активируются в соответствии с логикой start_timeи frequency interval.

• (Необязательно) start_time описывает дату и время начала с часовой поясом. Если start_time опущен, start_time равно времени создания задания. В течение времени начала в прошлом первое задание выполняется в следующее вычисляемое время выполнения.

• (Необязательно) end_time описывает дату окончания и время с часовой поясом. Если end_time опущено, расписание продолжает запускать задания, пока расписание не будет отключено вручную.

• (Необязательно) time_zone указывает часовой пояс повторения. Если опущено, часовой пояс по умолчанию — UTC. Дополнительные сведения о значениях часового пояса см . в приложении для значений часового пояса.

Создание расписания на основе времени с помощью выражения cron

Azure CLI

YAML: планирование импорта данных с помощью выражения cron

ОБЛАСТЬ ПРИМЕНЕНИЯ: расширение машинного обучения Azure CLI версии 2 (текущее)

YAML: планирование импорта данных с помощью выражения cron (предварительная версия)

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: simple_cron_import_schedule
display_name: Simple cron import schedule
description: a simple hourly cron import schedule

trigger:
  type: cron
  expression: "0 * * * *"
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data: ./my-snowflake-import-data.yaml

YAML: планирование определения импорта данных в соответствии с выражением cron (предварительная версия)

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: inline_cron_import_schedule
display_name: Inline cron import schedule
description: an inline hourly cron import schedule

trigger:
  type: cron
  expression: "0 * * * *"
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data:
  type: mltable
  name: my_snowflake_ds
  path: azureml://datastores/workspaceblobstore/paths/snowflake/${{name}}
  source:
    type: database
    query: select * from TPCH_SF1.REGION
    connection: azureml:my_snowflake_connection

В trigger разделе определяются сведения о расписании и содержатся следующие свойства:

• (обязательно) type указывает cron тип расписания.

> az ml schedule create -f <file-name>.yml

Список продолжается здесь:

Пакет SDK для Python

ОБЛАСТЬ ПРИМЕНЕНИЯ: Пакет SDK для Python azure-ai-ml версии 2 (current)

from azure.ai.ml.data_transfer import Database
from azure.ai.ml.constants import TimeZone
from azure.ai.ml.entities import CronTrigger, ImportDataSchedule

source = Database(connection="azureml:my_sf_connection", query="select * from my_table")

path = "azureml://datastores/workspaceblobstore/paths/snowflake/schedule/${{name}}"


my_data = DataImport(
    type="mltable", source=source, path=path, name="my_schedule_sfds_test"
)

schedule_name = "my_simple_sdk_create_schedule_cron"

cron_trigger = CronTrigger(
    expression="15 10 * * 1",
    start_time=datetime.utcnow(),
    end_time="2023-12-03T18:40:00",
)
import_schedule = ImportDataSchedule(
    name=schedule_name, trigger=cron_trigger, import_data=my_data
)
ml_client.schedules.begin_create_or_update(import_schedule).result()

В CronTrigger разделе определяются сведения о расписании и содержатся следующие свойства:

• (обязательно) Для лучшего программирования используйте CronTrigger расписание повторения.

Список продолжается здесь:

Studio

Когда импорт данных имеет удовлетворительную производительность и выходные данные, можно настроить расписание для автоматического активации этого импорта.

1. Перейдите к Студия машинного обучения Azure

2. В разделе "Ресурсы " в области навигации слева выберите "Данные". На вкладке импорта данных выберите импортированный ресурс данных, к которому требуется присоединить расписание. Откроется страница журнала заданий импорта, как показано на снимке экрана:

   

3. На странице журнала заданий импорта выберите последний URL-адрес гиперссылки имени задания импорта, чтобы открыть страницу сведений о задании конвейеров, как показано на этом снимке экрана:

   

4. На странице сведений о задании конвейера любого импорта данных выберите "Расписание ->Создать новое расписание", чтобы открыть мастер создания расписания , как показано на этом снимке экрана:

   

5. Основные параметры мастера создания расписания имеют свойства, показанные на этом снимке экрана:

   

• Имя: уникальный идентификатор расписания в рабочей области.

• Описание: описание расписания.

• Триггер: шаблон повторения расписания, который включает следующие свойства:

  • Часовой пояс: расчет времени триггера основан на этом часовом поясе; (UTC) По умолчанию координированное универсальное время.
  • Выражение повторения или Cron: выберите повторение, чтобы указать повторяющийся шаблон. С помощью выражения Cron можно указать более гибкий и настраиваемый шаблон повторения.
  • Начало: расписание сначала становится активным на этой дате. По умолчанию дата создания этого расписания.
  • Конец: расписание станет неактивным после этой даты. По умолчанию это NONE, что означает, что расписание остается активным, пока вы не отключите его вручную.
  • Теги: выбранные теги расписания.

  После настройки основных параметров можно выбрать "Просмотр и создание", а расписание автоматически отправляет импорт данных на основе указанного шаблона повторения. Вы также можете выбрать или обновить параметры импорта данных с помощью мастера.

• (обязательно) expression использует стандартное выражение crontab для выражения повторяющегося расписания. Одно выражение состоит из пяти полей с разделителями-пробелами:

  MINUTES HOURS DAYS MONTHS DAYS-OF-WEEK

  • Один подстановочный знак (*), который охватывает все значения поля. В *днях означает все дни месяца (который зависит от месяца и года).

  • В expression: "15 16 * * 1" приведенном выше примере означает 16:15 в каждый понедельник.

  • В этой таблице перечислены допустимые значения для каждого поля:

    Поле	Диапазон	Комментарий
    MINUTES	0-59	-
    HOURS	0-23	-
    DAYS	-	Не поддерживается. Значение игнорируется и обрабатывается как *.
    MONTHS	-	Не поддерживается. Значение игнорируется и обрабатывается как *.
    DAYS-OF-WEEK	0–6	Ноль (0) означает воскресенье. Также принимаются имена дней.

  • Дополнительные сведения о выражениях crontab см. в вики-ресурсе Crontab Expression на сайте GitHub.

  Внимание

  Значения DAYS и MONTH не поддерживаются. Если передать одно из этих значений, он будет игнорироваться и рассматриваться как *.

• (Необязательно) start_time указывает дату и время начала с часовой пояс расписания. Например, означает, start_time: "2022-05-10T10:15:00-04:00" что расписание начинается с 10:15:00 УТРА 2022-05-10 в часовом поясе UTC-4. Если start_time опущено, start_time время создания расписания равно времени создания. В течение времени начала в прошлом первое задание выполняется в следующее вычисляемое время выполнения.

• (Необязательно) end_time описывает дату окончания и время с часовой поясом. Если end_time опущено, расписание продолжает запускать задания, пока расписание не будет отключено вручную.

• (Необязательно) time_zone указывает часовой пояс выражения. Если time_zone опущено, часовой пояс по умолчанию — UTC. Дополнительные сведения о значениях часового пояса см . в приложении для значений часового пояса.

Ограничения:

• В настоящее время планирование Машинное обучение Azure версии 2 не поддерживает триггеры на основе событий.
• Используйте пакет SDK или CLI Машинное обучение Azure версии 2, чтобы указать сложный шаблон повторения, содержащий несколько меток времени триггера. Пользовательский интерфейс отображает только сложный шаблон и не поддерживает редактирование.
• Если вы устанавливаете повторение как 31-й день каждого месяца, расписание не будет запускать задания в месяцах с менее чем 31 днями.

Получение списка расписаний в рабочей области

Azure CLI

ОБЛАСТЬ ПРИМЕНЕНИЯ: расширение машинного обучения Azure CLI версии 2 (текущее)

az ml schedule list

Пакет SDK для Python

ОБЛАСТЬ ПРИМЕНЕНИЯ: Пакет SDK для Python azure-ai-ml версии 2 (current)

schedules = ml_client.schedules.list()
[s.name for s in schedules]

Studio

На портале студии в расширении "Задания" выберите вкладку "Все расписания". На этой вкладке отображаются все расписания заданий, созданные пакетом SDK/cli/UI, в одном списке. В списке расписаний вы можете просмотреть все расписания в этой рабочей области, как показано на снимке экрана:

Проверка сведений о расписании

Azure CLI

ОБЛАСТЬ ПРИМЕНЕНИЯ: расширение машинного обучения Azure CLI версии 2 (текущее)

az ml schedule show -n simple_cron_data_import_schedule

Пакет SDK для Python

ОБЛАСТЬ ПРИМЕНЕНИЯ: Пакет SDK для Python azure-ai-ml версии 2 (current)

created_schedule = ml_client.schedules.get(name=schedule_name)
[created_schedule.name]

Studio

Вы можете выбрать имя расписания, чтобы отобразить страницу сведений о расписании. Страница сведений о расписании содержит следующие вкладки, как показано на этом снимке экрана:

• Обзор: основные сведения для указанного расписания.

  

• Определение задания: определяет задание, которое активирует указанное расписание, как показано на снимке экрана:

  

Обновление расписания

Azure CLI

ОБЛАСТЬ ПРИМЕНЕНИЯ: расширение машинного обучения Azure CLI версии 2 (текущее)

az ml schedule update -n simple_cron_data_import_schedule  --set description="new description" --no-wait

Примечание.

Чтобы обновить больше, чем просто теги и описание, рекомендуется использовать az ml schedule create --file update_schedule.yml

Пакет SDK для Python

ОБЛАСТЬ ПРИМЕНЕНИЯ: Пакет SDK для Python azure-ai-ml версии 2 (current)

job_schedule = ml_client.schedules.begin_create_or_update(
    schedule=job_schedule
).result()
print(job_schedule)

Studio

Обновление определения импорта данных до существующего расписания

Чтобы изменить частоту импорта или создать новую связь для задания импорта данных, можно обновить определение импорта существующего расписания.

Примечание.

Чтобы обновить существующее расписание, связь расписания со старым определением импорта будет удалена. Расписание может содержать только одно определение задания импорта. Однако несколько расписаний могут вызывать одно определение импорта данных.

1. Перейдите к Студия машинного обучения Azure

2. В разделе "Ресурсы " в области навигации слева выберите "Данные". На вкладке импорта данных выберите импортированный ресурс данных, к которому требуется присоединить расписание. Откроется страница журнала заданий импорта, как показано на снимке экрана:

   

3. На странице журнала заданий импорта выберите последнюю ссылку "Имя задания импорта", чтобы открыть страницу сведений о задании конвейеров, как показано на этом снимке экрана:

   

4. На странице сведений о задании конвейера любого импорта данных выберите "Расписание ->Обновлено до существующего расписания", чтобы открыть мастер выбора расписания, как показано на этом снимке экрана:

   

5. Выберите существующее расписание из списка, как показано на снимке экрана:

   

   Внимание

   Убедитесь, что выбрано правильное расписание обновления. После завершения обновления расписание активирует различные импорты данных.

6. Вы также можете изменить источник, запрос и изменить путь назначения для будущих импортируемых данных, которые активируются расписанием.

7. Нажмите кнопку "Проверка и обновление", чтобы завершить процесс обновления. Готовое обновление отправляет уведомление.

8. При завершении обновления можно просмотреть новое определение импорта данных на странице сведений о расписании.

Страница сведений об обновлении расписания

На странице сведений о расписании можно выбрать параметры обновления для обновления основных параметров и дополнительных параметров, включая входные и выходные данные задания и параметры среды выполнения расписания, как показано на этом снимке экрана:

Отключение расписания

Azure CLI

ОБЛАСТЬ ПРИМЕНЕНИЯ: расширение машинного обучения Azure CLI версии 2 (текущее)

az ml schedule disable -n simple_cron_data_import_schedule --no-wait

Пакет SDK для Python

job_schedule = ml_client.schedules.begin_disable(name=schedule_name).result()
job_schedule.is_enabled

Studio

Текущее расписание можно отключить на странице сведений о расписании. Вы также можете отключить расписания на вкладке "Все расписания ".

Включение расписания

Azure CLI

ОБЛАСТЬ ПРИМЕНЕНИЯ: расширение машинного обучения Azure CLI версии 2 (текущее)

az ml schedule enable -n simple_cron_data_import_schedule --no-wait

Пакет SDK для Python

ОБЛАСТЬ ПРИМЕНЕНИЯ: Пакет SDK для Python azure-ai-ml версии 2 (current)

# Update trigger expression
job_schedule.trigger.expression = "10 10 * * 1"
job_schedule = ml_client.schedules.begin_create_or_update(
    schedule=job_schedule
).result()
print(job_schedule)

Studio

На странице сведений о расписании можно включить текущее расписание. Вы также можете включить расписания на вкладке "Все расписания ".

Удаление расписания

Внимание

Перед удалением необходимо отключить расписание. Удаление является постоянным, неустранимым действием. После удаления расписания вы никогда не сможете получить доступ к нему или восстановить его.

Azure CLI

ОБЛАСТЬ ПРИМЕНЕНИЯ: расширение машинного обучения Azure CLI версии 2 (текущее)

az ml schedule delete -n simple_cron_data_import_schedule

Пакет SDK для Python

ОБЛАСТЬ ПРИМЕНЕНИЯ: Пакет SDK для Python azure-ai-ml версии 2 (current)

# Only disabled schedules can be deleted
ml_client.schedules.begin_disable(name=schedule_name).result()
ml_client.schedules.begin_delete(name=schedule_name).result()

Studio

Вы можете удалить расписание на странице сведений о расписании или на вкладке "Все расписания".

Поддержка RBAC (управление доступом на основе ролей)

Расписания обычно используются для рабочей среды. Чтобы предотвратить проблемы, администраторы рабочих областей могут ограничить разрешения на создание расписания и управление в рабочей области.

В настоящее время существует три правила действий, связанных с расписаниями, и их можно настроить в портал Azure. Дополнительные сведения см. в статье об управлении доступом к Машинное обучение Azure рабочей области.

Действие	Description	Правило
Читать	Получение и перечисление расписаний в рабочей области Машинное обучение	Microsoft.MachineLearningServices/workspaces/schedules/read
Write	Создание, обновление, отключение и включение расписаний в рабочей области Машинное обучение	Microsoft.MachineLearningServices/workspaces/schedules/write
Удаление	Удаление расписания в рабочей области Машинное обучение	Microsoft.MachineLearningServices/workspaces/schedules/delete

Следующие шаги

• Узнайте больше о схеме YAML для импорта данных (версия 2).
• Узнайте, как управлять импортированными ресурсами данных.