Agendar trabalhos de importação de dados (visualização)

APLICA-SE A:Azure CLI ml extension v2 (current)Python SDK azure-ai-ml v2 (current)

Neste artigo, você aprenderá como agendar programaticamente importações de dados, usando a interface do usuário de agendamento para fazê-lo. Pode criar um horário baseado no tempo decorrido. Agendas baseadas em tempo podem lidar com tarefas de rotina - por exemplo, importações regulares de dados para mantê-los atualizados. Depois de aprender a criar agendas, você aprenderá como recuperá-las, atualizá-las e desativá-las por meio de recursos de CLI, SDK e interface do usuário do estúdio.

Pré-requisitos

• Você precisa de uma assinatura do Azure para usar o Azure Machine Learning. Se não tiver uma subscrição do Azure, crie uma conta gratuita antes de começar. Experimente hoje mesmo a versão gratuita ou paga do Azure Machine Learning .

CLI do Azure

• Instale a CLI do Azure e a ml extensão. Siga as etapas de instalação em Instalar, configurar e usar a CLI (v2).

• Crie um espaço de trabalho do Azure Machine Learning se não tiver um. Para a criação de espaços de trabalho, consulte Instalar, configurar e usar a CLI (v2).

Python SDK

• Crie um espaço de trabalho do Azure Machine Learning se não tiver um.
• O SDK do Azure Machine Learning v2 para Python.

Estúdio

• Uma área de trabalho do Azure Machine Learning. Consulte Criar recursos do espaço de trabalho.
• Compreensão dos pipelines do Azure Machine Learning. Veja o que são pipelines de aprendizado de máquina e como criar trabalho de pipeline na CLI v2 ou SDK v2.

Agendar importação de dados

Para importar dados de forma recorrente, você deve criar uma agenda. A Schedule associa uma ação de importação de dados a um gatilho. O gatilho pode ser cron, que usa uma expressão cron para descrever o atraso entre execuções, ou um recurrence, que especifica a frequência para disparar um trabalho. Em cada caso, você deve primeiro criar uma definição de dados de importação. Uma importação de dados existente, ou uma importação de dados definida em linha, funciona para isso. Para obter mais informações, visite Criar uma importação de dados na CLI, SDK e interface do usuário.

Criar uma agenda

Criar um horário baseado no tempo com padrão de recorrência

CLI do Azure

APLICA-SE A: Azure CLI ml extension v2 (atual)

YAML: Cronograma para importação de dados com padrão de recorrência

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: simple_recurrence_import_schedule
display_name: Simple recurrence import schedule
description: a simple hourly recurrence import schedule

trigger:
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 #every day
  schedule:
    hours: [4,5,10,11,12]
    minutes: [0,30]
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data: ./my-snowflake-import-data.yaml

YAML: Agendamento para definição de importação de dados em linha com o padrão de recorrência no armazenamento de dados gerenciado

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: inline_recurrence_import_schedule
display_name: Inline recurrence import schedule
description: an inline hourly recurrence import schedule

trigger:
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 #every day
  schedule:
    hours: [4,5,10,11,12]
    minutes: [0,30]
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data:
  type: mltable
  name: my_snowflake_ds
  path: azureml://datastores/workspacemanagedstore
  source:
    type: database
    query: select * from TPCH_SF1.REGION
    connection: azureml:my_snowflake_connection

A trigger contém estas propriedades:

• (Obrigatório) type Especifica o tipo de agenda, ou recurrence cron. A seção a seguir tem mais informações.

Em seguida, execute este comando na CLI:

> az ml schedule create -f <file-name>.yml

Python SDK

APLICA-SE A: Python SDK azure-ai-ml v2 (atual)

from azure.ai.ml.data_transfer import Database
from azure.ai.ml.constants import TimeZone
from azure.ai.ml.entities import (
    ImportDataSchedule,
    RecurrenceTrigger,
    RecurrencePattern,
)
from datetime import datetime

source = Database(connection="azureml:my_sf_connection", query="select * from my_table")

path = "azureml://datastores/workspaceblobstore/paths/snowflake/schedule/${{name}}"


my_data = DataImport(
    type="mltable", source=source, path=path, name="my_schedule_sfds_test"
)

schedule_name = "my_simple_sdk_create_schedule_recurrence"

schedule_start_time = datetime.utcnow()

recurrence_trigger = RecurrenceTrigger(
    frequency="day",
    interval=1,
    schedule=RecurrencePattern(hours=1, minutes=[0, 1]),
    start_time=schedule_start_time,
    time_zone=TimeZone.UTC,
)

import_schedule = ImportDataSchedule(
    name=schedule_name, trigger=recurrence_trigger, import_data=my_data
)

ml_client.schedules.begin_create_or_update(import_schedule).result()

RecurrenceTrigger contém as seguintes propriedades:

• (Obrigatório) Para uma melhor experiência de codificação, use RecurrenceTrigger para o cronograma de recorrência.

Estúdio

Quando a importação de dados tiver desempenho e saídas satisfatórios, você poderá configurar um agendamento para acionar automaticamente essa importação.

1. Navegue até o estúdio do Azure Machine Learning

2. Em Ativos na navegação à esquerda, selecione Dados. Na guia Importação de dados, selecione o ativo de dados importado ao qual você deseja anexar uma agenda. A página Importar histórico de trabalhos deve aparecer, conforme mostrado nesta captura de tela:

   

3. Na página Importar histórico de trabalhos, selecione a URL de hiperlink mais recente do nome do trabalho de importação para abrir a página de detalhes do trabalho de pipelines, conforme mostrado nesta captura de tela:

   

4. Na página de detalhes do trabalho de pipeline de qualquer importação de dados, selecione Agendar ->Criar nova agenda para abrir o assistente de criação de agendamento, conforme mostrado nesta captura de tela:

   

5. As configurações básicas do assistente de criação de agendamento têm as propriedades mostradas nesta captura de tela:

   

• Nome: o identificador exclusivo da agenda dentro do espaço de trabalho.

• Descrição: a descrição do cronograma.

• Gatilho: o padrão de recorrência da programação, que inclui estas propriedades:

  • Fuso horário: o cálculo da hora do gatilho é baseado neste fuso horário; (UTC) Tempo Universal Coordenado por padrão.
  • Recorrência ou expressão Cron: selecione recorrência para especificar o padrão recorrente. Em Recorrência, você pode especificar a frequência de recorrência - por minutos, horas, dias, semanas ou meses.
  • Início: o horário fica ativo pela primeira vez nesta data. Por padrão, a data de criação dessa agenda.
  • Fim: o horário ficará inativo após esta data. Por padrão, é NONE, o que significa que o agendamento permanece ativo até que você o desative manualmente.
  • Tags: as tags de programação selecionadas.

  Depois de definir as configurações básicas, você pode selecionar Revisar + Criar e o agendamento enviará automaticamente a importação de dados com base no padrão de recorrência especificado. Você também pode selecionar Avançar e navegar pelo assistente para selecionar ou atualizar os parâmetros de importação de dados.

Nota

Estas propriedades se aplicam à CLI e ao SDK:

• (Obrigatório) frequency Especifica a unidade de tempo que descreve a frequência com que a agenda é acionada. Pode ter valores

  • minute
  • hour
  • day
  • week
  • month

• (Obrigatório) interval Especifica a frequência com que a agenda é acionada com base na frequência, que é o número de unidades de tempo a aguardar até que a agenda seja acionada novamente.

• (Opcional) schedule define o padrão de recorrência, contendo hours, minutese weekdays.

  • Quando frequency igual daya , um padrão pode especificar hours e minutes.
  • Quando frequency igual week e month, um padrão pode especificar hours, minutes e weekdays.
  • hours deve ser um número inteiro ou uma lista, variando entre 0 e 23.
  • minutes deve ser um número inteiro ou uma lista, variando entre 0 e 59.
  • weekdays uma cadeia de caracteres ou lista que varia de monday até sunday.
  • Se schedule for omitido, o(s) trabalho(s) dispara(m) de acordo com a lógica de start_time, frequency e interval.

• (Opcional) start_time Descreve a data e hora de início, com um fuso horário. Se start_time for omitido, start_time é igual ao tempo de criação de emprego. Para uma hora de início no passado, o primeiro trabalho é executado no próximo tempo de execução calculado.

• (Opcional) end_time Descreve a data e hora de término com um fuso horário. Se end_time for omitido, o agendamento continuará a disparar trabalhos até que o agendamento seja desativado manualmente.

• (Opcional) time_zone Especifica o fuso horário da recorrência. Se omitido, o fuso horário padrão é UTC. Para obter mais informações sobre valores de fuso horário, visite o apêndice para valores de fuso horário.

Criar um horário baseado no tempo com expressão cron

CLI do Azure

YAML: Agendar uma importação de dados com expressão cron

APLICA-SE A: Azure CLI ml extension v2 (atual)

YAML: Agendamento para importação de dados com expressão cron (visualização)

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: simple_cron_import_schedule
display_name: Simple cron import schedule
description: a simple hourly cron import schedule

trigger:
  type: cron
  expression: "0 * * * *"
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data: ./my-snowflake-import-data.yaml

YAML: Agendamento para definição de importação de dados em linha com expressão cron (visualização)

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: inline_cron_import_schedule
display_name: Inline cron import schedule
description: an inline hourly cron import schedule

trigger:
  type: cron
  expression: "0 * * * *"
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data:
  type: mltable
  name: my_snowflake_ds
  path: azureml://datastores/workspaceblobstore/paths/snowflake/${{name}}
  source:
    type: database
    query: select * from TPCH_SF1.REGION
    connection: azureml:my_snowflake_connection

A trigger seção define os detalhes da agenda e contém estas propriedades:

• (Obrigatório) type Especifica o tipo de cron agenda.

> az ml schedule create -f <file-name>.yml

A lista continua aqui:

Python SDK

APLICA-SE A: Python SDK azure-ai-ml v2 (atual)

from azure.ai.ml.data_transfer import Database
from azure.ai.ml.constants import TimeZone
from azure.ai.ml.entities import CronTrigger, ImportDataSchedule

source = Database(connection="azureml:my_sf_connection", query="select * from my_table")

path = "azureml://datastores/workspaceblobstore/paths/snowflake/schedule/${{name}}"


my_data = DataImport(
    type="mltable", source=source, path=path, name="my_schedule_sfds_test"
)

schedule_name = "my_simple_sdk_create_schedule_cron"

cron_trigger = CronTrigger(
    expression="15 10 * * 1",
    start_time=datetime.utcnow(),
    end_time="2023-12-03T18:40:00",
)
import_schedule = ImportDataSchedule(
    name=schedule_name, trigger=cron_trigger, import_data=my_data
)
ml_client.schedules.begin_create_or_update(import_schedule).result()

A CronTrigger seção define os detalhes da agenda e contém estas propriedades:

• (Obrigatório) Para uma melhor experiência de codificação, use CronTrigger para o cronograma de recorrência.

A lista continua aqui:

Estúdio

Quando a importação de dados tiver desempenho e saídas satisfatórios, você poderá configurar um agendamento para acionar automaticamente essa importação.

1. Navegue até o estúdio do Azure Machine Learning

2. Em Ativos na navegação à esquerda, selecione Dados. Na guia Importação de dados, selecione o ativo de dados importado ao qual você deseja anexar uma agenda. A página Importar histórico de trabalhos deve aparecer, conforme mostrado nesta captura de tela:

   

3. Na página Importar histórico de trabalhos, selecione a URL de hiperlink mais recente do nome do trabalho de importação para abrir a página de detalhes do trabalho de pipelines, conforme mostrado nesta captura de tela:

   

4. Na página de detalhes do trabalho de pipeline de qualquer importação de dados, selecione Agendar ->Criar nova agenda para abrir o assistente de criação de agendamento, conforme mostrado nesta captura de tela:

   

5. As configurações básicas do assistente de criação de agendamento têm as propriedades mostradas nesta captura de tela:

   

• Nome: o identificador exclusivo da agenda dentro do espaço de trabalho.

• Descrição: a descrição do cronograma.

• Gatilho: o padrão de recorrência da programação, que inclui estas propriedades:

  • Fuso horário: o cálculo da hora do gatilho é baseado neste fuso horário; (UTC) Tempo Universal Coordenado por padrão.
  • Recorrência ou expressão Cron: selecione recorrência para especificar o padrão recorrente. Com a expressão Cron, você pode especificar um padrão de recorrência mais flexível e personalizado.
  • Início: o horário fica ativo pela primeira vez nesta data. Por padrão, a data de criação dessa agenda.
  • Fim: o horário ficará inativo após esta data. Por padrão, é NONE, o que significa que o agendamento permanece ativo até que você o desative manualmente.
  • Tags: as tags de programação selecionadas.

  Depois de definir as configurações básicas, você pode selecionar Revisar + Criar e o agendamento enviará automaticamente a importação de dados com base no padrão de recorrência especificado. Você também pode selecionar Avançar e navegar pelo assistente para selecionar ou atualizar os parâmetros de importação de dados.

• (Obrigatório) expression Usa uma expressão crontab padrão para expressar uma agenda recorrente. Uma única expressão é composta por cinco campos delimitados por espaço:

  MINUTES HOURS DAYS MONTHS DAYS-OF-WEEK

  • Um único curinga (*), que abrange todos os valores do campo. A *, em dias, significa todos os dias de um mês (que varia com o mês e o ano).

  • O expression: "15 16 * * 1" na amostra acima significa as 16h15 de todas as segundas-feiras.

  • Esta tabela lista os valores válidos para cada campo:

    Campo	Intervalo	Comentário
    MINUTES	0-59	-
    HOURS	0-23	-
    DAYS	-	Não suportado. O valor é ignorado e tratado como *.
    MONTHS	-	Não suportado. O valor é ignorado e tratado como *.
    DAYS-OF-WEEK	0-6	Zero (0) significa domingo. Nomes de dias também aceitos.

  • Para obter mais informações sobre expressões crontab, visite o recurso wiki Crontab Expression no GitHub.

  Importante

  DAYS e MONTH não são suportados. Se você passar um desses valores, ele será ignorado e tratado como *.

• (Opcional) start_time Especifica a data e hora de início com o fuso horário da agenda. Por exemplo, start_time: "2022-05-10T10:15:00-04:00" significa que o horário começa a partir das 10:15:00 em 2022-05-10 no fuso horário UTC-4. Se start_time for omitido, o start_time é igual ao tempo de criação do agendamento. Para uma hora de início no passado, o primeiro trabalho é executado no próximo tempo de execução calculado.

• (Opcional) end_time Descreve a data de término e a hora com um fuso horário. Se end_time for omitido, o agendamento continuará a disparar trabalhos até que o agendamento seja desativado manualmente.

• (Opcional) time_zoneEspecifica o fuso horário da expressão. Se time_zone for omitido, o fuso horário será UTC por padrão. Para obter mais informações sobre valores de fuso horário, visite o apêndice para valores de fuso horário.

Limitações:

• Atualmente, o agendamento do Azure Machine Learning v2 não oferece suporte a gatilhos baseados em eventos.
• Use o SDK do Azure Machine Learning/CLI v2 para especificar um padrão de recorrência complexo que contenha vários carimbos de data/hora de gatilho. A interface do usuário exibe apenas o padrão complexo e não oferece suporte à edição.
• Se você definir a recorrência como o 31º dia de cada mês, o cronograma não acionará trabalhos em meses com menos de 31 dias.

Listar agendas em um espaço de trabalho

CLI do Azure

APLICA-SE A: Azure CLI ml extension v2 (atual)

az ml schedule list

Python SDK

APLICA-SE A: Python SDK azure-ai-ml v2 (atual)

schedules = ml_client.schedules.list()
[s.name for s in schedules]

Estúdio

No portal do estúdio, na extensão Trabalhos , selecione a guia Todas as agendas . Essa guia mostra todas as suas agendas de trabalho criadas pelo SDK/cli/UI, em uma única lista. Na lista de agendas, você tem uma visão geral de todas as agendas neste espaço de trabalho, conforme mostrado nesta captura de tela:

Confira detalhes do cronograma

CLI do Azure

APLICA-SE A: Azure CLI ml extension v2 (atual)

az ml schedule show -n simple_cron_data_import_schedule

Python SDK

APLICA-SE A: Python SDK azure-ai-ml v2 (atual)

created_schedule = ml_client.schedules.get(name=schedule_name)
[created_schedule.name]

Estúdio

Você pode selecionar um nome de agenda para mostrar a página de detalhes da agenda. A página de detalhes da agenda contém as seguintes guias, conforme mostrado nesta captura de tela:

• Visão geral: informações básicas para o cronograma especificado.

  

• Definição de trabalho: define o trabalho que a agenda especificada aciona, conforme mostrado nesta captura de tela:

  

Atualizar uma agenda

CLI do Azure

APLICA-SE A: Azure CLI ml extension v2 (atual)

az ml schedule update -n simple_cron_data_import_schedule  --set description="new description" --no-wait

Nota

Para atualizar mais do que apenas tags/descrição, recomendamos o uso de az ml schedule create --file update_schedule.yml

Python SDK

APLICA-SE A: Python SDK azure-ai-ml v2 (atual)

job_schedule = ml_client.schedules.begin_create_or_update(
    schedule=job_schedule
).result()
print(job_schedule)

Estúdio

Atualizar uma definição de importação de dados para a agenda existente

Para alterar a frequência de importação ou criar uma nova associação para o trabalho de importação de dados, você pode atualizar a definição de importação de uma agenda existente.

Nota

Para atualizar uma agenda existente, a associação da agenda com a definição de importação antiga será removida. Uma agenda pode ter apenas uma definição de trabalho de importação. No entanto, várias agendas podem chamar uma definição de importação de dados.

1. Navegue até o estúdio do Azure Machine Learning

2. Em Ativos na navegação à esquerda, selecione Dados. Na guia Importação de dados, selecione o ativo de dados importado ao qual você deseja anexar uma agenda. A página Importar histórico de trabalhos deve aparecer, conforme mostrado nesta captura de tela:

   

3. Na página Importar histórico de trabalhos, selecione o link Importar nome do trabalho mais recente para abrir a página de detalhes do trabalho de pipelines, conforme mostrado nesta captura de tela:

   

4. Na página de detalhes do trabalho de pipeline de qualquer importação de dados, selecione Agendar ->Atualizado para agendamento existente para abrir o assistente Selecionar agendamento, conforme mostrado nesta captura de tela:

   

5. Selecione uma agenda existente na lista, conforme mostrado nesta captura de tela:

   

   Importante

   Certifique-se de selecionar o agendamento correto para atualizar. Depois de concluir a atualização, o agendamento acionará diferentes importações de dados.

6. Você também pode modificar a origem, consultar e alterar o caminho de destino para futuras importações de dados acionadas pela agenda.

7. Selecione Rever + Atualizar para concluir o processo de atualização. A atualização concluída enviará uma notificação.

8. Você pode exibir a nova definição de importação de dados na página de detalhes da agenda quando a atualização for concluída.

Atualizar na página de detalhes do cronograma

Na página de detalhes da agenda, você pode selecionar Atualizar configurações para atualizar as configurações básicas e as configurações avançadas, incluindo as configurações de entrada/saída do trabalho e de tempo de execução da agenda, conforme mostrado nesta captura de tela:

Desativar uma agenda

CLI do Azure

APLICA-SE A: Azure CLI ml extension v2 (atual)

az ml schedule disable -n simple_cron_data_import_schedule --no-wait

Python SDK

job_schedule = ml_client.schedules.begin_disable(name=schedule_name).result()
job_schedule.is_enabled

Estúdio

Você pode desativar a agenda atual na página de detalhes da agenda. Você também pode desativar agendas na guia Todas as agendas .

Ativar uma agenda

CLI do Azure

APLICA-SE A: Azure CLI ml extension v2 (atual)

az ml schedule enable -n simple_cron_data_import_schedule --no-wait

Python SDK

APLICA-SE A: Python SDK azure-ai-ml v2 (atual)

# Update trigger expression
job_schedule.trigger.expression = "10 10 * * 1"
job_schedule = ml_client.schedules.begin_create_or_update(
    schedule=job_schedule
).result()
print(job_schedule)

Estúdio

Na página de detalhes da agenda, você pode habilitar a agenda atual. Você também pode habilitar agendamentos na guia Todas as agendas .

Eliminar uma agenda

Importante

Uma agenda deve ser desativada antes da exclusão. A eliminação é uma ação permanente e irrecuperável. Depois que uma agenda é excluída, você nunca poderá acessá-la ou recuperá-la.

CLI do Azure

APLICA-SE A: Azure CLI ml extension v2 (atual)

az ml schedule delete -n simple_cron_data_import_schedule

Python SDK

APLICA-SE A: Python SDK azure-ai-ml v2 (atual)

# Only disabled schedules can be deleted
ml_client.schedules.begin_disable(name=schedule_name).result()
ml_client.schedules.begin_delete(name=schedule_name).result()

Estúdio

Você pode excluir uma agenda da página de detalhes da agenda ou da guia todas as agendas.

Suporte a RBAC (controle de acesso baseado em função)

Os horários são geralmente usados para a produção. Para evitar problemas, os administradores do espaço de trabalho podem querer restringir as permissões de criação e gerenciamento de agendamento dentro de um espaço de trabalho.

Atualmente, há três regras de ação relacionadas a agendas e você pode configurá-las no portal do Azure. Para obter mais informações, visite como gerenciar o acesso a um espaço de trabalho do Azure Machine Learning..

Ação	Descrição	Regra
Lida	Obter e listar agendas no espaço de trabalho do Aprendizado de Máquina	Microsoft.MachineLearningServices/workspaces/schedules/read
Escrita	Criar, atualizar, desabilitar e habilitar agendas no espaço de trabalho do Aprendizado de Máquina	Microsoft.MachineLearningServices/workspaces/schedules/write
Delete	Excluir uma agenda no espaço de trabalho do Aprendizado de Máquina	Microsoft.MachineLearningServices/workspaces/schedules/delete

Próximos passos

• Saiba mais sobre o esquema YAML do agendamento de importação de dados da CLI (v2).
• Saiba como gerenciar ativos de dados importados.