Programación de trabajos de importación de datos (versión preliminar)

SE APLICA A:Extensión ML de la CLI de Azure v2 (actual)SDK de Python azure-ai-ml v2 (actual)

En este artículo, aprenderá a programar mediante código importaciones de datos, usando la interfaz de usuario de programación para hacerlo. Puede crear una programación basada en el tiempo transcurrido. Las programaciones basadas en tiempo pueden controlar tareas rutinarias, como las importaciones de datos normales para mantenerlas actualizadas. Después de aprender a crear programaciones, aprenderá a recuperarlas y a actualizarlas y desactivarlas mediante los recursos de la CLI, el SDK y la interfaz de usuario de Studio.

Requisitos previos

• Debe tener una suscripción a Azure para usar Azure Machine Learning. Si no tiene una suscripción de Azure, cree una cuenta gratuita antes de empezar. Pruebe hoy mismo la versión gratuita o de pago de Azure Machine Learning.

CLI de Azure

• Instale la CLI de Azure y la extensión ml. Siga los pasos de instalación de Instalación, configuración y uso de la CLI (v2).

• Cree un área de trabajo de Azure Machine Learning si aún no tiene una. Para la creación del área de trabajo, consulte Instalación, configuración y uso de la CLI (v2).

SDK de Python

• Cree un área de trabajo de Azure Machine Learning si aún no tiene una.
• El SDK de Azure Machine Learning v2 para Python.

Estudio

• Un área de trabajo de Azure Machine Learning. Consulte Creación de recursos del área de trabajo.
• Descripción de las canalizaciones de Azure Machine Learning. Consulte qué son las canalizaciones de aprendizaje automático y cómo crear un trabajo de canalización en la CLI v2 o el SDK v2.

Programación de la importación de datos

Para importar datos de forma periódica, debe crear una programación. Una Schedule asocia una acción de importación de datos con un desencadenador. El desencadenador puede ser un cron, que usa una expresión de cron para describir el retraso entre ejecuciones, o una recurrence, que especifica con qué frecuencia se va a desencadenar un trabajo. En cada caso, primero debe crear una definición de datos de importación. Para ello, puede emplear una importación de datos existente o una importación de datos definida en línea. Para obtener más información, visite Creación de una importación de datos en la CLI, el SDK y la interfaz de usuario.

Crear una programación

Creación de una programación basada en tiempo con el patrón de periodicidad

CLI de Azure

SE APLICA A: Extensión de ML de la CLI de Azure v2 (actual)

YAML: programación de una importación de datos con patrón de periodicidad

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: simple_recurrence_import_schedule
display_name: Simple recurrence import schedule
description: a simple hourly recurrence import schedule

trigger:
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 #every day
  schedule:
    hours: [4,5,10,11,12]
    minutes: [0,30]
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data: ./my-snowflake-import-data.yaml

YAML: programación de la definición de importación de datos alineada con el patrón de periodicidad en el almacén de datos administrado

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: inline_recurrence_import_schedule
display_name: Inline recurrence import schedule
description: an inline hourly recurrence import schedule

trigger:
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 #every day
  schedule:
    hours: [4,5,10,11,12]
    minutes: [0,30]
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data:
  type: mltable
  name: my_snowflake_ds
  path: azureml://datastores/workspacemanagedstore
  source:
    type: database
    query: select * from TPCH_SF1.REGION
    connection: azureml:my_snowflake_connection

Un trigger contiene estas propiedades:

• (Obligatorio)type especifica que el tipo de programación, ya sea recurrence o cron. La siguiente sección contiene más información.

Después, ejecute este comando en la CLI:

> az ml schedule create -f <file-name>.yml

SDK de Python

SE APLICA A: SDK de Python azure-ai-ml v2 (actual)

from azure.ai.ml.data_transfer import Database
from azure.ai.ml.constants import TimeZone
from azure.ai.ml.entities import (
    ImportDataSchedule,
    RecurrenceTrigger,
    RecurrencePattern,
)
from datetime import datetime

source = Database(connection="azureml:my_sf_connection", query="select * from my_table")

path = "azureml://datastores/workspaceblobstore/paths/snowflake/schedule/${{name}}"


my_data = DataImport(
    type="mltable", source=source, path=path, name="my_schedule_sfds_test"
)

schedule_name = "my_simple_sdk_create_schedule_recurrence"

schedule_start_time = datetime.utcnow()

recurrence_trigger = RecurrenceTrigger(
    frequency="day",
    interval=1,
    schedule=RecurrencePattern(hours=1, minutes=[0, 1]),
    start_time=schedule_start_time,
    time_zone=TimeZone.UTC,
)

import_schedule = ImportDataSchedule(
    name=schedule_name, trigger=recurrence_trigger, import_data=my_data
)

ml_client.schedules.begin_create_or_update(import_schedule).result()

RecurrenceTrigger contiene las siguientes propiedades:

• (Obligatorio) Para una mejor experiencia de codificación, se usa RecurrenceTrigger para la programación de periodicidad.

Estudio

Si la importación de datos tiene un rendimiento y unos resultados satisfactorios, puede configurar una programación para desencadenar automáticamente la importación.

1. Vaya a Estudio de Azure Machine Learning.

2. En Recursos en el panel de navegación izquierdo, seleccione Datos. En la pestaña Importación de datos, seleccione el recurso de datos importado al que desea adjuntar una programación. Debería aparecer la página Historial de trabajos de importación, como se muestra en esta captura de pantalla:

   

3. En la página Historial de trabajos de importación, seleccione la dirección URL de hipervínculo Nombre del trabajo de importación más reciente para abrir la página de detalles del trabajo de canalizaciones, como se muestra en esta captura de pantalla:

   

4. En la página de detalles del trabajo de canalización de cualquier importación de datos, seleccione Programar ->Crear nueva programación para abrir el asistente para la creación de programaciones, como se muestra en esta captura de pantalla:

   

5. La configuración básica del asistente para la creación de programaciones tiene las propiedades que se muestran en esta captura de pantalla:

   

• Name: identificador único de la programación dentro del área de trabajo.

• Descripción: la descripción de la programación.

• Desencadenador: el patrón de periodicidad de la programación, que incluye las siguientes propiedades:

  • Zona horaria: el cálculo de la hora del desencadenador se basa en esta zona horaria; hora universal coordinada (UTC) de manera predeterminada.
  • Recurrence o Cron expression: seleccione Periodicidad para especificar el patrón periódico. En Periodicidad, puede especificar la frecuencia de periodicidad: por minutos, horas, días, semanas o meses.
  • Inicio: la programación se activa primero en esta fecha. De manera predeterminada, la fecha de creación de esta programación.
  • Fin: la programación quedará inactiva después de esta fecha. De forma predeterminada, es NONE, lo que significa que la programación permanece activa hasta que la deshabilite manualmente.
  • Etiquetas: las etiquetas de programación seleccionadas.

  Después de configurar los valores básicos, puede seleccionar Revisar y crear y la programación enviará automáticamente la importación de datos según el patrón de periodicidad especificado. También puede seleccionar Siguiente y navegar por el asistente para seleccionar o actualizar los parámetros de importación de datos.

Nota

Estas propiedades se aplican a la CLI y al SDK:

• (Obligatorio)frequency especifica la unidad de tiempo que describe la frecuencia con la que se activa la programación. Puede tener valores

  • minute
  • hour
  • day
  • week
  • month

• (Obligatorio)interval especifica cada cuánto tiempo se activa la programación según la frecuencia, que es el número de unidades de tiempo que hay que esperar hasta que la programación se active de nuevo.

• (Opcional) schedule define el patrón de periodicidad, que contiene hours, minutes y weekdays.

  • Cuando frequency es igual a day, un patrón puede especificar hours y minutes.
  • Cuando frequency es igual a week y month, un patrón puede especificar hours, minutes y weekdays.
  • hours debe ser un entero o una lista, desde 0 hasta 23.
  • minutes debe ser un entero o una lista, desde 0 hasta 59.
  • weekdays, una cadena o una lista de monday a sunday.
  • Si schedule se omite, los trabajos se desencadenan según la lógica de start_time, frequency y interval.

• (Opcional) start_time describe la fecha y hora de inicio con una zona horaria. Si start_time se omite, start_time es igual al tiempo de creación del trabajo. En el caso de una hora de inicio del pasado, el primer trabajo se ejecuta en el siguiente tiempo de ejecución calculado.

• (Opcional) end_time describe la fecha y hora de finalización con una zona horaria. Si end_time se omite, la programación continúa desencadenando trabajos hasta que la programación se deshabilite manualmente.

• (Opcional) time_zone especifica la zona horaria de la periodicidad. Si se omite, la zona horaria predeterminada es UTC. Para obtener más información sobre los valores de zona horaria, vaya al apéndice de los valores de zona horaria.

Creación de una programación basada en tiempo con la expresión cron

CLI de Azure

YAML: programación de una importación de datos con la expresión cron

SE APLICA A: Extensión de ML de la CLI de Azure v2 (actual)

YAML: programación de la importación de datos con la expresión cron (versión preliminar)

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: simple_cron_import_schedule
display_name: Simple cron import schedule
description: a simple hourly cron import schedule

trigger:
  type: cron
  expression: "0 * * * *"
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data: ./my-snowflake-import-data.yaml

YAML: programación de la definición de importación de datos insertada con la expresión cron (versión preliminar)

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: inline_cron_import_schedule
display_name: Inline cron import schedule
description: an inline hourly cron import schedule

trigger:
  type: cron
  expression: "0 * * * *"
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data:
  type: mltable
  name: my_snowflake_ds
  path: azureml://datastores/workspaceblobstore/paths/snowflake/${{name}}
  source:
    type: database
    query: select * from TPCH_SF1.REGION
    connection: azureml:my_snowflake_connection

La sección trigger define los detalles de la programación y contiene las siguientes propiedades:

• (Obligatorio)type especifica el tipo de programación cron.

> az ml schedule create -f <file-name>.yml

La lista continúa aquí:

SDK de Python

SE APLICA A: SDK de Python azure-ai-ml v2 (actual)

from azure.ai.ml.data_transfer import Database
from azure.ai.ml.constants import TimeZone
from azure.ai.ml.entities import CronTrigger, ImportDataSchedule

source = Database(connection="azureml:my_sf_connection", query="select * from my_table")

path = "azureml://datastores/workspaceblobstore/paths/snowflake/schedule/${{name}}"


my_data = DataImport(
    type="mltable", source=source, path=path, name="my_schedule_sfds_test"
)

schedule_name = "my_simple_sdk_create_schedule_cron"

cron_trigger = CronTrigger(
    expression="15 10 * * 1",
    start_time=datetime.utcnow(),
    end_time="2023-12-03T18:40:00",
)
import_schedule = ImportDataSchedule(
    name=schedule_name, trigger=cron_trigger, import_data=my_data
)
ml_client.schedules.begin_create_or_update(import_schedule).result()

La sección CronTrigger define los detalles de la programación y contiene las siguientes propiedades:

• (Obligatorio) Para una mejor experiencia de codificación, se usa CronTrigger para la programación de periodicidad.

La lista continúa aquí:

Estudio

Si la importación de datos tiene un rendimiento y unos resultados satisfactorios, puede configurar una programación para desencadenar automáticamente la importación.

1. Vaya a Estudio de Azure Machine Learning.

2. En Recursos en el panel de navegación izquierdo, seleccione Datos. En la pestaña Importación de datos, seleccione el recurso de datos importado al que desea adjuntar una programación. Debería aparecer la página Historial de trabajos de importación, como se muestra en esta captura de pantalla:

   

3. En la página Historial de trabajos de importación, seleccione la dirección URL de hipervínculo Nombre del trabajo de importación más reciente para abrir la página de detalles del trabajo de canalizaciones, como se muestra en esta captura de pantalla:

   

4. En la página de detalles del trabajo de canalización de cualquier importación de datos, seleccione Programar ->Crear nueva programación para abrir el asistente para la creación de programaciones, como se muestra en esta captura de pantalla:

   

5. La configuración básica del asistente para la creación de programaciones tiene las propiedades que se muestran en esta captura de pantalla:

   

• Name: identificador único de la programación dentro del área de trabajo.

• Descripción: la descripción de la programación.

• Desencadenador: el patrón de periodicidad de la programación, que incluye las siguientes propiedades:

  • Zona horaria: el cálculo de la hora del desencadenador se basa en esta zona horaria; hora universal coordinada (UTC) de manera predeterminada.
  • Recurrence o Cron expression: seleccione Periodicidad para especificar el patrón periódico. Expresión Cron le permite especificar un patrón de periodicidad más flexible y personalizado.
  • Inicio: la programación se activa primero en esta fecha. De manera predeterminada, la fecha de creación de esta programación.
  • Fin: la programación quedará inactiva después de esta fecha. De forma predeterminada, es NONE, lo que significa que la programación permanece activa hasta que la deshabilite manualmente.
  • Etiquetas: las etiquetas de programación seleccionadas.

  Después de configurar los valores básicos, puede seleccionar Revisar y crear y la programación enviará automáticamente la importación de datos según el patrón de periodicidad especificado. También puede seleccionar Siguiente y navegar por el asistente para seleccionar o actualizar los parámetros de importación de datos.

• (Obligatorio)expression usa una expresión crontab estándar para expresar una programación periódica. Una sola expresión se compone de cinco campos delimitados por espacios:

  MINUTES HOURS DAYS MONTHS DAYS-OF-WEEK

  • Un solo carácter comodín (*), que cubre todos los valores del campo. Un *, en días, se refiere a todos los días de un mes (que varía con el mes y el año).

  • El expression: "15 16 * * 1" del ejemplo anterior se refiere a las 16:15 todos los lunes.

  • Esta tabla enumera los valores válidos para cada campo:

    Campo	Intervalo	Comentario
    MINUTES	0-59	-
    HOURS	0-23	-
    DAYS	-	No se admite. El valor se ignora y se trata como *.
    MONTHS	-	No compatible. El valor se ignora y se trata como *.
    DAYS-OF-WEEK	0-6	Cero (0) significa domingo. También se aceptan nombres de días.

  • Para más información sobre las expresiones crontab, visite el Recurso de wiki de la expresión crontab en GitHub.

  Importante

  No se admiten DAYS ni MONTH. Si pasa uno de estos valores, se omitirá y se tratará como *.

• (Opcional) start_time especifica la fecha y hora de inicio con la zona horaria de la programación. Por ejemplo, start_time: "2022-05-10T10:15:00-04:00" significa que la programación comienza desde las 10:15:00AM del 10-05-2022 en la zona horaria UTC-4. Si start_time se omite, start_time es igual a la hora de creación de la programación. En el caso de una hora de inicio del pasado, el primer trabajo se ejecuta en el siguiente tiempo de ejecución calculado.

• (Opcional) end_time describe la fecha y hora de finalización con zona horaria. Si end_time se omite, la programación continúa desencadenando trabajos hasta que la programación se deshabilite manualmente.

• (Opcional) time_zone especifica la zona horaria de la expresión. Si se omite time_zone, la zona horaria es UTC de forma predeterminada. Para obtener más información sobre los valores de zona horaria, vaya al apéndice de los valores de zona horaria.

Limitaciones:

• Actualmente, la programación de Azure Machine Learning v2 no admite los desencadenadores basados en eventos.
• Use el SDK o la CLI de Azure Machine Learning v2 para especificar un patrón de periodicidad complejo que contenga varias marcas de tiempo de desencadenador. La interfaz de usuario solo muestra el patrón complejo y no admite la edición.
• Si establece la periodicidad en el día 31 de cada mes, la programación no desencadenará trabajos en meses con menos de 31 días.

Enumeración de programaciones en un área de trabajo

CLI de Azure

SE APLICA A: Extensión de ML de la CLI de Azure v2 (actual)

az ml schedule list

SDK de Python

SE APLICA A: SDK de Python azure-ai-ml v2 (actual)

schedules = ml_client.schedules.list()
[s.name for s in schedules]

Estudio

En el portal de Studio, en la extensión Trabajos, seleccione la pestaña Todas las programaciones. En esa pestaña se muestran todas las programaciones de trabajo creadas por el SDK/cli/UI, en una sola lista. En la lista de programaciones, tiene información general de todas las programaciones de esta área de trabajo, como se muestra en esta captura de pantalla:

Comprobación de detalles de programación

CLI de Azure

SE APLICA A: Extensión de ML de la CLI de Azure v2 (actual)

az ml schedule show -n simple_cron_data_import_schedule

SDK de Python

SE APLICA A: SDK de Python azure-ai-ml v2 (actual)

created_schedule = ml_client.schedules.get(name=schedule_name)
[created_schedule.name]

Estudio

Puede seleccionar un nombre de programación para mostrar la página de detalles de la programación. La página de detalles de la programación contiene las pestañas siguientes, como se muestra en esta captura de pantalla:

• Información general: información básica para la programación especificada.

  

• Definición del trabajo: define el trabajo que desencadena la programación especificada, como se muestra en esta captura de pantalla:

  

Actualización de una programación

CLI de Azure

SE APLICA A: Extensión de ML de la CLI de Azure v2 (actual)

az ml schedule update -n simple_cron_data_import_schedule  --set description="new description" --no-wait

Nota:

Para actualizar algo más que solo etiquetas o descripciones, se recomienda usar az ml schedule create --file update_schedule.yml

SDK de Python

SE APLICA A: SDK de Python azure-ai-ml v2 (actual)

job_schedule = ml_client.schedules.begin_create_or_update(
    schedule=job_schedule
).result()
print(job_schedule)

Estudio

Actualización de una definición de importación de datos a una programación existente

Para cambiar la frecuencia de importación o para crear una nueva asociación para el trabajo de importación de datos, puede actualizar la definición de importación de una programación existente.

Nota

Para actualizar una programación existente, se quitará la asociación de la programación con la definición de importación anterior. Una programación solo puede tener una definición de trabajo de importación. Sin embargo, varias programaciones pueden llamar a una definición de importación de datos.

1. Vaya a Estudio de Azure Machine Learning.

2. En Recursos en el panel de navegación izquierdo, seleccione Datos. En la pestaña Importación de datos, seleccione el recurso de datos importado al que desea adjuntar una programación. Debería aparecer la página Historial de trabajos de importación, como se muestra en esta captura de pantalla:

   

3. En la página Historial de trabajos de importación, seleccione el vínculo Nombre del trabajo de importación más reciente para abrir la página de detalles del trabajo de canalizaciones, como se muestra en esta captura de pantalla:

   

4. En la página de detalles del trabajo de canalización de cualquier importación de datos, seleccione Programar ->Actualizado a programación existente para abrir el asistente para seleccionar programación, como se muestra en esta captura de pantalla:

   

5. Seleccione una programación existente de la lista, como se muestra en esta captura de pantalla:

   

   Importante

   Asegúrese de seleccionar la programación correcta por actualizar. Una vez finalizada la actualización, la programación desencadenará importaciones de datos diferentes.

6. También puede modificar el origen, consultar y cambiar la ruta de acceso de destino para futuras importaciones de datos que desencadena la programación.

7. Seleccione Review + Create para finalizar el proceso de actualización. La actualización completada enviará una notificación.

8. Puede ver la nueva definición de importación de datos en la página de detalles de programación cuando se completa la actualización.

Actualización en la página de detalles de la programación

En la página de detalles de la programación, puede seleccionar Actualizar configuración para actualizar la configuración básica y la configuración avanzada (incluida la entrada y salida de trabajos y la configuración en tiempo de ejecución) de la programación, como se muestra en esta captura de pantalla:

Deshabilitación de una programación

CLI de Azure

SE APLICA A: Extensión de ML de la CLI de Azure v2 (actual)

az ml schedule disable -n simple_cron_data_import_schedule --no-wait

SDK de Python

job_schedule = ml_client.schedules.begin_disable(name=schedule_name).result()
job_schedule.is_enabled

Estudio

Puede deshabilitar la programación actual en la página de detalles de la programación. También puede deshabilitar las programaciones en la pestaña Todas las programaciones.

Habilitación de una programación

CLI de Azure

SE APLICA A: Extensión de ML de la CLI de Azure v2 (actual)

az ml schedule enable -n simple_cron_data_import_schedule --no-wait

SDK de Python

SE APLICA A: SDK de Python azure-ai-ml v2 (actual)

# Update trigger expression
job_schedule.trigger.expression = "10 10 * * 1"
job_schedule = ml_client.schedules.begin_create_or_update(
    schedule=job_schedule
).result()
print(job_schedule)

Estudio

En la página de detalles de la programación, puede habilitar la programación actual. También puede habilitar programaciones en la pestaña Todas las programaciones.

Eliminación de una programación

Importante

Se debe deshabilitar una programación antes de la eliminación. La acción de eliminar es permanente e irrecuperable. Después de eliminar una programación, nunca podrá acceder a ella ni recuperarla.

CLI de Azure

SE APLICA A: Extensión de ML de la CLI de Azure v2 (actual)

az ml schedule delete -n simple_cron_data_import_schedule

SDK de Python

SE APLICA A: SDK de Python azure-ai-ml v2 (actual)

# Only disabled schedules can be deleted
ml_client.schedules.begin_disable(name=schedule_name).result()
ml_client.schedules.begin_delete(name=schedule_name).result()

Estudio

Puede eliminar una programación desde la página de detalles de la programación o desde la pestaña "Todas las programaciones".

Compatibilidad con RBAC (control de acceso basado en rol)

Las programaciones se suelen usar para escenarios de producción. Para evitar problemas, es posible que los administradores del área de trabajo quieran restringir los permisos de creación y administración de programaciones dentro de un área de trabajo.

Actualmente hay tres reglas de acción relacionadas con las programaciones y puede configurarlas en Azure Portal. Para obtener más información, vaya a Administración del acceso a un área de trabajo de Azure Machine Learning.

Acción	Descripción	Regla
Lectura	Obtener y enumerar programaciones en un área de trabajo de Machine Learning	Microsoft.MachineLearningServices/workspaces/schedules/read
Escritura	Crear, actualizar, deshabilitar y habilitar programaciones en el área de trabajo de Machine Learning	Microsoft.MachineLearningServices/workspaces/schedules/write
Eliminar	Eliminar una programación en el área de trabajo de Machine Learning	Microsoft.MachineLearningServices/workspaces/schedules/delete

Pasos siguientes

• Obtenga más información sobre el esquema YAML de programación de importación de datos de la CLI (v2).
• Obtenga información sobre cómo administrar los recursos de datos importados.