Plánování úloh importu dat (Preview)

PLATÍ PRO:Rozšíření Azure CLI ml v2 (aktuální)Python SDK azure-ai-ml v2 (aktuální)

V tomto článku se dozvíte, jak programově naplánovat import dat pomocí uživatelského rozhraní plánu. Plán můžete vytvořit na základě uplynulého času. Plány založené na čase můžou zpracovávat běžné úlohy – například pravidelné importy dat, aby byly aktuální. Jakmile se naučíte vytvářet plány, naučíte se načítat, aktualizovat a deaktivovat je prostřednictvím prostředků rozhraní příkazového řádku, sady SDK a studiových uživatelských rozhraní.

Požadavky

• K používání služby Azure Machine Learning potřebujete předplatné Azure. Pokud ještě nemáte předplatné Azure, vytvořte si napřed bezplatný účet. Vyzkoušejte si bezplatnou nebo placenou verzi služby Azure Machine Learning ještě dnes.

Azure CLI

• Nainstalujte Azure CLI a ml rozšíření. Postupujte podle pokynů k instalaci v části Instalace, nastavení a používání rozhraní příkazového řádku (v2).

• Pokud ho nemáte, vytvořte pracovní prostor Azure Machine Learning. Informace o vytvoření pracovního prostoru najdete v tématu Instalace, nastavení a použití rozhraní příkazového řádku (v2).

Python SDK

• Pokud ho nemáte, vytvořte pracovní prostor Azure Machine Learning.
• Sada Azure Machine Learning SDK v2 pro Python

Studio

• Pracovní prostor služby Azure Machine Learning. Viz Vytvoření prostředků pracovního prostoru.
• Porozumění kanálům Azure Machine Learning Podívejte se , co jsou kanály strojového učení a jak vytvořit úlohu kanálu v cli v2 nebo sadě SDK v2.

Naplánovat import dat

Pokud chcete data importovat opakovaně, musíte vytvořit plán. Akce Schedule importu dat se přidruží k triggeru. Aktivační událost může být cronbuď , která používá výraz cron k popisu zpoždění mezi spuštěními, nebo , recurrencekterý určuje frekvenci aktivace úlohy. V každém případě musíte nejprve vytvořit definici importovaných dat. Pro tento postup funguje existující import dat nebo import dat, který je definovaný vložený. Další informace najdete v tématu Vytvoření importu dat v rozhraní příkazového řádku, sadě SDK a uživatelském rozhraní.

Vytvoření plánu

Vytvoření časového plánu s opakováním

Azure CLI

PLATÍ PRO: Rozšíření Azure CLI ml v2 (aktuální)

YAML: Plán importu dat se vzorem opakování

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: simple_recurrence_import_schedule
display_name: Simple recurrence import schedule
description: a simple hourly recurrence import schedule

trigger:
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 #every day
  schedule:
    hours: [4,5,10,11,12]
    minutes: [0,30]
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data: ./my-snowflake-import-data.yaml

YAML: Naplánování vložené definice importu dat se vzorem opakování ve spravovaném úložišti dat

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: inline_recurrence_import_schedule
display_name: Inline recurrence import schedule
description: an inline hourly recurrence import schedule

trigger:
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 #every day
  schedule:
    hours: [4,5,10,11,12]
    minutes: [0,30]
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data:
  type: mltable
  name: my_snowflake_ds
  path: azureml://datastores/workspacemanagedstore
  source:
    type: database
    query: select * from TPCH_SF1.REGION
    connection: azureml:my_snowflake_connection

A trigger obsahuje tyto vlastnosti:

• (Povinné) type určuje typ plánu, buď recurrence nebo cron. Další informace najdete v následující části.

Pak v rozhraní příkazového řádku spusťte tento příkaz:

> az ml schedule create -f <file-name>.yml

Python SDK

PLATÍ PRO: Python SDK azure-ai-ml v2 (aktuální)

from azure.ai.ml.data_transfer import Database
from azure.ai.ml.constants import TimeZone
from azure.ai.ml.entities import (
    ImportDataSchedule,
    RecurrenceTrigger,
    RecurrencePattern,
)
from datetime import datetime

source = Database(connection="azureml:my_sf_connection", query="select * from my_table")

path = "azureml://datastores/workspaceblobstore/paths/snowflake/schedule/${{name}}"


my_data = DataImport(
    type="mltable", source=source, path=path, name="my_schedule_sfds_test"
)

schedule_name = "my_simple_sdk_create_schedule_recurrence"

schedule_start_time = datetime.utcnow()

recurrence_trigger = RecurrenceTrigger(
    frequency="day",
    interval=1,
    schedule=RecurrencePattern(hours=1, minutes=[0, 1]),
    start_time=schedule_start_time,
    time_zone=TimeZone.UTC,
)

import_schedule = ImportDataSchedule(
    name=schedule_name, trigger=recurrence_trigger, import_data=my_data
)

ml_client.schedules.begin_create_or_update(import_schedule).result()

RecurrenceTrigger obsahuje následující vlastnosti:

• (Povinné) Pro lepší kódování použijte RecurrenceTrigger plán opakování.

Studio

Pokud má import dat uspokojivý výkon a výstupy, můžete nastavit plán pro automatické aktivaci importu.

1. Přejděte na studio Azure Machine Learning

2. V části Prostředky v levém navigačním panelu vyberte Data. Na kartě Import dat vyberte importovaný datový asset, ke kterému chcete připojit plán. Měla by se zobrazit stránka historie úloh importu, jak je znázorněno na tomto snímku obrazovky:

   

3. Na stránce Historie importu úloh vyberte nejnovější adresu URL hypertextového odkazu na název úlohy importu a otevřete stránku podrobností úlohy kanálu, jak je znázorněno na tomto snímku obrazovky:

   

4. Na stránce podrobností úlohy kanálu libovolného importu dat vyberte Plán –>Vytvořit nový plán a otevřete průvodce vytvořením plánu, jak je znázorněno na tomto snímku obrazovky:

   

5. Základní nastavení průvodce vytvořením plánu mají vlastnosti zobrazené na tomto snímku obrazovky:

   

• Název: jedinečný identifikátor plánu v rámci pracovního prostoru.

• Popis: popis plánu.

• Trigger: způsob opakování plánu, který zahrnuje tyto vlastnosti:

  • Časové pásmo: Výpočet času triggeru je založený na tomto časovém pásmu; (UTC) Ve výchozím nastavení je koordinovaný univerzální čas.
  • Opakování nebo výraz Cron: vyberte opakování a určete opakující se vzor. V části Opakování můžete určit frekvenci opakování – podle minut, hodin, dnů, týdnů nebo měsíců.
  • Začátek: Plán se nejprve aktivuje k tomuto datu. Ve výchozím nastavení datum vytvoření tohoto plánu.
  • Konec: Plán bude po tomto datu neaktivní. Ve výchozím nastavení je hodnota NONE, což znamená, že plán zůstane aktivní, dokud ho ručně nezakážete.
  • Značky: vybrané značky plánu.

  Po nakonfigurování základního nastavení můžete vybrat Zkontrolovat a vytvořit a plán automaticky odešle import dat na základě zadaného způsobu opakování. Můžete také vybrat další a procházet průvodce a vybrat nebo aktualizovat parametry importu dat.

Poznámka:

Tyto vlastnosti platí pro rozhraní příkazového řádku a sadu SDK:

• (Povinné) frequency určuje jednotku času, která popisuje, jak často se plán aktivuje. Může obsahovat hodnoty.

  • minute
  • hour
  • day
  • week
  • month

• (Povinné) interval určuje, jak často se plán aktivuje na základě frekvence, což je počet časových jednotek, které mají čekat, dokud se plán znovu neaktivuje.

• (Volitelné) schedule definuje způsob opakování, který obsahuje hoursminutes, a weekdays.

  • Když frequency se rovná day, vzor může určit hours a minutes.
  • Když frequency se rovná week a month, vzor může určit hours, minutes a weekdays.
  • hours musí být celé číslo nebo seznam v rozsahu od 0 do 23.
  • minutes by mělo být celé číslo nebo seznam v rozsahu od 0 do 59.
  • weekdaysřetězec nebo seznam v rozsahu od monday .sunday
  • Pokud schedule je vynechán, úlohy se aktivují podle logiky start_timefrequency a interval.

• (Volitelné) start_time popisuje počáteční datum a čas s časovým pásmem. Pokud start_time tuto hodnotu vynecháte, start_time se rovná času vytvoření úlohy. V případě času spuštění v minulosti se první úloha spustí při příštím počítaném čase běhu.

• (Volitelné) end_time popisuje koncové datum a čas s časovým pásmem. Pokud end_time tento plán vynecháte, bude plán nadále spouštět úlohy, dokud se plán ručně nezablokuje.

• (Volitelné) time_zone určuje časové pásmo opakování. Pokud tento parametr vynecháte, výchozí časové pásmo je UTC. Další informace o hodnotách časového pásma naleznete v dodatku k hodnotám časového pásma.

Vytvoření časového plánu pomocí výrazu cron

Azure CLI

YAML: Naplánování importu dat pomocí výrazu cron

PLATÍ PRO: Rozšíření Azure CLI ml v2 (aktuální)

YAML: Naplánování importu dat pomocí výrazu cron (Preview)

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: simple_cron_import_schedule
display_name: Simple cron import schedule
description: a simple hourly cron import schedule

trigger:
  type: cron
  expression: "0 * * * *"
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data: ./my-snowflake-import-data.yaml

YAML: Plán definice importu dat vložený s výrazem cron (Preview)

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: inline_cron_import_schedule
display_name: Inline cron import schedule
description: an inline hourly cron import schedule

trigger:
  type: cron
  expression: "0 * * * *"
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data:
  type: mltable
  name: my_snowflake_ds
  path: azureml://datastores/workspaceblobstore/paths/snowflake/${{name}}
  source:
    type: database
    query: select * from TPCH_SF1.REGION
    connection: azureml:my_snowflake_connection

Oddíl trigger definuje podrobnosti plánu a obsahuje tyto vlastnosti:

• (Povinné) type určuje cron typ plánu.

> az ml schedule create -f <file-name>.yml

Seznam pokračuje tady:

Python SDK

PLATÍ PRO: Python SDK azure-ai-ml v2 (aktuální)

from azure.ai.ml.data_transfer import Database
from azure.ai.ml.constants import TimeZone
from azure.ai.ml.entities import CronTrigger, ImportDataSchedule

source = Database(connection="azureml:my_sf_connection", query="select * from my_table")

path = "azureml://datastores/workspaceblobstore/paths/snowflake/schedule/${{name}}"


my_data = DataImport(
    type="mltable", source=source, path=path, name="my_schedule_sfds_test"
)

schedule_name = "my_simple_sdk_create_schedule_cron"

cron_trigger = CronTrigger(
    expression="15 10 * * 1",
    start_time=datetime.utcnow(),
    end_time="2023-12-03T18:40:00",
)
import_schedule = ImportDataSchedule(
    name=schedule_name, trigger=cron_trigger, import_data=my_data
)
ml_client.schedules.begin_create_or_update(import_schedule).result()

Oddíl CronTrigger definuje podrobnosti plánu a obsahuje tyto vlastnosti:

• (Povinné) Pro lepší kódování použijte CronTrigger plán opakování.

Seznam pokračuje tady:

Studio

Pokud má import dat uspokojivý výkon a výstupy, můžete nastavit plán pro automatické aktivaci importu.

1. Přejděte na studio Azure Machine Learning

2. V části Prostředky v levém navigačním panelu vyberte Data. Na kartě Import dat vyberte importovaný datový asset, ke kterému chcete připojit plán. Měla by se zobrazit stránka historie úloh importu, jak je znázorněno na tomto snímku obrazovky:

   

3. Na stránce Historie importu úloh vyberte nejnovější adresu URL hypertextového odkazu na název úlohy importu a otevřete stránku podrobností úlohy kanálu, jak je znázorněno na tomto snímku obrazovky:

   

4. Na stránce podrobností úlohy kanálu libovolného importu dat vyberte Plán –>Vytvořit nový plán a otevřete průvodce vytvořením plánu, jak je znázorněno na tomto snímku obrazovky:

   

5. Základní nastavení průvodce vytvořením plánu mají vlastnosti zobrazené na tomto snímku obrazovky:

   

• Název: jedinečný identifikátor plánu v rámci pracovního prostoru.

• Popis: popis plánu.

• Trigger: způsob opakování plánu, který zahrnuje tyto vlastnosti:

  • Časové pásmo: Výpočet času triggeru je založený na tomto časovém pásmu; (UTC) Ve výchozím nastavení je koordinovaný univerzální čas.
  • Opakování nebo výraz Cron: vyberte opakování a určete opakující se vzor. Pomocí výrazu Cron můžete zadat flexibilnější a přizpůsobený způsob opakování.
  • Začátek: Plán se nejprve aktivuje k tomuto datu. Ve výchozím nastavení datum vytvoření tohoto plánu.
  • Konec: Plán bude po tomto datu neaktivní. Ve výchozím nastavení je hodnota NONE, což znamená, že plán zůstane aktivní, dokud ho ručně nezakážete.
  • Značky: vybrané značky plánu.

  Po nakonfigurování základního nastavení můžete vybrat Zkontrolovat a vytvořit a plán automaticky odešle import dat na základě zadaného způsobu opakování. Můžete také vybrat další a procházet průvodce a vybrat nebo aktualizovat parametry importu dat.

• (Povinné) expression používá standardní výraz crontab k vyjádření opakujícího se plánu. Jeden výraz se skládá z pěti polí oddělených mezerami:

  MINUTES HOURS DAYS MONTHS DAYS-OF-WEEK

  • Jeden zástupný znak (*), který pokrývá všechny hodnoty pole. A *, ve dnech, znamená všechny dny v měsíci (které se liší podle měsíce a roku).

  • Výše expression: "15 16 * * 1" uvedený vzorek znamená každou pondělí 16:15.

  • Tato tabulka uvádí platné hodnoty pro každé pole:

    Pole	Rozsah	Komentář
    MINUTES	0-59	-
    HOURS	0-23	-
    DAYS	-	Nepodporováno Hodnota je ignorována a považována za *.
    MONTHS	-	Nepodporováno Hodnota je ignorována a považována za *.
    DAYS-OF-WEEK	0-6	Nula (0) znamená neděli. Byly přijaty také názvy dnů.

  • Další informace o výrazech crontab najdete v prostředku wikiwebu Crontab Expression na GitHubu.

  Důležité

  DAYS a MONTH nejsou podporovány. Pokud předáte jednu z těchto hodnot, bude ignorována a považována za *.

• (Volitelné) start_time určuje počáteční datum a čas s časovým pásmem plánu. Například znamená, start_time: "2022-05-10T10:15:00-04:00" že plán začíná od 10:15:00 do 10.2022-05-10 v časovém pásmu UTC-4. Pokud start_time tento parametr vynecháte, start_time rovná se času vytvoření plánu. V případě času spuštění v minulosti se první úloha spustí při příštím počítaném čase běhu.

• (Volitelné) end_time popisuje koncové datum a čas s časovým pásmem. Pokud end_time tento plán vynecháte, bude plán nadále spouštět úlohy, dokud se plán ručně nezablokuje.

• (Volitelné) time_zoneurčuje časové pásmo výrazu. Pokud time_zone je vynecháno, časové pásmo je ve výchozím nastavení UTC. Další informace o hodnotách časového pásma naleznete v dodatku k hodnotám časového pásma.

Omezení:

• Plánování služby Azure Machine Learning v2 v současné době nepodporuje triggery založené na událostech.
• Pomocí sady Azure Machine Learning SDK/CLI v2 určete složitý způsob opakování, který obsahuje více časových razítek aktivačních událostí. Uživatelské rozhraní zobrazuje jenom složitý vzor a nepodporuje úpravy.
• Pokud nastavíte opakování jako 31. den každého měsíce, plán neaktivuje úlohy v měsících s méně než 31 dny.

Výpis plánů v pracovním prostoru

Azure CLI

PLATÍ PRO: Rozšíření Azure CLI ml v2 (aktuální)

az ml schedule list

Python SDK

PLATÍ PRO: Python SDK azure-ai-ml v2 (aktuální)

schedules = ml_client.schedules.list()
[s.name for s in schedules]

Studio

Na portálu studio v části Rozšíření Úlohy vyberte kartu Všechny plány . Na této kartě se zobrazí všechny plány úloh vytvořené sadou SDK, rozhraním příkazového řádku nebo uživatelským rozhraním v jednom seznamu. V seznamu plánů máte přehled všech plánů v tomto pracovním prostoru, jak je znázorněno na tomto snímku obrazovky:

Kontrola podrobností plánu

Azure CLI

PLATÍ PRO: Rozšíření Azure CLI ml v2 (aktuální)

az ml schedule show -n simple_cron_data_import_schedule

Python SDK

PLATÍ PRO: Python SDK azure-ai-ml v2 (aktuální)

created_schedule = ml_client.schedules.get(name=schedule_name)
[created_schedule.name]

Studio

Můžete vybrat název plánu, aby se zobrazila stránka s podrobnostmi plánu. Stránka s podrobnostmi plánu obsahuje následující karty, jak je znázorněno na tomto snímku obrazovky:

• Přehled: Základní informace pro zadaný plán

  

• Definice úlohy: definuje úlohu, kterou aktivuje zadaný plán, jak je znázorněno na tomto snímku obrazovky:

  

Aktualizace plánu

Azure CLI

PLATÍ PRO: Rozšíření Azure CLI ml v2 (aktuální)

az ml schedule update -n simple_cron_data_import_schedule  --set description="new description" --no-wait

Poznámka:

Pokud chcete aktualizovat více než jen značky nebo popis, doporučujeme použít az ml schedule create --file update_schedule.yml

Python SDK

PLATÍ PRO: Python SDK azure-ai-ml v2 (aktuální)

job_schedule = ml_client.schedules.begin_create_or_update(
    schedule=job_schedule
).result()
print(job_schedule)

Studio

Aktualizace definice importu dat na existující plán

Pokud chcete změnit frekvenci importu nebo vytvořit nové přidružení pro úlohu importu dat, můžete aktualizovat definici importu existujícího plánu.

Poznámka:

Pokud chcete aktualizovat existující plán, přidružení plánu k původní definici importu bude odebráno. Plán může mít pouze jednu definici úlohy importu. Několik plánů však může volat jednu definici importu dat.

1. Přejděte na studio Azure Machine Learning

2. V části Prostředky v levém navigačním panelu vyberte Data. Na kartě Import dat vyberte importovaný datový asset, ke kterému chcete připojit plán. Měla by se zobrazit stránka historie úloh importu, jak je znázorněno na tomto snímku obrazovky:

   

3. Na stránce Historie importu úloh vyberte nejnovější odkaz na název úlohy importu a otevřete stránku podrobností úlohy kanálu, jak je znázorněno na tomto snímku obrazovky:

   

4. Na stránce podrobností úlohy kanálu jakéhokoli importu dat vyberte Naplánovat ->Aktualizováno na existující plán. Otevře se průvodce výběrem plánu, jak je znázorněno na tomto snímku obrazovky:

   

5. Ze seznamu vyberte existující plán, jak je znázorněno na tomto snímku obrazovky:

   

   Důležité

   Ujistěte se, že jste vybrali správný plán, který chcete aktualizovat. Po dokončení aktualizace plán aktivuje různé importy dat.

6. Můžete také upravit zdroj, dotaz a změnit cílovou cestu pro budoucí importy dat, které plán aktivuje.

7. Proces aktualizace dokončíte výběrem možnosti Zkontrolovat a aktualizovat . Dokončená aktualizace odešle oznámení.

8. Novou definici importu dat můžete zobrazit na stránce s podrobnostmi plánu po dokončení aktualizace.

Aktualizace na stránce podrobností plánu

Na stránce s podrobnostmi plánu můžete vybrat aktualizovat nastavení aktualizace, abyste aktualizovali základní i upřesňující nastavení, včetně nastavení vstupu a výstupu úlohy a modulu runtime plánu, jak je znázorněno na tomto snímku obrazovky:

Zakázání plánu

Azure CLI

PLATÍ PRO: Rozšíření Azure CLI ml v2 (aktuální)

az ml schedule disable -n simple_cron_data_import_schedule --no-wait

Python SDK

job_schedule = ml_client.schedules.begin_disable(name=schedule_name).result()
job_schedule.is_enabled

Studio

Aktuální plán můžete zakázat na stránce s podrobnostmi plánu. Plány můžete také zakázat na kartě Všechny plány .

Povolení plánu

Azure CLI

PLATÍ PRO: Rozšíření Azure CLI ml v2 (aktuální)

az ml schedule enable -n simple_cron_data_import_schedule --no-wait

Python SDK

PLATÍ PRO: Python SDK azure-ai-ml v2 (aktuální)

# Update trigger expression
job_schedule.trigger.expression = "10 10 * * 1"
job_schedule = ml_client.schedules.begin_create_or_update(
    schedule=job_schedule
).result()
print(job_schedule)

Studio

Na stránce s podrobnostmi plánu můžete povolit aktuální plán. Plány můžete povolit také na kartě Všechny plány .

Odstranění plánu

Důležité

Před odstraněním musí být zakázán plán. Odstranění je trvalá neopravitelná akce. Po odstranění plánu se k němu nikdy nedostanete ani ho neobnovíte.

Azure CLI

PLATÍ PRO: Rozšíření Azure CLI ml v2 (aktuální)

az ml schedule delete -n simple_cron_data_import_schedule

Python SDK

PLATÍ PRO: Python SDK azure-ai-ml v2 (aktuální)

# Only disabled schedules can be deleted
ml_client.schedules.begin_disable(name=schedule_name).result()
ml_client.schedules.begin_delete(name=schedule_name).result()

Studio

Plán můžete odstranit ze stránky s podrobnostmi plánu nebo na kartě Všechny plány.

Podpora řízení přístupu na základě role (RBAC)

Plány se obvykle používají pro produkční prostředí. Aby se zabránilo problémům, můžou správci pracovního prostoru chtít omezit oprávnění k vytváření plánů a správě v rámci pracovního prostoru.

V současné době existují tři pravidla akcí související s plány a můžete je nakonfigurovat na webu Azure Portal. Další informace najdete v tématu správa přístupu k pracovnímu prostoru Azure Machine Learning.

Akce	Popis	Pravidlo
Čteno	Získání a výpis plánů v pracovním prostoru Machine Learning	Microsoft.MachineLearningServices/workspaces/schedules/read
Write	Vytváření, aktualizace, zakázání a povolení plánů v pracovním prostoru Machine Learning	Microsoft.MachineLearningServices/workspaces/schedules/write
Odstranění	Odstranění plánu v pracovním prostoru Machine Learning	Microsoft.MachineLearningServices/workspaces/schedules/delete

Další kroky

• Přečtěte si další informace o schématu YAML plánu importu dat CLI (v2).
• Zjistěte, jak spravovat importované datové prostředky.