Taken voor het importeren van gegevens plannen (preview)
VAN TOEPASSING OP:Azure CLI ml extension v2 (current)Python SDK azure-ai-ml v2 (current)
In dit artikel leert u hoe u programmatisch gegevensimport kunt plannen met behulp van de gebruikersinterface van de planning om dit te doen. U kunt een planning maken op basis van verstreken tijd. Planningen op basis van tijd kunnen routinetaken verwerken, bijvoorbeeld normale gegevensimport om ze up-to-date te houden. Nadat u hebt geleerd hoe u planningen maakt, leert u hoe u deze kunt ophalen, bijwerken en deactiveren via CLI-, SDK- en studio-UI-resources.
Vereisten
- U hebt een Azure-abonnement nodig om Azure Machine Learning te kunnen gebruiken. Als u geen Azure-abonnement hebt, maakt u een gratis account voordat u begint. Probeer vandaag nog de gratis of betaalde versie van Azure Machine Learning.
Installeer de Azure CLI en de
ml
extensie. Volg de installatiestappen in De CLI (v2) installeren, instellen en gebruiken.Maak een Azure Machine Learning-werkruimte als u er nog geen hebt. Zie De CLI (v2) installeren, instellen en gebruiken voor het maken van werkruimten.
Gegevens importeren plannen
Als u gegevens op terugkerende basis wilt importeren, moet u een planning maken. Een Schedule
koppelt een gegevensimportactie aan een trigger. De trigger kan zijn cron
, waarbij een cron-expressie wordt gebruikt om de vertraging tussen uitvoeringen te beschrijven, of een recurrence
, waarmee de frequentie wordt opgegeven voor het activeren van een taak. In elk geval moet u eerst een importgegevensdefinitie bouwen. Een bestaande gegevensimport, of een gegevensimport die inline is gedefinieerd, werkt hiervoor. Ga naar Een gegevensimport maken in CLI, SDK en UI voor meer informatie.
Een planning maken
Een schema op basis van tijd maken met een terugkeerpatroon
VAN TOEPASSING OP: Azure CLI ml-extensie v2 (huidige)
YAML: Planning voor het importeren van gegevens met een terugkeerpatroon
$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: simple_recurrence_import_schedule
display_name: Simple recurrence import schedule
description: a simple hourly recurrence import schedule
trigger:
type: recurrence
frequency: day #can be minute, hour, day, week, month
interval: 1 #every day
schedule:
hours: [4,5,10,11,12]
minutes: [0,30]
start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
time_zone: "Pacific Standard Time" # optional - default will be UTC
import_data: ./my-snowflake-import-data.yaml
YAML: Planning voor definitie van gegevensimport inline met terugkeerpatroon in beheerde gegevensopslag
$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: inline_recurrence_import_schedule
display_name: Inline recurrence import schedule
description: an inline hourly recurrence import schedule
trigger:
type: recurrence
frequency: day #can be minute, hour, day, week, month
interval: 1 #every day
schedule:
hours: [4,5,10,11,12]
minutes: [0,30]
start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
time_zone: "Pacific Standard Time" # optional - default will be UTC
import_data:
type: mltable
name: my_snowflake_ds
path: azureml://datastores/workspacemanagedstore
source:
type: database
query: select * from TPCH_SF1.REGION
connection: azureml:my_snowflake_connection
A trigger
bevat deze eigenschappen:
- (Vereist)
type
hiermee geeft u het schematype, ofwelrecurrence
cron
. De volgende sectie bevat meer informatie.
Voer vervolgens deze opdracht uit in de CLI:
> az ml schedule create -f <file-name>.yml
Notitie
Deze eigenschappen zijn van toepassing op CLI en SDK:
(Vereist)
frequency
geeft de tijdseenheid op die beschrijft hoe vaak de planning wordt geactiveerd. Kan waarden hebbenminute
hour
day
week
month
(Vereist)
interval
geeft aan hoe vaak de planning wordt geactiveerd op basis van de frequentie, wat het aantal tijdseenheden is dat moet worden gewacht totdat de planning opnieuw wordt geactiveerd.(Optioneel)
schedule
definieert het terugkeerpatroon, methours
,minutes
enweekdays
.- Als
frequency
dit gelijk isday
aan, kan een patroon opgevenhours
enminutes
. - Als
frequency
dit gelijk isweek
aan enmonth
, kanhours
een patroon ,minutes
enweekdays
. hours
moet een geheel getal of een lijst zijn, variërend van 0 tot 23.minutes
moet een geheel getal of een lijst zijn, variërend van 0 tot 59.weekdays
een tekenreeks of lijst variërend vanmonday
totsunday
.- Als
schedule
dit wordt weggelaten, wordt de taak(en) geactiveerd volgens de logica vanstart_time
,frequency
eninterval
.
- Als
(Optioneel)
start_time
beschrijft de begindatum en -tijd, met een tijdzone. Alsstart_time
u dit weglaat, is start_time gelijk aan de aanmaaktijd van de taak. Voor een begintijd in het verleden wordt de eerste taak uitgevoerd bij de volgende berekende uitvoeringstijd.(Optioneel)
end_time
beschrijft de einddatum en tijd met een tijdzone. Alsend_time
u dit weglaat, blijft het schema taken activeren totdat het schema handmatig is uitgeschakeld.(Optioneel)
time_zone
hiermee geeft u de tijdzone van het terugkeerpatroon. Als u dit weglaat, is de standaardtijdzone UTC. Ga voor meer informatie over tijdzonewaarden naar de bijlage voor tijdzonewaarden.
Een schema op basis van tijd maken met een cron-expressie
YAML: Plannen voor een gegevensimport met cron-expressie
VAN TOEPASSING OP: Azure CLI ml-extensie v2 (huidige)
YAML: Planning voor het importeren van gegevens met cron-expressie (preview)
$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: simple_cron_import_schedule
display_name: Simple cron import schedule
description: a simple hourly cron import schedule
trigger:
type: cron
expression: "0 * * * *"
start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
time_zone: "Pacific Standard Time" # optional - default will be UTC
import_data: ./my-snowflake-import-data.yaml
YAML: Planning voor definitie van gegevensimport inline met cron-expressie (preview)
$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: inline_cron_import_schedule
display_name: Inline cron import schedule
description: an inline hourly cron import schedule
trigger:
type: cron
expression: "0 * * * *"
start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
time_zone: "Pacific Standard Time" # optional - default will be UTC
import_data:
type: mltable
name: my_snowflake_ds
path: azureml://datastores/workspaceblobstore/paths/snowflake/${{name}}
source:
type: database
query: select * from TPCH_SF1.REGION
connection: azureml:my_snowflake_connection
De trigger
sectie definieert de planningsgegevens en bevat deze eigenschappen:
- (Vereist)
type
hiermee geeft u hetcron
schematype op.
> az ml schedule create -f <file-name>.yml
De lijst wordt hier voortgezet:
(Vereist)
expression
gebruikt een standaard crontab-expressie om een terugkerend schema uit te drukken. Eén expressie bestaat uit vijf door spaties gescheiden velden:MINUTES HOURS DAYS MONTHS DAYS-OF-WEEK
Eén jokerteken (
*
), dat alle waarden voor het veld omvat. A*
, in dagen, betekent alle dagen van een maand (die varieert met maand en jaar).De
expression: "15 16 * * 1"
bovenstaande steekproef betekent de 16:15 uur op elke maandag.Deze tabel bevat de geldige waarden voor elk veld:
Veld Bereik Opmerking MINUTES
0-59 - HOURS
0-23 - DAYS
- Wordt niet ondersteund. De waarde wordt genegeerd en behandeld als *
.MONTHS
- Wordt niet ondersteund. De waarde wordt genegeerd en behandeld als *
.DAYS-OF-WEEK
0-6 Nul (0) betekent zondag. Namen van dagen zijn ook geaccepteerd. Ga naar de wikiresource Crontab Expression op GitHub voor meer informatie over crontab-expressies.
Belangrijk
DAYS
enMONTH
worden niet ondersteund. Als u een van deze waarden doorgeeft, wordt deze genegeerd en behandeld als*
.(Optioneel)
start_time
geeft de begindatum en -tijd op met de tijdzone van de planning. Dit betekent bijvoorbeeldstart_time: "2022-05-10T10:15:00-04:00"
dat de planning begint van 10:15:00 op 2022-05-10 in de UTC-4-tijdzone. Alsstart_time
u dit weglaat, is destart_time
aanmaaktijd van de planning gelijk aan de aanmaaktijd. Voor een begintijd in het verleden wordt de eerste taak uitgevoerd bij de volgende berekende uitvoeringstijd.(Optioneel)
end_time
beschrijft de einddatum en tijd met een tijdzone. Alsend_time
u dit weglaat, blijft het schema taken activeren totdat het schema handmatig is uitgeschakeld.(Optioneel)
time_zone
hiermee geeft u de tijdzone van de expressie. Alstime_zone
u dit weglaat, is de tijdzone standaard UTC. Ga voor meer informatie over tijdzonewaarden naar de bijlage voor tijdzonewaarden.
Beperkingen:
- Op dit moment biedt Azure Machine Learning v2-planning geen ondersteuning voor triggers op basis van gebeurtenissen.
- Gebruik de Azure Machine Learning SDK/CLI v2 om een complex terugkeerpatroon op te geven dat meerdere tijdstempels voor triggers bevat. In de gebruikersinterface wordt alleen het complexe patroon weergegeven en wordt het bewerken niet ondersteund.
- Als u het terugkeerpatroon instelt als de 31e dag van elke maand, activeert het schema geen taken in maanden met minder dan 31 dagen.
Schema's weergeven in een werkruimte
VAN TOEPASSING OP: Azure CLI ml-extensie v2 (huidige)
az ml schedule list
Details van planning controleren
VAN TOEPASSING OP: Azure CLI ml-extensie v2 (huidige)
az ml schedule show -n simple_cron_data_import_schedule
Een planning bijwerken
VAN TOEPASSING OP: Azure CLI ml-extensie v2 (huidige)
az ml schedule update -n simple_cron_data_import_schedule --set description="new description" --no-wait
Notitie
Als u meer dan alleen tags/beschrijving wilt bijwerken, raden we u aan gebruik te maken van az ml schedule create --file update_schedule.yml
Een planning uitschakelen
VAN TOEPASSING OP: Azure CLI ml-extensie v2 (huidige)
az ml schedule disable -n simple_cron_data_import_schedule --no-wait
Een planning inschakelen
VAN TOEPASSING OP: Azure CLI ml-extensie v2 (huidige)
az ml schedule enable -n simple_cron_data_import_schedule --no-wait
Een schema verwijderen
Belangrijk
Een schema moet worden uitgeschakeld voordat het wordt verwijderd. Verwijderen is een permanente, onherstelbare actie. Nadat een planning is verwijderd, kunt u deze nooit openen of herstellen.
VAN TOEPASSING OP: Azure CLI ml-extensie v2 (huidige)
az ml schedule delete -n simple_cron_data_import_schedule
Ondersteuning voor RBAC (op rollen gebaseerd toegangsbeheer)
Schema's worden over het algemeen gebruikt voor productie. Om problemen te voorkomen, willen werkruimtebeheerders mogelijk het maken en beheren van planningsmachtigingen binnen een werkruimte beperken.
Er zijn momenteel drie actieregels met betrekking tot planningen en u kunt deze configureren in Azure Portal. Ga voor meer informatie naar het beheren van de toegang tot een Azure Machine Learning-werkruimte.
Actie | Beschrijving | Regel |
---|---|---|
Read | Schema's ophalen en weergeven in Machine Learning-werkruimte | Microsoft.MachineLearningServices/workspaces/schedules/read |
Schrijven | Planningen maken, bijwerken, uitschakelen en inschakelen in Machine Learning-werkruimte | Microsoft.MachineLearningServices/workspaces/schedules/write |
Delete | Een planning verwijderen in de Machine Learning-werkruimte | Microsoft.MachineLearningServices/workspaces/schedules/delete |
Volgende stappen
- Meer informatie over het YAML-schema voor het importeren van CLI-gegevens (v2).
- Meer informatie over het beheren van geïmporteerde gegevensassets.