Sdílet prostřednictvím

SweepJob Třída

  • Reference

Úloha úklidu pro ladění hyperparametrů

Dědičnost
azure.ai.ml.entities._job.job.Job
SweepJob
azure.ai.ml.entities._job.sweep.parameterized_sweep.ParameterizedSweep
SweepJob
azure.ai.ml.entities._job.job_io_mixin.JobIOMixin
SweepJob

Konstruktor

SweepJob(*, name: str | None = None, description: str | None = None, tags: Dict | None = None, display_name: str | None = None, experiment_name: str | None = None, identity: ManagedIdentityConfiguration | AmlTokenConfiguration | UserIdentityConfiguration | None = None, inputs: Dict[str, int | str | float | bool | Input] | None = None, outputs: Dict[str, Output] | None = None, compute: str | None = None, limits: SweepJobLimits | None = None, sampling_algorithm: str | SamplingAlgorithm | None = None, search_space: Dict[str, Choice | LogNormal | LogUniform | Normal | QLogNormal | QLogUniform | QNormal | QUniform | Randint | Uniform] | None = None, objective: Objective | None = None, trial: CommandJob | CommandComponent | None = None, early_termination: BanditPolicy | MedianStoppingPolicy | TruncationSelectionPolicy | None = None, queue_settings: QueueSettings | None = None, **kwargs: Any)

Parametry

name
str

Název úlohy

display_name
str

Zobrazovaný název úlohy

description
str

Popis úlohy

tags
dict[str, str]

Slovník značek. Značky je možné přidávat, odebírat a aktualizovat.

properties
dict[str, str]

Slovník vlastností majetku.

experiment_name
str

Název experimentu, ve které se úloha vytvoří. Pokud je zadaný žádný, úloha se vytvoří v experimentu Výchozí.

identity
Union[ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]

Identita, kterou bude trénovací úloha používat při běhu na výpočetních prostředcích

inputs
dict

Vstupy do příkazu.

outputs
dict[str, Output]

Mapování výstupních datových vazeb použitých v úloze

sampling_algorithm
str

Algoritmus vzorkování hyperparametrů, který se má použít u search_space. Výchozí hodnota je náhodná.

search_space
Dict

Slovník prostoru pro vyhledávání hyperparametrů. Klíč je název hyperparametru a hodnota je výraz parametru.

objective
Objective

Metrika, pro která se má optimalizovat.

compute
str

Cílový výpočetní objekt, na kterém se úloha spouští.

trial
Union[CommandJob, CommandComponent]

Konfigurace úlohy pro každou zkušební verzi. Každá zkušební verze bude mít jinou kombinaci hodnot hyperparametrů, které systém vzorkuje z search_space.

early_termination
Union[BanditPolicy, MedianStoppingPolicy, TruncationSelectionPolicy]

Zásady předčasného ukončení, které se mají použít. Zkušební úloha se zruší, když jsou splněna kritéria zadané zásady. Pokud tento parametr vynecháte, nebudou použity žádné zásady předčasného ukončení.

limits
<xref:azure.ai.ml.entities.SweepJobLimits>

Omezení úlohy úklidu

queue_settings
QueueSettings

Nastavení fronty pro úlohu

kwargs
dict

Slovník dalších parametrů konfigurace.

Příklady

Vytvoření úlohy SweepJob


   from azure.ai.ml.entities import CommandJob
   from azure.ai.ml.sweep import BayesianSamplingAlgorithm, Objective, SweepJob, SweepJobLimits

   command_job = CommandJob(
       inputs=dict(kernel="linear", penalty=1.0),
       compute=cpu_cluster,
       environment=f"{job_env.name}:{job_env.version}",
       code="./scripts",
       command="python scripts/train.py --kernel $kernel --penalty $penalty",
       experiment_name="sklearn-iris-flowers",
   )

   sweep = SweepJob(
       sampling_algorithm=BayesianSamplingAlgorithm(),
       trial=command_job,
       search_space={"ss": Choice(type="choice", values=[{"space1": True}, {"space2": True}])},
       inputs={"input1": {"file": "top_level.csv", "mode": "ro_mount"}},
       compute="top_level",
       limits=SweepJobLimits(trial_timeout=600),
       objective=Objective(goal="maximize", primary_metric="accuracy"),
   )

Metody

dump

Vytvoří výpis obsahu úlohy do souboru ve formátu YAML.
set_limits

Nastavte limity pro uzel Uklidit. Pokud nechcete aktualizovat odpovídající hodnoty, nechte parametry jako Žádné.
set_objective

Nastavte objekt úklidu. Pokud nechcete aktualizovat odpovídající hodnoty, nechte parametry jako Žádné.

"minimalizovat", "maximalizovat". :type goal: str :keyword primary_metric: Název metriky, která se má optimalizovat. :p aramtype primary_metric: str

dump

Vytvoří výpis obsahu úlohy do souboru ve formátu YAML.

dump(dest: str | PathLike | IO, **kwargs) -> None

Parametry

dest
Union[<xref:PathLike>, str, IO[AnyStr]]
Vyžadováno

Místní cesta nebo datový proud souboru, do které se má obsah YAML zapisovat. Pokud je dest cesta k souboru, vytvoří se nový soubor. Pokud je dest otevřený soubor, zapíše se přímo do souboru.

kwargs
dict

Další argumenty, které se mají předat serializátoru YAML.

Výjimky

FileExistsError

Vyvolána, pokud je dest cesta k souboru a soubor již existuje.

IOError

Vyvolá se, pokud je soubor dest otevřený a soubor nelze zapisovat.

set_limits

Nastavte limity pro uzel Uklidit. Pokud nechcete aktualizovat odpovídající hodnoty, nechte parametry jako Žádné.

set_limits(*, max_concurrent_trials: int | None = None, max_total_trials: int | None = None, timeout: int | None = None, trial_timeout: int | None = None) -> None

Parametry

max_concurrent_trials
int

maximální počet souběžných zkušebních verzí.

max_total_trials
int

maximální celkový počet zkušebních verzí.

timeout
int

total timeout in seconds for sweep node

trial_timeout
int

časový limit v sekundách pro každou zkušební verzi

Výjimky

FileExistsError

Vyvolána, pokud je dest cesta k souboru a soubor již existuje.

IOError

Vyvolá se, pokud je soubor dest otevřený a soubor nelze zapisovat.

set_objective

Nastavte objekt úklidu. Pokud nechcete aktualizovat odpovídající hodnoty, nechte parametry jako Žádné.

"minimalizovat", "maximalizovat". :type goal: str :keyword primary_metric: Název metriky, která se má optimalizovat. :p aramtype primary_metric: str

set_objective(*, goal: str | None = None, primary_metric: str | None = None) -> None

Parametry

goal

Definuje podporované cíle metrik pro ladění hyperparametrů. Přijatelné hodnoty jsou:

Výjimky

FileExistsError

Vyvolána, pokud je dest cesta k souboru a soubor již existuje.

IOError

Vyvolá se, pokud je soubor dest otevřený a soubor nelze zapisovat.

Atributy

base_path

Základní cesta prostředku.

Návraty

Základní cesta prostředku.

Návratový typ

str

creation_context

Kontext vytvoření prostředku.

Návraty

Metadata vytvoření prostředku.

Návratový typ

Optional[SystemData]

early_termination

Zásady předčasného ukončení pro úlohu úklidu.

Návraty

Zásady předčasného ukončení pro úlohu úklidu.

Návratový typ

<xref:azure.ai.ml.entities._job.sweep.early_termination_policy.EarlyTerminationPolicy>

id

ID prostředku.

Návraty

Globální ID prostředku, ID Azure Resource Manager (ARM).

Návratový typ

Optional[str]

inputs

limits

Omezení pro úlohu úklidu

Návraty

Omezení pro úlohu úklidu

Návratový typ

SweepJobLimits

log_files

Výstupní soubory úlohy.

Návraty

Slovník názvů protokolů a adres URL.

Návratový typ

Optional[Dict[str, str]]

outputs

sampling_algorithm

Algoritmus vzorkování pro úlohu úklidu

Návraty

Algoritmus vzorkování pro úlohu úklidu

Návratový typ

SamplingAlgorithm

status

Stav úlohy.

Mezi běžné vrácené hodnoty patří Spuštěno, Dokončeno a Neúspěšné. Všechny možné hodnoty jsou:

  • NotStarted – jedná se o dočasný stav, ve který se objekty Run na straně klienta nacházejí před odesláním do cloudu.

  • Spuštění – Spuštění se začalo zpracovávat v cloudu. Volající má v tuto chvíli ID spuštění.

  • Zřizování – pro odeslání úlohy se vytváří výpočetní prostředky na vyžádání.

  • Příprava – Prostředí spuštění se připravuje a je v jedné ze dvou fází:

    • Sestavení image Dockeru

    • Nastavení prostředí conda

  • Zařazeno do fronty – Úloha je zařazená do fronty v cílovém výpočetním objektu. Například ve službě BatchAI je úloha ve frontě.

    při čekání na připravenost všech požadovaných uzlů.

  • Spuštěno – Úloha se začala spouštět na cílovém výpočetním objektu.

  • Finalizace – Spuštění uživatelského kódu bylo dokončeno a spuštění je ve fázích následného zpracování.

  • CancelRequested – pro úlohu bylo požádáno o zrušení.

  • Dokončeno – Spuštění bylo úspěšně dokončeno. To zahrnuje spuštění uživatelského kódu i spuštění.

    fáze následného zpracování.

  • Neúspěšné – spuštění se nezdařilo. Vlastnost Error při spuštění obvykle obsahuje podrobné informace o tom, proč tomu tak je.

  • Zrušeno – následuje žádost o zrušení a indikuje, že spuštění se teď úspěšně zrušilo.

  • Nereaguje – U spuštění s povolenými prezenčními signály se v nedávné době neodeslal žádný prezenční signál.

Návraty

Stav úlohy.

Návratový typ

Optional[str]

studio_url

Koncový bod studia Azure ML.

Návraty

Adresa URL stránky s podrobnostmi úlohy

Návratový typ

Optional[str]

type

Typ úlohy.

Návraty

Typ úlohy.

Návratový typ

Optional[str]