Spark Třída

Základní třída pro uzel Spark, která se používá pro spotřebu verzí komponent Sparku.

Neměli byste vytvořit instanci této třídy přímo. Místo toho byste ho měli vytvořit z funkce tvůrce: spark.

] :p aram outputs: Mapování názvů výstupu na výstupní zdroje dat použité v úloze. :type outputs: Dict[str, Union[str, ~azure.ai.ml.Output]] :p aram args: Argumenty úlohy. :type args: str :p aram compute: Výpočetní prostředek, na kterém úloha běží. :type compute: str :p aram resources: Konfigurace výpočetních prostředků pro úlohu. :type resources: Union[Dict, ~azure.ai.ml.entities.SparkResourceConfiguration] :p aram položka: Vstupní bod souboru nebo třídy. :type entry: Dict[str, str] :p aram py_files: Seznam souborů .zip, .egg nebo .py, které se mají umístit do pythonpath pro aplikace Python. :type py_files: List[str] :p aram jars: Seznam souborů . Soubory JAR, které se mají zahrnout do cest tříd ovladače a exekutoru. :type jars: List[str] :p aram files: Seznam souborů, které se mají umístit do pracovního adresáře každého exekutoru. :type files: List[str] :p aram archives: Seznam archivů, které se mají extrahovat do pracovního adresáře každého exekutoru. :type archives: List[str]

Dědičnost

azure.ai.ml.entities._builders.base_node.BaseNode

Spark

azure.ai.ml.entities._job.spark_job_entry_mixin.SparkJobEntryMixin

Spark

Konstruktor

Spark(*, component: str | SparkComponent, identity: Dict[str, str] | ManagedIdentityConfiguration | AmlTokenConfiguration | UserIdentityConfiguration | None = None, driver_cores: int | None = None, driver_memory: str | None = None, executor_cores: int | None = None, executor_memory: str | None = None, executor_instances: int | None = None, dynamic_allocation_enabled: bool | None = None, dynamic_allocation_min_executors: int | None = None, dynamic_allocation_max_executors: int | None = None, conf: Dict[str, str] | None = None, inputs: Dict[str, NodeOutput | Input | str | bool | int | float | Enum] | None = None, outputs: Dict[str, str | Output] | None = None, compute: str | None = None, resources: Dict | SparkResourceConfiguration | None = None, entry: Dict[str, str] | SparkJobEntry | None = None, py_files: List[str] | None = None, jars: List[str] | None = None, files: List[str] | None = None, archives: List[str] | None = None, args: str | None = None, **kwargs)

Parametry

component

Union[str, SparkComponent]

Vyžadováno

ID nebo instance komponenty nebo úlohy Sparku, které se mají během kroku spustit.

identity

Union[ Dict[str, str], ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]

Vyžadováno

Identita, kterou úloha Sparku použije při běhu na výpočetních prostředcích.

driver_cores

int

Vyžadováno

Počet jader, která se mají použít pro proces ovladače, pouze v režimu clusteru.

driver_memory

str

Vyžadováno

Velikost paměti, která se má použít pro proces ovladače, formátovaná jako řetězce s příponou jednotky velikosti ("k", "m", "g" nebo "t") (např. "512m", "2g").

executor_cores

int

Vyžadováno

Počet jader, která se mají použít na každém exekutoru.

executor_memory

str

Vyžadováno

Velikost paměti, která se má použít na proces exekutoru, formátovaná jako řetězce s příponou jednotky velikosti ("k", "m", "g" nebo "t") (např. "512m", "2g").

executor_instances

int

Vyžadováno

Počáteční počet exekutorů.

dynamic_allocation_enabled

bool

Vyžadováno

Jestli použít dynamické přidělování prostředků, které škáluje počet exekutorů zaregistrovaných v této aplikaci nahoru nebo dolů na základě zatížení.

dynamic_allocation_min_executors

int

Vyžadováno

Dolní mez počtu exekutorů, pokud je povoleno dynamické přidělování.

dynamic_allocation_max_executors

int

Vyžadováno

Horní mez počtu exekutorů, pokud je povoleno dynamické přidělování.

conf

Dict[str, str]

Vyžadováno

Slovník s předem definovanými klíči a hodnotami konfigurace Sparku.

inputs

Dict[str, Union[ <xref:azure.ai.ml.entities._job.pipeline._io.NodeOutput>, Input, str, bool, int, float, <xref:Enum>, ]

Vyžadováno

Mapování názvů vstupů na vstupní zdroje dat použité v úloze

Metody

clear
copy
dump	Vytvoří výpis obsahu úlohy do souboru ve formátu YAML.
fromkeys	Vytvořte nový slovník s klíči z iterable a hodnotami nastavenými na hodnotu value.
get	Pokud je klíč ve slovníku, vrátí hodnotu klíče, jinak výchozí hodnota.
items
keys
pop	Pokud klíč není nalezen, vrátit výchozí, pokud je zadán; v opačném případě vyvoláte chybu KeyError.
popitem	Odebere a vrátí pár (klíč, hodnota) jako řazenou kolekci 2 členů. Páry se vrací v pořadí LIFO (last-in, first-out). Vyvolá chybu KeyError, pokud je diktování prázdné.
setdefault	Pokud klíč není ve slovníku, vložte klíč s výchozí hodnotou. Pokud je klíč ve slovníku, vrátí hodnotu klíče, jinak výchozí.
update	Pokud je přítomna metoda E a má metodu .keys(), znamená to: for k in E: D[k] = E[k] Pokud je přítomen E a chybí metoda .keys(), pak: for k, v in E: D[k] = v V obou případech následuje: for k in F: D[k] = F[k]
values

clear

clear() -> None.  Remove all items from D.

copy

copy() -> a shallow copy of D

dump

Vytvoří výpis obsahu úlohy do souboru ve formátu YAML.

dump(dest: str | PathLike | IO, **kwargs) -> None

Parametry

dest

Union[<xref:PathLike>, str, IO[AnyStr]]

Vyžadováno

Místní cesta nebo datový proud souboru, do které se má obsah YAML zapisovat. Pokud je dest cesta k souboru, vytvoří se nový soubor. Pokud je dest otevřený soubor, zapíše se přímo do souboru.

kwargs

dict

Další argumenty, které se mají předat serializátoru YAML.

Výjimky

FileExistsError

Vyvolána, pokud je dest cesta k souboru a soubor již existuje.

IOError

Vyvolá se, pokud je soubor dest otevřený a soubor nelze zapisovat.

fromkeys

Vytvořte nový slovník s klíči z iterable a hodnotami nastavenými na hodnotu value.

fromkeys(value=None, /)

Parametry

type

Vyžadováno

iterable

Vyžadováno

value

výchozí hodnota: None

get

Pokud je klíč ve slovníku, vrátí hodnotu klíče, jinak výchozí hodnota.

get(key, default=None, /)

Parametry

key

Vyžadováno

default

výchozí hodnota: None

items

items() -> a set-like object providing a view on D's items

keys

keys() -> a set-like object providing a view on D's keys

pop

Pokud klíč není nalezen, vrátit výchozí, pokud je zadán; v opačném případě vyvoláte chybu KeyError.

pop(k, [d]) -> v, remove specified key and return the corresponding value.

popitem

Odebere a vrátí pár (klíč, hodnota) jako řazenou kolekci 2 členů.

Páry se vrací v pořadí LIFO (last-in, first-out). Vyvolá chybu KeyError, pokud je diktování prázdné.

popitem()

setdefault

Pokud klíč není ve slovníku, vložte klíč s výchozí hodnotou.

Pokud je klíč ve slovníku, vrátí hodnotu klíče, jinak výchozí.

setdefault(key, default=None, /)

Parametry

key

Vyžadováno

default

výchozí hodnota: None

update

Pokud je přítomna metoda E a má metodu .keys(), znamená to: for k in E: D[k] = E[k] Pokud je přítomen E a chybí metoda .keys(), pak: for k, v in E: D[k] = v V obou případech následuje: for k in F: D[k] = F[k]

update([E], **F) -> None.  Update D from dict/iterable E and F.

values

values() -> an object providing a view on D's values

Atributy

base_path

Základní cesta prostředku.

Návraty

Základní cesta prostředku.

Návratový typ

str

code

Místní nebo vzdálená cesta ukazující na zdrojový kód.

Návratový typ

Union[str, <xref:PathLike>]

component

ID nebo instance komponenty nebo úlohy Sparku, které se mají během kroku spustit.

Návratový typ

SparkComponent

creation_context

Kontext vytvoření prostředku.

Návraty

Metadata vytvoření prostředku.

Návratový typ

Optional[SystemData]

entry

id

ID prostředku.

Návraty

Globální ID prostředku, ID Azure Resource Manager (ARM).

Návratový typ

Optional[str]

identity

Identita, kterou úloha Sparku použije při běhu na výpočetních prostředcích.

Návratový typ

Union[ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]

inputs

Získejte vstupy pro objekt .

Návraty

Slovník obsahující vstupy pro objekt.

Návratový typ

Dict[str, Union[Input, str, bool, int, float]]

log_files

Výstupní soubory úlohy.

Návraty

Slovník názvů protokolů a adres URL.

Návratový typ

Optional[Dict[str, str]]

name

Získejte název uzlu.

Návraty

Název uzlu

Návratový typ

str

outputs

Získejte výstupy objektu.

Návraty

Slovník obsahující výstupy pro objekt.

Návratový typ

Dict[str, Union[str, Output]]

resources

Konfigurace výpočetního prostředku pro úlohu

Návratový typ

SparkResourceConfiguration

status

Stav úlohy.

Mezi běžné vrácené hodnoty patří Spuštěno, Dokončeno a Neúspěšné. Všechny možné hodnoty jsou:

• NotStarted – jedná se o dočasný stav, ve který se objekty Run na straně klienta nacházejí před odesláním do cloudu.

• Spuštění – Spuštění se začalo zpracovávat v cloudu. Volající má v tuto chvíli ID spuštění.

• Zřizování – pro odeslání úlohy se vytváří výpočetní prostředky na vyžádání.

• Příprava – Prostředí spuštění se připravuje a je v jedné ze dvou fází:

  • Sestavení image Dockeru

  • Nastavení prostředí conda

• Zařazeno do fronty – Úloha je zařazená do fronty v cílovém výpočetním objektu. Například ve službě BatchAI je úloha ve frontě.

  při čekání na připravenost všech požadovaných uzlů.

• Spuštěno – Úloha se začala spouštět na cílovém výpočetním objektu.

• Finalizace – Spuštění uživatelského kódu bylo dokončeno a spuštění je ve fázích následného zpracování.

• CancelRequested – pro úlohu bylo požádáno o zrušení.

• Dokončeno – Spuštění bylo úspěšně dokončeno. To zahrnuje spuštění uživatelského kódu i spuštění.

  fáze následného zpracování.

• Neúspěšné – spuštění se nezdařilo. Vlastnost Error při spuštění obvykle obsahuje podrobné informace o tom, proč tomu tak je.

• Zrušeno – následuje žádost o zrušení a indikuje, že spuštění se teď úspěšně zrušilo.

• Nereaguje – U spuštění s povolenými prezenčními signály se v nedávné době neodeslal žádný prezenční signál.

Návraty

Stav úlohy.

Návratový typ

Optional[str]

studio_url

Koncový bod studia Azure ML.

Návraty

Adresa URL stránky s podrobnostmi úlohy

Návratový typ

Optional[str]

type

Typ úlohy.

Návraty

Typ úlohy.

Návratový typ

Optional[str]

CODE_ID_RE_PATTERN

CODE_ID_RE_PATTERN = re.compile('\\/subscriptions\\/(?P<subscription>[\\w,-]+)\\/resourceGroups\\/(?P<resource_group>[\\w,-]+)\\/providers\\/Microsoft\\.MachineLearningServices\\/workspaces\\/(?P<workspace>[\\w,-]+)\\/codes\\/(?P<co)