Spark Klass

Basklass för spark-nod, som används för förbrukning av spark-komponentversioner.

Du bör inte instansiera den här klassen direkt. I stället bör du skapa den från builder-funktionen: spark.

] :p aram-utdata: En mappning av utdatanamn till utdatakällor som används i jobbet. :type outputs: Dict[str, Union[str, ~azure.ai.ml.Output]] :p aram args: Argumenten för jobbet. :type args: str :p aram compute: Beräkningsresursen som jobbet körs på. :type compute: str :p aram resources: Beräkningsresurskonfigurationen för jobbet. :type resources: Union[Dict, ~azure.ai.ml.entities.SparkResourceConfiguration] :p aram entry: Filen eller klassens startpunkt. :type entry: Dict[str, str] :p aram py_files: Listan över .zip-, .egg- eller .py-filer som ska lagras i PYTHONPATH för Python-appar. :type py_files: List[str] :p aram jars: Listan över . JAR-filer som ska ingå i drivrutinen och körklassökvägarna. :type jars: List[str] :p aram files: Listan över filer som ska placeras i arbetskatalogen för varje utförare. :type files: List[str] :p aram archives: Listan över arkiv som ska extraheras till arbetskatalogen för varje utförare. :type archives: List[str]

Arv

azure.ai.ml.entities._builders.base_node.BaseNode

Spark

azure.ai.ml.entities._job.spark_job_entry_mixin.SparkJobEntryMixin

Spark

Konstruktor

Spark(*, component: str | SparkComponent, identity: Dict[str, str] | ManagedIdentityConfiguration | AmlTokenConfiguration | UserIdentityConfiguration | None = None, driver_cores: int | None = None, driver_memory: str | None = None, executor_cores: int | None = None, executor_memory: str | None = None, executor_instances: int | None = None, dynamic_allocation_enabled: bool | None = None, dynamic_allocation_min_executors: int | None = None, dynamic_allocation_max_executors: int | None = None, conf: Dict[str, str] | None = None, inputs: Dict[str, NodeOutput | Input | str | bool | int | float | Enum] | None = None, outputs: Dict[str, str | Output] | None = None, compute: str | None = None, resources: Dict | SparkResourceConfiguration | None = None, entry: Dict[str, str] | SparkJobEntry | None = None, py_files: List[str] | None = None, jars: List[str] | None = None, files: List[str] | None = None, archives: List[str] | None = None, args: str | None = None, **kwargs)

Parametrar

component

Union[str, SparkComponent]

Obligatorisk

ID:t eller instansen av Spark-komponenten eller jobbet som ska köras under steget.

identity

Union[ Dict[str, str], ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]

Obligatorisk

Den identitet som Spark-jobbet ska använda när det körs på beräkning.

driver_cores

int

Obligatorisk

Antalet kärnor som ska användas för drivrutinsprocessen, endast i klusterläge.

driver_memory

str

Obligatorisk

Mängden minne som ska användas för drivrutinsprocessen, formaterat som strängar med ett suffix för storleksenheter ("k", "m", "g" eller "t") (t.ex. "512m", "2g").

executor_cores

int

Obligatorisk

Antalet kärnor som ska användas på varje utförare.

executor_memory

str

Obligatorisk

Mängden minne som ska användas per körprocess, formaterat som strängar med ett storleksenhetssuffix ("k", "m", "g" eller "t") (t.ex. "512m", "2g").

executor_instances

int

Obligatorisk

Det första antalet utförare.

dynamic_allocation_enabled

bool

Obligatorisk

Om du vill använda dynamisk resursallokering, vilket skalar antalet utförare som registrerats med det här programmet upp och ned baserat på arbetsbelastningen.

dynamic_allocation_min_executors

int

Obligatorisk

Den lägre gränsen för antalet utförare om dynamisk allokering är aktiverad.

dynamic_allocation_max_executors

int

Obligatorisk

Den övre gränsen för antalet utförare om dynamisk allokering är aktiverat.

conf

Dict[str, str]

Obligatorisk

En ordlista med fördefinierad Nyckel och värden för Spark-konfigurationer.

inputs

Dict[str, Union[ <xref:azure.ai.ml.entities._job.pipeline._io.NodeOutput>, Input, str, bool, int, float, <xref:Enum>, ]

Obligatorisk

En mappning av indatanamn till indatakällor som används i jobbet.

Metoder

clear
copy
dump	Dumpar jobbinnehållet till en fil i YAML-format.
fromkeys	Skapa en ny ordlista med nycklar från iterbara och värden inställda på värde.
get	Returnera värdet för nyckeln om nyckeln finns i ordlistan, annars standard.
items
keys
pop	Om nyckeln inte hittas returnerar du standardvärdet om det anges. annars genererar du en KeyError.
popitem	Ta bort och returnera ett par (nyckel, värde) som en 2-tuppeln. Par returneras i LIFO-ordning (sista in, först ut). Genererar KeyError om diktamen är tom.
setdefault	Infoga nyckeln med standardvärdet om nyckeln inte finns i ordlistan. Returnera värdet för nyckeln om nyckeln finns i ordlistan, annars standard.
update	Om E finns och har en .keys()-metod gör det: för k i E: D[k] = E[k] Om E finns och saknar en .keys()-metod, gör det: för k, v i E: D[k] = v I båda fallen följs detta av: för k i F: D[k] = F[k]
values

clear

clear() -> None.  Remove all items from D.

copy

copy() -> a shallow copy of D

dump

Dumpar jobbinnehållet till en fil i YAML-format.

dump(dest: str | PathLike | IO, **kwargs) -> None

Parametrar

dest

Union[<xref:PathLike>, str, IO[AnyStr]]

Obligatorisk

Den lokala sökvägen eller filströmmen som YAML-innehållet ska skrivas till. Om dest är en filsökväg skapas en ny fil. Om dest är en öppen fil skrivs filen till direkt.

kwargs

dict

Ytterligare argument som ska skickas till YAML-serialiseraren.

Undantag

FileExistsError

Upphöjt om dest är en filsökväg och filen redan finns.

IOError

Upphöjt om dest är en öppen fil och filen inte kan skrivas.

fromkeys

Skapa en ny ordlista med nycklar från iterbara och värden inställda på värde.

fromkeys(value=None, /)

Parametrar

type

Obligatorisk

iterable

Obligatorisk

value

standardvärde: None

get

Returnera värdet för nyckeln om nyckeln finns i ordlistan, annars standard.

get(key, default=None, /)

Parametrar

key

Obligatorisk

default

standardvärde: None

items

items() -> a set-like object providing a view on D's items

keys

keys() -> a set-like object providing a view on D's keys

pop

Om nyckeln inte hittas returnerar du standardvärdet om det anges. annars genererar du en KeyError.

pop(k, [d]) -> v, remove specified key and return the corresponding value.

popitem

Ta bort och returnera ett par (nyckel, värde) som en 2-tuppeln.

Par returneras i LIFO-ordning (sista in, först ut). Genererar KeyError om diktamen är tom.

popitem()

setdefault

Infoga nyckeln med standardvärdet om nyckeln inte finns i ordlistan.

Returnera värdet för nyckeln om nyckeln finns i ordlistan, annars standard.

setdefault(key, default=None, /)

Parametrar

key

Obligatorisk

default

standardvärde: None

update

Om E finns och har en .keys()-metod gör det: för k i E: D[k] = E[k] Om E finns och saknar en .keys()-metod, gör det: för k, v i E: D[k] = v I båda fallen följs detta av: för k i F: D[k] = F[k]

update([E], **F) -> None.  Update D from dict/iterable E and F.

values

values() -> an object providing a view on D's values

Attribut

base_path

Resursens grundläggande sökväg.

Returer

Resursens grundläggande sökväg.

Returtyp

str

code

Den lokala sökvägen eller fjärrsökvägen som pekar på källkoden.

Returtyp

Union[str, <xref:PathLike>]

component

ID:t eller instansen av Spark-komponenten eller jobbet som ska köras under steget.

Returtyp

SparkComponent

creation_context

Resursens skapandekontext.

Returer

Skapandemetadata för resursen.

Returtyp

Optional[SystemData]

entry

id

Resurs-ID:t.

Returer

Resursens globala ID, ett ARM-ID (Azure Resource Manager).

Returtyp

Optional[str]

identity

Den identitet som Spark-jobbet ska använda när det körs på beräkning.

Returtyp

Union[ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]

inputs

Hämta indata för objektet.

Returer

En ordlista som innehåller indata för objektet.

Returtyp

Dict[str, Union[Input, str, bool, int, float]]

log_files

Jobbutdatafiler.

Returer

Ordlistan med loggnamn och URL:er.

Returtyp

Optional[Dict[str, str]]

name

Hämta namnet på noden.

Returer

Nodens namn.

Returtyp

str

outputs

Hämta objektets utdata.

Returer

En ordlista som innehåller utdata för objektet.

Returtyp

Dict[str, Union[str, Output]]

resources

Beräkningsresurskonfigurationen för jobbet.

Returtyp

SparkResourceConfiguration

status

Jobbets status.

Vanliga värden som returneras är "Running", "Completed" och "Failed". Alla möjliga värden är:

• NotStarted – det här är ett tillfälligt tillstånd som körningsobjekt på klientsidan befinner sig i innan molnöverföringen.

• Start – Körningen har börjat bearbetas i molnet. Anroparen har ett körnings-ID just nu.

• Etablering – beräkning på begäran skapas för en viss jobböverföring.

• Förbereder – Körningsmiljön förbereds och är i ett av två steg:

  • Docker-avbildningsversion

  • konfiguration av conda-miljö

• I kö – Jobbet placeras i kö på beräkningsmålet. I BatchAI är jobbet till exempel i ett köat tillstånd

  medan du väntar på att alla begärda noder ska vara klara.

• Körs – Jobbet har börjat köras på beräkningsmålet.

• Slutför – Körningen av användarkod har slutförts och körningen är i efterbearbetningssteg.

• CancelRequested – Annullering har begärts för jobbet.

• Slutförd – körningen har slutförts. Detta omfattar både körning och körning av användarkod

  efterbearbetningssteg.

• Misslyckades – körningen misslyckades. Vanligtvis innehåller egenskapen Error på en körning information om varför.

• Avbryts – följer en begäran om annullering och anger att körningen nu har avbrutits.

• Svarar inte – För körningar som har Pulsslag aktiverat har inga pulsslag nyligen skickats.

Returer

Status för jobbet.

Returtyp

Optional[str]

studio_url

Azure ML Studio-slutpunkt.

Returer

URL:en till jobbinformationssidan.

Returtyp

Optional[str]

type

Typen av jobb.

Returer

Typen av jobb.

Returtyp

Optional[str]

CODE_ID_RE_PATTERN

CODE_ID_RE_PATTERN = re.compile('\\/subscriptions\\/(?P<subscription>[\\w,-]+)\\/resourceGroups\\/(?P<resource_group>[\\w,-]+)\\/providers\\/Microsoft\\.MachineLearningServices\\/workspaces\\/(?P<workspace>[\\w,-]+)\\/codes\\/(?P<co)