Spark Classe

Classe de base pour le nœud Spark, utilisée pour la consommation de la version du composant Spark.

Vous ne devez pas instancier cette classe directement. Au lieu de cela, vous devez le créer à partir de la fonction de générateur : spark.

] :p sortiesaram : mappage des noms de sortie aux sources de données de sortie utilisées dans le travail. :type outputs : Dict[str, Union[str, ~azure.ai.ml.Output]] :p aram args : arguments du travail. :type args : str :p aram compute : ressource de calcul sur laquelle le travail s’exécute. :type compute : str :p aram resources : Configuration des ressources de calcul pour le travail. :type resources : Union[Dict, ~azure.ai.ml.entities.SparkResourceConfiguration] :p aram entry : The file or class entry point. :type entry : Dict[str, str] :p aram py_files : liste des fichiers .zip, .egg ou .py à placer sur pythonPATH pour les applications Python. :type py_files : List[str] :p jarsaram : la liste de . Fichiers JAR à inclure dans les chemins de classe du pilote et de l’exécuteur. :type jars : List[str] :p aram files : liste des fichiers à placer dans le répertoire de travail de chaque exécuteur. :type files : List[str] :p aram archives : liste des archives à extraire dans le répertoire de travail de chaque exécuteur. :type archives : List[str]

Héritage

azure.ai.ml.entities._builders.base_node.BaseNode

Spark

azure.ai.ml.entities._job.spark_job_entry_mixin.SparkJobEntryMixin

Spark

Constructeur

Spark(*, component: str | SparkComponent, identity: Dict[str, str] | ManagedIdentityConfiguration | AmlTokenConfiguration | UserIdentityConfiguration | None = None, driver_cores: int | None = None, driver_memory: str | None = None, executor_cores: int | None = None, executor_memory: str | None = None, executor_instances: int | None = None, dynamic_allocation_enabled: bool | None = None, dynamic_allocation_min_executors: int | None = None, dynamic_allocation_max_executors: int | None = None, conf: Dict[str, str] | None = None, inputs: Dict[str, NodeOutput | Input | str | bool | int | float | Enum] | None = None, outputs: Dict[str, str | Output] | None = None, compute: str | None = None, resources: Dict | SparkResourceConfiguration | None = None, entry: Dict[str, str] | SparkJobEntry | None = None, py_files: List[str] | None = None, jars: List[str] | None = None, files: List[str] | None = None, archives: List[str] | None = None, args: str | None = None, **kwargs)

Paramètres

component

Union[str, SparkComponent]

Obligatoire

ID ou instance du composant ou du travail Spark à exécuter pendant l’étape.

identity

Union[ Dict[str, str], ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]

Obligatoire

Identité que le travail Spark utilisera lors de l’exécution sur le calcul.

driver_cores

int

Obligatoire

Nombre de cœurs à utiliser pour le processus de pilote, uniquement en mode cluster.

driver_memory

str

Obligatoire

Quantité de mémoire à utiliser pour le processus de pilote, mise en forme sous forme de chaînes avec un suffixe d’unité de taille (« k », « m », « g » ou « t ») (par exemple, « 512m », « 2g »).

executor_cores

int

Obligatoire

Nombre de cœurs à utiliser sur chaque exécuteur.

executor_memory

str

Obligatoire

Quantité de mémoire à utiliser par processus d’exécuteur, mise en forme sous forme de chaînes avec un suffixe d’unité de taille (« k », « m », « g » ou « t ») (par exemple, « 512m », « 2g »).

executor_instances

int

Obligatoire

Nombre initial d’exécuteurs.

dynamic_allocation_enabled

bool

Obligatoire

Indique s’il faut utiliser l’allocation dynamique des ressources, qui met à l’échelle le nombre d’exécuteurs inscrits auprès de cette application en fonction de la charge de travail.

dynamic_allocation_min_executors

int

Obligatoire

Limite inférieure pour le nombre d’exécuteurs si l’allocation dynamique est activée.

dynamic_allocation_max_executors

int

Obligatoire

Limite supérieure pour le nombre d’exécuteurs si l’allocation dynamique est activée.

conf

Dict[str, str]

Obligatoire

Dictionnaire avec une clé et des valeurs de configuration Spark prédéfinies.

inputs

Dict[str, Union[ <xref:azure.ai.ml.entities._job.pipeline._io.NodeOutput>, Input, str, bool, int, float, <xref:Enum>, ]

Obligatoire

Mappage des noms d’entrée aux sources de données d’entrée utilisées dans le travail.

Méthodes

clear
copy
dump	Vide le contenu du travail dans un fichier au format YAML.
fromkeys	Créez un dictionnaire avec des clés itérables et des valeurs définies sur valeur.
get	Retourne la valeur de la clé si la clé se trouve dans le dictionnaire, sinon par défaut.
items
keys
pop	Si la clé est introuvable, retournez la valeur par défaut si elle est donnée ; sinon, déclenchez une erreur KeyError.
popitem	Supprimez et retournez une paire (clé, valeur) sous la forme d’un tuple à 2. Les paires sont retournées dans l’ordre LIFO (dernier entré, premier sorti). Lève KeyError si la dict est vide.
setdefault	Insérez une clé avec une valeur par défaut si la clé n’est pas dans le dictionnaire. Retourne la valeur de la clé si la clé se trouve dans le dictionnaire, sinon par défaut.
update	Si E est présent et a une méthode .keys(), alors fait : pour k dans E : D[k] = E[k] Si E est présent et ne dispose pas d’une méthode .keys(), alors fait : for k, v in E : D[k] = v Dans les deux cas, ceci est suivi par : for k in F : D[k] = F[k]
values

clear

clear() -> None.  Remove all items from D.

copy

copy() -> a shallow copy of D

dump

Vide le contenu du travail dans un fichier au format YAML.

dump(dest: str | PathLike | IO, **kwargs) -> None

Paramètres

dest

Union[<xref:PathLike>, str, IO[AnyStr]]

Obligatoire

Chemin d’accès local ou flux de fichiers dans lequel écrire le contenu YAML. Si dest est un chemin de fichier, un nouveau fichier est créé. Si dest est un fichier ouvert, le fichier est écrit directement dans.

kwargs

dict

Arguments supplémentaires à passer au sérialiseur YAML.

Exceptions

FileExistsError

Déclenché si dest est un chemin de fichier et que le fichier existe déjà.

IOError

Déclenché si dest est un fichier ouvert et que le fichier n’est pas accessible en écriture.

fromkeys

Créez un dictionnaire avec des clés itérables et des valeurs définies sur valeur.

fromkeys(value=None, /)

Paramètres

type

Obligatoire

iterable

Obligatoire

value

valeur par défaut: None

get

Retourne la valeur de la clé si la clé se trouve dans le dictionnaire, sinon par défaut.

get(key, default=None, /)

Paramètres

key

Obligatoire

default

valeur par défaut: None

items

items() -> a set-like object providing a view on D's items

keys

keys() -> a set-like object providing a view on D's keys

pop

Si la clé est introuvable, retournez la valeur par défaut si elle est donnée ; sinon, déclenchez une erreur KeyError.

pop(k, [d]) -> v, remove specified key and return the corresponding value.

popitem

Supprimez et retournez une paire (clé, valeur) sous la forme d’un tuple à 2.

Les paires sont retournées dans l’ordre LIFO (dernier entré, premier sorti). Lève KeyError si la dict est vide.

popitem()

setdefault

Insérez une clé avec une valeur par défaut si la clé n’est pas dans le dictionnaire.

Retourne la valeur de la clé si la clé se trouve dans le dictionnaire, sinon par défaut.

setdefault(key, default=None, /)

Paramètres

key

Obligatoire

default

valeur par défaut: None

update

Si E est présent et a une méthode .keys(), alors fait : pour k dans E : D[k] = E[k] Si E est présent et ne dispose pas d’une méthode .keys(), alors fait : for k, v in E : D[k] = v Dans les deux cas, ceci est suivi par : for k in F : D[k] = F[k]

update([E], **F) -> None.  Update D from dict/iterable E and F.

values

values() -> an object providing a view on D's values

Attributs

base_path

Chemin d’accès de base de la ressource.

Retours

Chemin d’accès de base de la ressource.

Type de retour

str

code

Chemin d’accès local ou distant pointant vers le code source.

Type de retour

Union[str, <xref:PathLike>]

component

ID ou instance du composant ou du travail Spark à exécuter pendant l’étape.

Type de retour

SparkComponent

creation_context

Contexte de création de la ressource.

Retours

Métadonnées de création pour la ressource.

Type de retour

Optional[SystemData]

entry

id

ID de la ressource.

Retours

ID global de la ressource, id Azure Resource Manager (ARM).

Type de retour

Optional[str]

identity

Identité que le travail Spark utilisera lors de l’exécution sur le calcul.

Type de retour

Union[ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]

inputs

Obtenez les entrées de l’objet.

Retours

Dictionnaire contenant les entrées de l’objet.

Type de retour

Dict[str, Union[Input, str, bool, int, float]]

log_files

Fichiers de sortie de travail.

Retours

Dictionnaire des noms de journaux et des URL.

Type de retour

Optional[Dict[str, str]]

name

Obtenez le nom du nœud.

Retours

Nom du nœud.

Type de retour

str

outputs

Obtenez les sorties de l’objet.

Retours

Dictionnaire contenant les sorties de l’objet.

Type de retour

Dict[str, Union[str, Output]]

resources

Configuration des ressources de calcul pour le travail.

Type de retour

SparkResourceConfiguration

status

État du travail.

Les valeurs courantes retournées sont « Exécution en cours (Running) », « Terminé (Finished) » et « Échec (Failed) ». Toutes les valeurs possibles sont les suivantes :

• NotStarted : il s’agit d’un état temporaire dans lequel se trouvent les objets Run côté client avant la soumission cloud.

• Démarrage : l’exécution a commencé à être traitée dans le cloud. L’appelant a un ID d’exécution à ce stade.

• Approvisionnement : le calcul à la demande est en cours de création pour une soumission de travail donnée.

• Préparation : l’environnement d’exécution est en cours de préparation et se trouve dans l’une des deux étapes suivantes :

  • Build d’image Docker

  • Configuration de l’environnement Conda

• Mis en file d’attente : le travail est mis en file d’attente sur la cible de calcul. Par exemple, dans BatchAI, le travail est dans un état mis en file d’attente

  en attendant que tous les nœuds demandés soient prêts.

• En cours d’exécution : le travail a commencé à s’exécuter sur la cible de calcul.

• Finalisation : l’exécution du code utilisateur est terminée et l’exécution est en phase de post-traitement.

• CancelRequested : l’annulation a été demandée pour le travail.

• Terminé : l’exécution s’est terminée avec succès. Cela inclut à la fois l’exécution et l’exécution du code utilisateur

  Étapes de post-traitement.

• Failed (Échec) : l’exécution a échoué. En règle générale, la propriété Error d’une exécution fournit des détails sur la raison de l’échec.

• Annulé : suit une demande d’annulation et indique que l’exécution a bien été annulée.

• NotResponding : pour les exécutions pour lesquelles des pulsations sont activées, aucune pulsation n’a été envoyée récemment.

Retours

État du travail.

Type de retour

Optional[str]

studio_url

Point de terminaison Azure ML Studio.

Retours

URL de la page des détails du travail.

Type de retour

Optional[str]

type

Type du travail.

Retours

Type du travail.

Type de retour

Optional[str]

CODE_ID_RE_PATTERN

CODE_ID_RE_PATTERN = re.compile('\\/subscriptions\\/(?P<subscription>[\\w,-]+)\\/resourceGroups\\/(?P<resource_group>[\\w,-]+)\\/providers\\/Microsoft\\.MachineLearningServices\\/workspaces\\/(?P<workspace>[\\w,-]+)\\/codes\\/(?P<co)