Partager via

Parallel Classe

  • Référence

Classe de base pour le nœud parallèle, utilisée pour la consommation de version des composants parallèles.

Vous ne devez pas instancier cette classe directement. Au lieu de cela, vous devez créer à partir de la fonction de générateur : parallel.

Héritage
azure.ai.ml.entities._builders.base_node.BaseNode
Parallel
azure.ai.ml.entities._job.pipeline._io.mixin.NodeWithGroupInputMixin
Parallel

Constructeur

Parallel(*, component: ParallelComponent | str, compute: str | None = None, inputs: Dict[str, NodeOutput | Input | str | bool | int | float | Enum] | None = None, outputs: Dict[str, str | Output] | None = None, retry_settings: Dict[str, RetrySettings | str] | None = None, logging_level: str | None = None, max_concurrency_per_instance: int | None = None, error_threshold: int | None = None, mini_batch_error_threshold: int | None = None, input_data: str | None = None, task: Dict[str, ParallelTask | str] | None = None, partition_keys: List | None = None, mini_batch_size: int | None = None, resources: JobResourceConfiguration | None = None, environment_variables: Dict | None = None, **kwargs)

Paramètres

component
<xref:azure.ai.ml.entities._component.parallel_component.parallelComponent>
Obligatoire

ID ou instance du composant/travail parallèle à exécuter pour l’étape

name
str
Obligatoire

Nom du parallèle

description
str
Obligatoire

Description du commad

tags
dict[str, str]
Obligatoire

Dictionnaire de balises. Les étiquettes peuvent être ajoutées, supprimées et mises à jour

properties
dict[str, str]
Obligatoire

Dictionnaire de propriétés de travail

display_name
str
Obligatoire

Nom d’affichage du travail

retry_settings
BatchRetrySettings
Obligatoire

Échec de nouvelle tentative d’exécution de travaux parallèles

logging_level
str
Obligatoire

Chaîne du nom du niveau de journalisation

max_concurrency_per_instance
int
Obligatoire

Parallélisme maximal dont dispose chaque instance de calcul

error_threshold
int
Obligatoire

Le nombre d’échecs de traitement des éléments doit être ignoré

mini_batch_error_threshold
int
Obligatoire

Le nombre d’échecs de traitement par mini-lots doit être ignoré

task
ParallelTask
Obligatoire

Tâche parallèle

mini_batch_size
str
Obligatoire

Pour une entrée FileDataset, ce champ est le nombre de fichiers que le script utilisateur peut traiter dans un appel à la méthode run(). Pour une entrée TabularDataset, ce champ correspond à la taille approximative des données que le script utilisateur peut traiter dans un appel de la méthode run(). Les exemples de valeurs sont 1 024, 1 024 Ko, 10 Mo et 1 Go. (facultatif, la valeur par défaut est 10 fichiers pour FileDataset et 1 Mo pour TabularDataset.) Cette valeur peut être définie via PipelineParameter

partition_keys
List
Obligatoire

Clés utilisées pour partitionner le jeu de données en mini-lots. Si la valeur est spécifiée, les données avec la même clé sont partitionnées dans le même mini-lot. Si partition_keys et mini_batch_size sont spécifiés, les clés de partition prennent effet. Les entrées doivent être des jeux de données partitionnés et partition_keys doit être un sous-ensemble des clés de chaque jeu de données d’entrée pour que cela fonctionne.

input_data
str
Obligatoire

Données d’entrée

inputs
dict
Obligatoire

Entrées du composant/travail

outputs
dict
Obligatoire

Sorties du composant/travail

Méthodes

clear
copy
dump

Vide le contenu du travail dans un fichier au format YAML.
fromkeys

Créez un dictionnaire avec des clés itérables et des valeurs définies sur valeur.
get

Retourne la valeur de la clé si la clé se trouve dans le dictionnaire, sinon par défaut.
items
keys
pop

Si la clé est introuvable, retournez la valeur par défaut si elle est donnée ; sinon, déclenchez une erreur KeyError.
popitem

Supprimez et retournez une paire (clé, valeur) sous la forme d’un tuple à 2.

Les paires sont retournées dans l’ordre LIFO (dernier entré, premier sorti). Déclenche KeyError si le dict est vide.
set_resources

Définissez les ressources pour le travail parallèle.
setdefault

Insérez une clé avec une valeur par défaut si la clé n’est pas dans le dictionnaire.

Retourne la valeur de la clé si la clé se trouve dans le dictionnaire, sinon par défaut.
update

Si E est présent et a une méthode .keys(), alors fait : pour k dans E : D[k] = E[k] Si E est présent et ne dispose pas d’une méthode .keys(), alors fait : pour k, v dans E : D[k] = v Dans les deux cas, ceci est suivi par : pour k en F : D[k] = F[k]
values

clear 

clear() -> None.  Remove all items from D.

copy 

copy() -> a shallow copy of D

dump

Vide le contenu du travail dans un fichier au format YAML.

dump(dest: str | PathLike | IO, **kwargs) -> None

Paramètres

dest
Union[<xref:PathLike>, str, IO[AnyStr]]
Obligatoire

Chemin d’accès local ou flux de fichiers dans lequel écrire le contenu YAML. Si dest est un chemin de fichier, un nouveau fichier est créé. Si dest est un fichier ouvert, le fichier est écrit directement dans.

kwargs
dict

Arguments supplémentaires à passer au sérialiseur YAML.

Exceptions

FileExistsError

Déclenché si dest est un chemin de fichier et que le fichier existe déjà.

IOError

Déclenché si dest est un fichier ouvert et que le fichier n’est pas accessible en écriture.

fromkeys

Créez un dictionnaire avec des clés itérables et des valeurs définies sur valeur.

fromkeys(value=None, /)

Paramètres

type
Obligatoire
iterable
Obligatoire
value
valeur par défaut: None

get

Retourne la valeur de la clé si la clé se trouve dans le dictionnaire, sinon par défaut.

get(key, default=None, /)

Paramètres

key
Obligatoire
default
valeur par défaut: None

items 

items() -> a set-like object providing a view on D's items

keys 

keys() -> a set-like object providing a view on D's keys

pop

Si la clé est introuvable, retournez la valeur par défaut si elle est donnée ; sinon, déclenchez une erreur KeyError.

pop(k, [d]) -> v, remove specified key and return the corresponding value.

popitem

Supprimez et retournez une paire (clé, valeur) sous la forme d’un tuple à 2.

Les paires sont retournées dans l’ordre LIFO (dernier entré, premier sorti). Déclenche KeyError si le dict est vide.

popitem()

set_resources

Définissez les ressources pour le travail parallèle.

set_resources(*, instance_type: str | List[str] | None = None, instance_count: int | None = None, properties: Dict | None = None, docker_args: str | None = None, shm_size: str | None = None, **kwargs)

Paramètres

instance_type
str ou list[str]

Type instance ou liste des types instance utilisés comme pris en charge par la cible de calcul.

instance_count
int

Nombre d’instances ou de nœuds utilisés par la cible de calcul.

properties
dict

Dictionnaire de propriétés pour les ressources.

docker_args
str

Arguments supplémentaires à transmettre à la commande run de Docker.

shm_size
str

Taille du bloc de mémoire partagée du conteneur Docker.

setdefault

Insérez une clé avec une valeur par défaut si la clé n’est pas dans le dictionnaire.

Retourne la valeur de la clé si la clé se trouve dans le dictionnaire, sinon par défaut.

setdefault(key, default=None, /)

Paramètres

key
Obligatoire
default
valeur par défaut: None

update

Si E est présent et a une méthode .keys(), alors fait : pour k dans E : D[k] = E[k] Si E est présent et ne dispose pas d’une méthode .keys(), alors fait : pour k, v dans E : D[k] = v Dans les deux cas, ceci est suivi par : pour k en F : D[k] = F[k]

update([E], **F) -> None.  Update D from dict/iterable E and F.

values 

values() -> an object providing a view on D's values

Attributs

base_path

Chemin de base de la ressource.

Retours

Chemin de base de la ressource.

Type de retour

str

component

Obtenez le composant du travail parallèle.

Retours

Composant du travail parallèle.

Type de retour

str,
ParallelComponent

creation_context

Contexte de création de la ressource.

Retours

Métadonnées de création de la ressource.

Type de retour

Optional[SystemData]

id

ID de la ressource.

Retours

L’ID global de la ressource, un ID Azure Resource Manager (ARM).

Type de retour

Optional[str]

inputs

Obtenez les entrées de l’objet .

Retours

Dictionnaire contenant les entrées de l’objet .

Type de retour

Dict[str, Union[Input, str, bool, int, float]]

log_files

Fichiers de sortie de travail.

Retours

Dictionnaire des noms de journaux et des URL.

Type de retour

Optional[Dict[str, str]]

name

Obtient le nom du nœud.

Retours

Nom du nœud.

Type de retour

str

outputs

Obtient les sorties de l’objet .

Retours

Dictionnaire contenant les sorties de l’objet .

Type de retour

Dict[str, Union[str, Output]]

resources

Obtenez la configuration des ressources pour le travail parallèle.

Retours

Configuration des ressources pour le travail parallèle.

Type de retour

JobResourceConfiguration

retry_settings

Obtenez les paramètres de nouvelle tentative pour le travail parallèle.

Retours

Paramètres de nouvelle tentative pour le travail parallèle.

Type de retour

RetrySettings

status

État du travail.

Les valeurs courantes retournées sont « Exécution en cours (Running) », « Terminé (Finished) » et « Échec (Failed) ». Toutes les valeurs possibles sont les suivantes :

  • NotStarted : il s’agit d’un état temporaire dans lequel les objets Run côté client se trouvent avant la soumission au cloud.

  • Démarrage : l’exécution a commencé à être traitée dans le cloud. L’appelant a un ID d’exécution à ce stade.

  • Approvisionnement : le calcul à la demande est en cours de création pour une soumission de travail donnée.

  • Préparation : l’environnement d’exécution est en cours de préparation et se trouve dans l’une des deux étapes suivantes :

    • Build d’image Docker

    • Configuration de l’environnement Conda

  • Mis en file d’attente : le travail est mis en file d’attente sur la cible de calcul. Par exemple, dans BatchAI, le travail est dans un état mis en file d’attente

    en attendant que tous les nœuds demandés soient prêts.

  • Exécution : le travail a commencé à s’exécuter sur la cible de calcul.

  • Finalisation : l’exécution du code utilisateur est terminée et l’exécution est en phases de post-traitement.

  • CancelRequested : l’annulation a été demandée pour le travail.

  • Terminé : l’exécution s’est terminée avec succès. Cela inclut à la fois l’exécution du code utilisateur et l’exécution

    Étapes de post-traitement.

  • Failed (Échec) : l’exécution a échoué. En règle générale, la propriété Error d’une exécution fournit des détails sur la raison de l’échec.

  • Annulé : suit une demande d’annulation et indique que l’exécution a bien été annulée.

  • NotResponding : pour les exécutions pour lesquelles des pulsations sont activées, aucune pulsation n’a été envoyée récemment.

Retours

État du travail.

Type de retour

Optional[str]

studio_url

Point de terminaison Azure ML Studio.

Retours

URL de la page de détails du travail.

Type de retour

Optional[str]

task

Obtenez la tâche parallèle.

Retours

Tâche parallèle.

Type de retour

ParallelTask

type

Type du travail.

Retours

Type du travail.

Type de retour

Optional[str]