Partager via

az synapse spark job

  • Référence

Gérer les travaux de traitement par lots Synapse Spark.

Commandes

Nom Description Type État
az synapse spark job cancel

Annulez un travail Spark.

 Core GA
az synapse spark job list

Répertorier tous les travaux Spark.

 Core GA
az synapse spark job show

Obtenir un travail Spark.

 Core GA
az synapse spark job submit

Envoyez un travail Spark.

 Core GA

az synapse spark job cancel

Modifier

Annulez un travail Spark.

az synapse spark job cancel --livy-id
                            --spark-pool-name
                            --workspace-name
                            [--yes]

Exemples

Annulez un travail Spark.

az synapse spark job cancel --livy-id 1 --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

Paramètres obligatoires

--livy-id

ID du travail Spark.

--spark-pool-name

Nom du pool Spark.

--workspace-name

Nom de l’espace de travail.

Paramètres facultatifs

--yes -y

Ne pas demander de confirmation.

Valeur par défaut: False
Paramètres globaux
--debug

Augmentez le niveau de détail de la journalisation pour afficher tous les journaux de débogage.

--help -h

Affichez ce message d’aide et quittez.

--only-show-errors

Afficher uniquement les erreurs, en supprimant les avertissements.

--output -o

Format de sortie.

Valeurs acceptées: json, jsonc, none, table, tsv, yaml, yamlc
Valeur par défaut: json
--query

Chaîne de requêtes JMESPath. Pour plus d’informations et d’exemples, consultez http://jmespath.org/.

--subscription

Nom ou ID de l’abonnement. Vous pouvez configurer l’abonnement par défaut en utilisant az account set -s NAME_OR_ID.

--verbose

Augmentez le niveau de détail de la journalisation. Utilisez --debug pour des journaux de débogage complets.

az synapse spark job list

Modifier

Répertorier tous les travaux Spark.

az synapse spark job list --spark-pool-name
                          --workspace-name
                          [--from-index]
                          [--size]

Exemples

Répertorier tous les travaux Spark.

az synapse spark job list --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

Paramètres obligatoires

--spark-pool-name

Nom du pool Spark.

--workspace-name

Nom de l’espace de travail.

Paramètres facultatifs

--from-index

Paramètre facultatif spécifiant l’index à partir duquel la liste doit commencer.

--size

Taille de la liste retournée. Par défaut, il s’agit de 20 et c’est le maximum.

Paramètres globaux
--debug

Augmentez le niveau de détail de la journalisation pour afficher tous les journaux de débogage.

--help -h

Affichez ce message d’aide et quittez.

--only-show-errors

Afficher uniquement les erreurs, en supprimant les avertissements.

--output -o

Format de sortie.

Valeurs acceptées: json, jsonc, none, table, tsv, yaml, yamlc
Valeur par défaut: json
--query

Chaîne de requêtes JMESPath. Pour plus d’informations et d’exemples, consultez http://jmespath.org/.

--subscription

Nom ou ID de l’abonnement. Vous pouvez configurer l’abonnement par défaut en utilisant az account set -s NAME_OR_ID.

--verbose

Augmentez le niveau de détail de la journalisation. Utilisez --debug pour des journaux de débogage complets.

az synapse spark job show

Modifier

Obtenir un travail Spark.

az synapse spark job show --livy-id
                          --spark-pool-name
                          --workspace-name

Exemples

Obtenir un travail Spark.

az synapse spark job show --livy-id 1 --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

Paramètres obligatoires

--livy-id

ID du travail Spark.

--spark-pool-name

Nom du pool Spark.

--workspace-name

Nom de l’espace de travail.

Paramètres globaux
--debug

Augmentez le niveau de détail de la journalisation pour afficher tous les journaux de débogage.

--help -h

Affichez ce message d’aide et quittez.

--only-show-errors

Afficher uniquement les erreurs, en supprimant les avertissements.

--output -o

Format de sortie.

Valeurs acceptées: json, jsonc, none, table, tsv, yaml, yamlc
Valeur par défaut: json
--query

Chaîne de requêtes JMESPath. Pour plus d’informations et d’exemples, consultez http://jmespath.org/.

--subscription

Nom ou ID de l’abonnement. Vous pouvez configurer l’abonnement par défaut en utilisant az account set -s NAME_OR_ID.

--verbose

Augmentez le niveau de détail de la journalisation. Utilisez --debug pour des journaux de débogage complets.

az synapse spark job submit

Modifier

Envoyez un travail Spark.

az synapse spark job submit --executor-size {Large, Medium, Small}
                            --executors
                            --main-definition-file
                            --name
                            --spark-pool-name
                            --workspace-name
                            [--archives]
                            [--arguments]
                            [--configuration]
                            [--language {CSharp, PySpark, Python, Scala, Spark, SparkDotNet}]
                            [--main-class-name]
                            [--python-files]
                            [--reference-files]
                            [--tags]

Exemples

Envoyez un travail Java Spark.

az synapse spark job submit --name WordCount_Java --workspace-name testsynapseworkspace \
--spark-pool-name testsparkpool \
--main-definition-file abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/wordcount.jar \
--main-class-name WordCount \
--arguments abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/shakespeare.txt \
abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/result/ \
--executors 2 --executor-size Small

Paramètres obligatoires

--executor-size

Taille de l’exécuteur.

Valeurs acceptées: Large, Medium, Small
--executors

Nombre d’exécuteurs.

--main-definition-file

Fichier principal utilisé pour le travail.

--name -n

Nom du travail Spark.

--spark-pool-name

Nom du pool Spark.

--workspace-name

Nom de l’espace de travail.

Paramètres facultatifs

--archives

Tableau d’archives.

--arguments

Arguments facultatifs du travail (Remarque : utilisez des URI de stockage pour les arguments de fichier).

--configuration

Configuration du travail Spark.

--language

Langue du travail Spark.

Valeurs acceptées: CSharp, PySpark, Python, Scala, Spark, SparkDotNet
Valeur par défaut: Scala
--main-class-name

Identificateur complet ou classe principale qui se trouve dans le fichier de définition principal.

--python-files

Tableau de fichiers utilisés pour lafenence dans le fichier de définition python principal. Les exemples incluent des fichiers whl personnalisés et des fichiers Python personnalisés. Peut passer plusieurs fichiers tels que « az synapse spark job sumbit <other_args> --python_files abfss://file1 abss://file2 ».

--reference-files

Fichiers supplémentaires utilisés en guise de référence dans le fichier de définition principal.

--tags

Balises séparées par l’espace : key[=value] [key[=value] ...]. Utilisez « » pour effacer les balises existantes.

Paramètres globaux
--debug

Augmentez le niveau de détail de la journalisation pour afficher tous les journaux de débogage.

--help -h

Affichez ce message d’aide et quittez.

--only-show-errors

Afficher uniquement les erreurs, en supprimant les avertissements.

--output -o

Format de sortie.

Valeurs acceptées: json, jsonc, none, table, tsv, yaml, yamlc
Valeur par défaut: json
--query

Chaîne de requêtes JMESPath. Pour plus d’informations et d’exemples, consultez http://jmespath.org/.

--subscription

Nom ou ID de l’abonnement. Vous pouvez configurer l’abonnement par défaut en utilisant az account set -s NAME_OR_ID.

--verbose

Augmentez le niveau de détail de la journalisation. Utilisez --debug pour des journaux de débogage complets.