Dela via

az synapse spark job

  • Referens

Hantera Synapse Spark-batchjobb.

Kommandon

Name Description Typ Status
az synapse spark job cancel

Avbryt ett Spark-jobb.

 Kärna Allmän tillgänglighet
az synapse spark job list

Visa en lista över alla Spark-jobb.

 Kärna Allmän tillgänglighet
az synapse spark job show

Skaffa ett Spark-jobb.

 Kärna Allmän tillgänglighet
az synapse spark job submit

Skicka ett Spark-jobb.

 Kärna Allmän tillgänglighet

az synapse spark job cancel

Redigera

Avbryt ett Spark-jobb.

az synapse spark job cancel --livy-id
                            --spark-pool-name
                            --workspace-name
                            [--yes]

Exempel

Avbryt ett Spark-jobb.

az synapse spark job cancel --livy-id 1 --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

Obligatoriska parametrar

--livy-id

ID:t för Spark-jobbet.

--spark-pool-name

Namnet på Spark-poolen.

--workspace-name

Namnet på arbetsytan.

Valfria parametrar

--yes -y

Fråga inte efter bekräftelse.

Standardvärde: False
Globala parametrar
--debug

Öka loggningsverositeten för att visa alla felsökningsloggar.

--help -h

Visa det här hjälpmeddelandet och avsluta.

--only-show-errors

Visa bara fel och ignorera varningar.

--output -o

Utdataformat.

Godkända värden: json, jsonc, none, table, tsv, yaml, yamlc
Standardvärde: json
--query

JMESPath-frågesträng. Mer http://jmespath.org/ information och exempel finns i.

--subscription

Namn eller ID för prenumerationen. Du kan konfigurera standardprenumerationen med .az account set -s NAME_OR_ID

--verbose

Öka loggningsverbositeten. Använd --debug för fullständiga felsökningsloggar.

az synapse spark job list

Redigera

Visa en lista över alla Spark-jobb.

az synapse spark job list --spark-pool-name
                          --workspace-name
                          [--from-index]
                          [--size]

Exempel

Visa en lista över alla Spark-jobb.

az synapse spark job list --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

Obligatoriska parametrar

--spark-pool-name

Namnet på Spark-poolen.

--workspace-name

Namnet på arbetsytan.

Valfria parametrar

--from-index

Valfri parameter som anger vilket index listan ska börja från.

--size

Storleken på den returnerade listan. Som standard är det 20 och det är det högsta.

Globala parametrar
--debug

Öka loggningsverositeten för att visa alla felsökningsloggar.

--help -h

Visa det här hjälpmeddelandet och avsluta.

--only-show-errors

Visa bara fel och ignorera varningar.

--output -o

Utdataformat.

Godkända värden: json, jsonc, none, table, tsv, yaml, yamlc
Standardvärde: json
--query

JMESPath-frågesträng. Mer http://jmespath.org/ information och exempel finns i.

--subscription

Namn eller ID för prenumerationen. Du kan konfigurera standardprenumerationen med .az account set -s NAME_OR_ID

--verbose

Öka loggningsverbositeten. Använd --debug för fullständiga felsökningsloggar.

az synapse spark job show

Redigera

Skaffa ett Spark-jobb.

az synapse spark job show --livy-id
                          --spark-pool-name
                          --workspace-name

Exempel

Skaffa ett Spark-jobb.

az synapse spark job show --livy-id 1 --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

Obligatoriska parametrar

--livy-id

ID:t för Spark-jobbet.

--spark-pool-name

Namnet på Spark-poolen.

--workspace-name

Namnet på arbetsytan.

Globala parametrar
--debug

Öka loggningsverositeten för att visa alla felsökningsloggar.

--help -h

Visa det här hjälpmeddelandet och avsluta.

--only-show-errors

Visa bara fel och ignorera varningar.

--output -o

Utdataformat.

Godkända värden: json, jsonc, none, table, tsv, yaml, yamlc
Standardvärde: json
--query

JMESPath-frågesträng. Mer http://jmespath.org/ information och exempel finns i.

--subscription

Namn eller ID för prenumerationen. Du kan konfigurera standardprenumerationen med .az account set -s NAME_OR_ID

--verbose

Öka loggningsverbositeten. Använd --debug för fullständiga felsökningsloggar.

az synapse spark job submit

Redigera

Skicka ett Spark-jobb.

az synapse spark job submit --executor-size {Large, Medium, Small}
                            --executors
                            --main-definition-file
                            --name
                            --spark-pool-name
                            --workspace-name
                            [--archives]
                            [--arguments]
                            [--configuration]
                            [--language {CSharp, PySpark, Python, Scala, Spark, SparkDotNet}]
                            [--main-class-name]
                            [--python-files]
                            [--reference-files]
                            [--tags]

Exempel

Skicka ett Java Spark-jobb.

az synapse spark job submit --name WordCount_Java --workspace-name testsynapseworkspace \
--spark-pool-name testsparkpool \
--main-definition-file abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/wordcount.jar \
--main-class-name WordCount \
--arguments abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/shakespeare.txt \
abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/result/ \
--executors 2 --executor-size Small

Obligatoriska parametrar

--executor-size

Körstorleken.

Godkända värden: Large, Medium, Small
--executors

Antalet utförare.

--main-definition-file

Huvudfilen som används för jobbet.

--name -n

Spark-jobbnamnet.

--spark-pool-name

Namnet på Spark-poolen.

--workspace-name

Namnet på arbetsytan.

Valfria parametrar

--archives

Matrisen med arkiv.

--arguments

Valfria argument för jobbet (Obs! Använd lagrings-URI:er för filargument).

--configuration

Konfigurationen av Spark-jobbet.

--language

Spark-jobbspråket.

Godkända värden: CSharp, PySpark, Python, Scala, Spark, SparkDotNet
Standardvärde: Scala
--main-class-name

Den fullständigt kvalificerade identifieraren eller huvudklassen som finns i huvuddefinitionsfilen.

--python-files

Matrisen med filer som används för referens i huvuddefinitionsfilen för Python. Exempel är anpassade whl-filer och anpassade Python-filer. Kan skicka flera filer, till exempel "az synapse spark job sumbit <other_args> --python_files abfss://file1 abss://file2".

--reference-files

Ytterligare filer som används som referens i huvuddefinitionsfilen.

--tags

Blankstegsavgränsade taggar: key[=value] [key[=value] ...]. Använd "" för att rensa befintliga taggar.

Globala parametrar
--debug

Öka loggningsverositeten för att visa alla felsökningsloggar.

--help -h

Visa det här hjälpmeddelandet och avsluta.

--only-show-errors

Visa bara fel och ignorera varningar.

--output -o

Utdataformat.

Godkända värden: json, jsonc, none, table, tsv, yaml, yamlc
Standardvärde: json
--query

JMESPath-frågesträng. Mer http://jmespath.org/ information och exempel finns i.

--subscription

Namn eller ID för prenumerationen. Du kan konfigurera standardprenumerationen med .az account set -s NAME_OR_ID

--verbose

Öka loggningsverbositeten. Använd --debug för fullständiga felsökningsloggar.