az synapse spark job

Verwalten von Synapse Spark-Batchaufträgen.

Befehle

Name	Beschreibung	Typ	Status
az synapse spark job cancel	Abbrechen eines Spark-Auftrags.	Kern	GA
az synapse spark job list	Alle Spark-Aufträge auflisten.	Kern	GA
az synapse spark job show	Abrufen eines Spark-Auftrags.	Kern	GA
az synapse spark job submit	Senden sie einen Spark-Auftrag.	Kern	GA

az synapse spark job cancel

Abbrechen eines Spark-Auftrags.

az synapse spark job cancel --livy-id
                            --spark-pool-name
                            --workspace-name
                            [--yes]

Beispiele

Abbrechen eines Spark-Auftrags.

az synapse spark job cancel --livy-id 1 --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

Erforderliche Parameter

--livy-id

Die ID des Spark-Auftrags.

--spark-pool-name

Der Name des Spark-Pools.

--workspace-name

Der Name des Arbeitsbereichs.

Optionale Parameter

--yes -y

Zur Bestätigung nicht auffordern.

Standardwert: False

Globale Parameter

--debug

Erhöhen Sie die Ausführlichkeit der Protokollierung, um alle Debugprotokolle anzuzeigen.

--help -h

Diese Hilfemeldung anzeigen und schließen.

--only-show-errors

Nur Fehler anzeigen, Warnungen unterdrücken.

--output -o

Ausgabeformat.

Zulässige Werte: json, jsonc, none, table, tsv, yaml, yamlc

Standardwert: json

--query

JMESPath-Abfragezeichenfolge. Weitere Informationen und Beispiele finden Sie unter http://jmespath.org/.

--subscription

Name oder ID des Abonnements. Sie können das Standardabonnement mithilfe von az account set -s NAME_OR_IDkonfigurieren.

--verbose

Erhöhen Sie die Ausführlichkeit der Protokollierung. Verwenden Sie "-debug" für vollständige Debugprotokolle.

az synapse spark job list

Alle Spark-Aufträge auflisten.

az synapse spark job list --spark-pool-name
                          --workspace-name
                          [--from-index]
                          [--size]

Beispiele

Alle Spark-Aufträge auflisten.

az synapse spark job list --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

Erforderliche Parameter

--spark-pool-name

Der Name des Spark-Pools.

--workspace-name

Der Name des Arbeitsbereichs.

Optionale Parameter

--from-index

Optionaler Parameter, der angibt, von welchem Index die Liste beginnen soll.

--size

Die Größe der zurückgegebenen Liste. Standardmäßig ist es 20 und das ist das Maximum.

Globale Parameter

--debug

Erhöhen Sie die Ausführlichkeit der Protokollierung, um alle Debugprotokolle anzuzeigen.

--help -h

Diese Hilfemeldung anzeigen und schließen.

--only-show-errors

Nur Fehler anzeigen, Warnungen unterdrücken.

--output -o

Ausgabeformat.

Zulässige Werte: json, jsonc, none, table, tsv, yaml, yamlc

Standardwert: json

--query

JMESPath-Abfragezeichenfolge. Weitere Informationen und Beispiele finden Sie unter http://jmespath.org/.

--subscription

Name oder ID des Abonnements. Sie können das Standardabonnement mithilfe von az account set -s NAME_OR_IDkonfigurieren.

--verbose

Erhöhen Sie die Ausführlichkeit der Protokollierung. Verwenden Sie "-debug" für vollständige Debugprotokolle.

az synapse spark job show

Abrufen eines Spark-Auftrags.

az synapse spark job show --livy-id
                          --spark-pool-name
                          --workspace-name

Beispiele

Abrufen eines Spark-Auftrags.

az synapse spark job show --livy-id 1 --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

Erforderliche Parameter

--livy-id

Die ID des Spark-Auftrags.

--spark-pool-name

Der Name des Spark-Pools.

--workspace-name

Der Name des Arbeitsbereichs.

Globale Parameter

--debug

Erhöhen Sie die Ausführlichkeit der Protokollierung, um alle Debugprotokolle anzuzeigen.

--help -h

Diese Hilfemeldung anzeigen und schließen.

--only-show-errors

Nur Fehler anzeigen, Warnungen unterdrücken.

--output -o

Ausgabeformat.

Zulässige Werte: json, jsonc, none, table, tsv, yaml, yamlc

Standardwert: json

--query

JMESPath-Abfragezeichenfolge. Weitere Informationen und Beispiele finden Sie unter http://jmespath.org/.

--subscription

Name oder ID des Abonnements. Sie können das Standardabonnement mithilfe von az account set -s NAME_OR_IDkonfigurieren.

--verbose

Erhöhen Sie die Ausführlichkeit der Protokollierung. Verwenden Sie "-debug" für vollständige Debugprotokolle.

az synapse spark job submit

Senden sie einen Spark-Auftrag.

az synapse spark job submit --executor-size {Large, Medium, Small}
                            --executors
                            --main-definition-file
                            --name
                            --spark-pool-name
                            --workspace-name
                            [--archives]
                            [--arguments]
                            [--configuration]
                            [--language {CSharp, PySpark, Python, Scala, Spark, SparkDotNet}]
                            [--main-class-name]
                            [--python-files]
                            [--reference-files]
                            [--tags]

Beispiele

Senden Sie einen Java Spark-Auftrag.

az synapse spark job submit --name WordCount_Java --workspace-name testsynapseworkspace \
--spark-pool-name testsparkpool \
--main-definition-file abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/wordcount.jar \
--main-class-name WordCount \
--arguments abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/shakespeare.txt \
abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/result/ \
--executors 2 --executor-size Small

Erforderliche Parameter

--executor-size

Die Ausführungsgröße.

Zulässige Werte: Large, Medium, Small

--executors

Die Anzahl der Ausführenden.

--main-definition-file

Die Hauptdatei, die für den Auftrag verwendet wird.

--name -n

Der Name des Spark-Auftrags.

--spark-pool-name

Der Name des Spark-Pools.

--workspace-name

Der Name des Arbeitsbereichs.

Optionale Parameter

--archives

Das Array von Archiven.

--arguments

Optionale Argumente für den Auftrag (Hinweis: Verwenden Sie Speicher-URIs für Dateiargumente).

--configuration

Die Konfiguration des Spark-Auftrags.

--language

Die Sprache des Spark-Auftrags.

Zulässige Werte: CSharp, PySpark, Python, Scala, Spark, SparkDotNet

Standardwert: Scala

--main-class-name

Der vollqualifizierte Bezeichner oder die Hauptklasse, die sich in der Hauptdefinitionsdatei befindet.

--python-files

Das Array von Dateien, die für refenence in der Haupt-Python-Definitionsdatei verwendet werden. Beispiele sind benutzerdefinierte whl-Dateien und benutzerdefinierte Python-Dateien. Kann mehrere Dateien wie az synapse spark job sumbit <other_args> --python_files abfss://file1 abss://file2übergeben.

--reference-files

Zusätzliche Dateien, die für den Verweis in der Hauptdefinitionsdatei verwendet werden.

--tags

Durch Leerzeichen getrennte Tags: key[=value] [key[=value] ...]. Verwenden Sie "", um vorhandene Tags zu löschen.

Globale Parameter

--debug

Erhöhen Sie die Ausführlichkeit der Protokollierung, um alle Debugprotokolle anzuzeigen.

--help -h

Diese Hilfemeldung anzeigen und schließen.

--only-show-errors

Nur Fehler anzeigen, Warnungen unterdrücken.

--output -o

Ausgabeformat.

Zulässige Werte: json, jsonc, none, table, tsv, yaml, yamlc

Standardwert: json

--query

JMESPath-Abfragezeichenfolge. Weitere Informationen und Beispiele finden Sie unter http://jmespath.org/.

--subscription

Name oder ID des Abonnements. Sie können das Standardabonnement mithilfe von az account set -s NAME_OR_IDkonfigurieren.

--verbose

Erhöhen Sie die Ausführlichkeit der Protokollierung. Verwenden Sie "-debug" für vollständige Debugprotokolle.