Udostępnij za pośrednictwem

az synapse spark job

  • Odwołanie

Zarządzanie zadaniami wsadowymi usługi Synapse Spark.

Polecenia

Nazwa Opis Typ Stan
az synapse spark job cancel

Anulowanie zadania platformy Spark.

 Podstawowe funkcje Ogólna dostępność
az synapse spark job list

Wyświetl listę wszystkich zadań platformy Spark.

 Podstawowe funkcje Ogólna dostępność
az synapse spark job show

Pobieranie zadania platformy Spark.

 Podstawowe funkcje Ogólna dostępność
az synapse spark job submit

Prześlij zadanie platformy Spark.

 Podstawowe funkcje Ogólna dostępność

az synapse spark job cancel

Edytuj

Anulowanie zadania platformy Spark.

az synapse spark job cancel --livy-id
                            --spark-pool-name
                            --workspace-name
                            [--yes]

Przykłady

Anulowanie zadania platformy Spark.

az synapse spark job cancel --livy-id 1 --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

Parametry wymagane

--livy-id

Identyfikator zadania platformy Spark.

--spark-pool-name

Nazwa puli Spark.

--workspace-name

Nazwa obszaru roboczego.

Parametry opcjonalne

--yes -y

Nie monituj o potwierdzenie.

Domyślna wartość: False
Parametry globalne
--debug

Zwiększ szczegółowość rejestrowania, aby wyświetlić wszystkie dzienniki debugowania.

--help -h

Pokaż ten komunikat pomocy i zakończ pracę.

--only-show-errors

Pokaż tylko błędy, pomijając ostrzeżenia.

--output -o

Format danych wyjściowych.

Dopuszczalne wartości: json, jsonc, none, table, tsv, yaml, yamlc
Domyślna wartość: json
--query

Ciąg zapytania JMESPath. Zobacz http://jmespath.org/ , aby uzyskać więcej informacji i przykładów.

--subscription

Nazwa lub identyfikator subskrypcji. Subskrypcję domyślną można skonfigurować przy użyciu polecenia az account set -s NAME_OR_ID.

--verbose

Zwiększ szczegółowość rejestrowania. Użyj --debuguj, aby uzyskać pełne dzienniki debugowania.

az synapse spark job list

Edytuj

Wyświetl listę wszystkich zadań platformy Spark.

az synapse spark job list --spark-pool-name
                          --workspace-name
                          [--from-index]
                          [--size]

Przykłady

Wyświetl listę wszystkich zadań platformy Spark.

az synapse spark job list --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

Parametry wymagane

--spark-pool-name

Nazwa puli Spark.

--workspace-name

Nazwa obszaru roboczego.

Parametry opcjonalne

--from-index

Opcjonalny parametr określający indeks, od którego powinna zaczynać się lista.

--size

Rozmiar zwróconej listy. Domyślnie jest to 20 i jest to wartość maksymalna.

Parametry globalne
--debug

Zwiększ szczegółowość rejestrowania, aby wyświetlić wszystkie dzienniki debugowania.

--help -h

Pokaż ten komunikat pomocy i zakończ pracę.

--only-show-errors

Pokaż tylko błędy, pomijając ostrzeżenia.

--output -o

Format danych wyjściowych.

Dopuszczalne wartości: json, jsonc, none, table, tsv, yaml, yamlc
Domyślna wartość: json
--query

Ciąg zapytania JMESPath. Zobacz http://jmespath.org/ , aby uzyskać więcej informacji i przykładów.

--subscription

Nazwa lub identyfikator subskrypcji. Subskrypcję domyślną można skonfigurować przy użyciu polecenia az account set -s NAME_OR_ID.

--verbose

Zwiększ szczegółowość rejestrowania. Użyj --debuguj, aby uzyskać pełne dzienniki debugowania.

az synapse spark job show

Edytuj

Pobieranie zadania platformy Spark.

az synapse spark job show --livy-id
                          --spark-pool-name
                          --workspace-name

Przykłady

Pobieranie zadania platformy Spark.

az synapse spark job show --livy-id 1 --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

Parametry wymagane

--livy-id

Identyfikator zadania platformy Spark.

--spark-pool-name

Nazwa puli Spark.

--workspace-name

Nazwa obszaru roboczego.

Parametry globalne
--debug

Zwiększ szczegółowość rejestrowania, aby wyświetlić wszystkie dzienniki debugowania.

--help -h

Pokaż ten komunikat pomocy i zakończ pracę.

--only-show-errors

Pokaż tylko błędy, pomijając ostrzeżenia.

--output -o

Format danych wyjściowych.

Dopuszczalne wartości: json, jsonc, none, table, tsv, yaml, yamlc
Domyślna wartość: json
--query

Ciąg zapytania JMESPath. Zobacz http://jmespath.org/ , aby uzyskać więcej informacji i przykładów.

--subscription

Nazwa lub identyfikator subskrypcji. Subskrypcję domyślną można skonfigurować przy użyciu polecenia az account set -s NAME_OR_ID.

--verbose

Zwiększ szczegółowość rejestrowania. Użyj --debuguj, aby uzyskać pełne dzienniki debugowania.

az synapse spark job submit

Edytuj

Prześlij zadanie platformy Spark.

az synapse spark job submit --executor-size {Large, Medium, Small}
                            --executors
                            --main-definition-file
                            --name
                            --spark-pool-name
                            --workspace-name
                            [--archives]
                            [--arguments]
                            [--configuration]
                            [--language {CSharp, PySpark, Python, Scala, Spark, SparkDotNet}]
                            [--main-class-name]
                            [--python-files]
                            [--reference-files]
                            [--tags]

Przykłady

Prześlij zadanie Platformy Spark w języku Java.

az synapse spark job submit --name WordCount_Java --workspace-name testsynapseworkspace \
--spark-pool-name testsparkpool \
--main-definition-file abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/wordcount.jar \
--main-class-name WordCount \
--arguments abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/shakespeare.txt \
abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/result/ \
--executors 2 --executor-size Small

Parametry wymagane

--executor-size

Rozmiar funkcji wykonawczej.

Dopuszczalne wartości: Large, Medium, Small
--executors

Liczba funkcji wykonawczych.

--main-definition-file

Główny plik używany do zadania.

--name -n

Nazwa zadania platformy Spark.

--spark-pool-name

Nazwa puli Spark.

--workspace-name

Nazwa obszaru roboczego.

Parametry opcjonalne

--archives

Tablica archiwów.

--arguments

Opcjonalne argumenty zadania (Uwaga: użyj identyfikatorów URI magazynu dla argumentów plików).

--configuration

Konfiguracja zadania platformy Spark.

--language

Język zadań platformy Spark.

Dopuszczalne wartości: CSharp, PySpark, Python, Scala, Spark, SparkDotNet
Domyślna wartość: Scala
--main-class-name

W pełni kwalifikowany identyfikator lub klasa główna, która znajduje się w głównym pliku definicji.

--python-files

Tablica plików używanych do ponownego stosowania w głównym pliku definicji języka Python. Przykłady obejmują niestandardowe pliki whl i niestandardowe pliki python. Może przekazać wiele plików, takich jak az synapse spark job sumbit <other_args> --python_files abfss://file1 abss://file2.

--reference-files

Dodatkowe pliki używane do odwołania w głównym pliku definicji.

--tags

Tagi rozdzielone spacjami: klucz[=wartość] [key[=value] ...]. Użyj ciągu "", aby wyczyścić istniejące tagi.

Parametry globalne
--debug

Zwiększ szczegółowość rejestrowania, aby wyświetlić wszystkie dzienniki debugowania.

--help -h

Pokaż ten komunikat pomocy i zakończ pracę.

--only-show-errors

Pokaż tylko błędy, pomijając ostrzeżenia.

--output -o

Format danych wyjściowych.

Dopuszczalne wartości: json, jsonc, none, table, tsv, yaml, yamlc
Domyślna wartość: json
--query

Ciąg zapytania JMESPath. Zobacz http://jmespath.org/ , aby uzyskać więcej informacji i przykładów.

--subscription

Nazwa lub identyfikator subskrypcji. Subskrypcję domyślną można skonfigurować przy użyciu polecenia az account set -s NAME_OR_ID.

--verbose

Zwiększ szczegółowość rejestrowania. Użyj --debuguj, aby uzyskać pełne dzienniki debugowania.