次の方法で共有

az synapse spark job

  • リファレンス

Synapse Spark バッチ ジョブを管理します。

コマンド

名前 説明 型 状態
az synapse spark job cancel

Spark ジョブを取り消します。

 コア GA
az synapse spark job list

すべての Spark ジョブを一覧表示します。

 コア GA
az synapse spark job show

Spark ジョブを取得します。

 コア GA
az synapse spark job submit

Spark ジョブを送信します。

 コア GA

az synapse spark job cancel

編集

Spark ジョブを取り消します。

az synapse spark job cancel --livy-id
                            --spark-pool-name
                            --workspace-name
                            [--yes]

例

Spark ジョブを取り消します。

az synapse spark job cancel --livy-id 1 --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

必須のパラメーター

--livy-id

Spark ジョブの ID。

--spark-pool-name

Spark プールの名前。

--workspace-name

ワークスペースの名前。

省略可能のパラメーター

--yes -y

確認のダイアログを表示しません。

規定値: False
グローバル パラメーター
--debug

すべてのデバッグ ログを表示するようにログの詳細レベルを上げます。

--help -h

このヘルプ メッセージを表示して終了します。

--only-show-errors

エラーのみを表示し、警告は抑制します。

--output -o

出力形式。

指定可能な値: json, jsonc, none, table, tsv, yaml, yamlc
規定値: json
--query

JMESPath クエリ文字列。 詳細と例については、http://jmespath.org/ をご覧ください。

--subscription

サブスクリプションの名前または ID。 az account set -s NAME_OR_ID を使用して、既定のサブスクリプションを構成できます。

--verbose

ログの詳細レベルを上げます。 詳細なデバッグ ログを表示するには --debug を使います。

az synapse spark job list

編集

すべての Spark ジョブを一覧表示します。

az synapse spark job list --spark-pool-name
                          --workspace-name
                          [--from-index]
                          [--size]

例

すべての Spark ジョブを一覧表示します。

az synapse spark job list --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

必須のパラメーター

--spark-pool-name

Spark プールの名前。

--workspace-name

ワークスペースの名前。

省略可能のパラメーター

--from-index

リストの開始元のインデックスを指定する省略可能なパラメーター。

--size

返されるリストのサイズ。既定では 20 で、最大値です。

グローバル パラメーター
--debug

すべてのデバッグ ログを表示するようにログの詳細レベルを上げます。

--help -h

このヘルプ メッセージを表示して終了します。

--only-show-errors

エラーのみを表示し、警告は抑制します。

--output -o

出力形式。

指定可能な値: json, jsonc, none, table, tsv, yaml, yamlc
規定値: json
--query

JMESPath クエリ文字列。 詳細と例については、http://jmespath.org/ をご覧ください。

--subscription

サブスクリプションの名前または ID。 az account set -s NAME_OR_ID を使用して、既定のサブスクリプションを構成できます。

--verbose

ログの詳細レベルを上げます。 詳細なデバッグ ログを表示するには --debug を使います。

az synapse spark job show

編集

Spark ジョブを取得します。

az synapse spark job show --livy-id
                          --spark-pool-name
                          --workspace-name

例

Spark ジョブを取得します。

az synapse spark job show --livy-id 1 --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

必須のパラメーター

--livy-id

Spark ジョブの ID。

--spark-pool-name

Spark プールの名前。

--workspace-name

ワークスペースの名前。

グローバル パラメーター
--debug

すべてのデバッグ ログを表示するようにログの詳細レベルを上げます。

--help -h

このヘルプ メッセージを表示して終了します。

--only-show-errors

エラーのみを表示し、警告は抑制します。

--output -o

出力形式。

指定可能な値: json, jsonc, none, table, tsv, yaml, yamlc
規定値: json
--query

JMESPath クエリ文字列。 詳細と例については、http://jmespath.org/ をご覧ください。

--subscription

サブスクリプションの名前または ID。 az account set -s NAME_OR_ID を使用して、既定のサブスクリプションを構成できます。

--verbose

ログの詳細レベルを上げます。 詳細なデバッグ ログを表示するには --debug を使います。

az synapse spark job submit

編集

Spark ジョブを送信します。

az synapse spark job submit --executor-size {Large, Medium, Small}
                            --executors
                            --main-definition-file
                            --name
                            --spark-pool-name
                            --workspace-name
                            [--archives]
                            [--arguments]
                            [--configuration]
                            [--language {CSharp, PySpark, Python, Scala, Spark, SparkDotNet}]
                            [--main-class-name]
                            [--python-files]
                            [--reference-files]
                            [--tags]

例

Java Spark ジョブを送信します。

az synapse spark job submit --name WordCount_Java --workspace-name testsynapseworkspace \
--spark-pool-name testsparkpool \
--main-definition-file abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/wordcount.jar \
--main-class-name WordCount \
--arguments abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/shakespeare.txt \
abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/result/ \
--executors 2 --executor-size Small

必須のパラメーター

--executor-size

Executor のサイズ。

指定可能な値: Large, Medium, Small
--executors

Executor の数。

--main-definition-file

ジョブに使用されるメイン ファイルです。

--name -n

Spark ジョブ名。

--spark-pool-name

Spark プールの名前。

--workspace-name

ワークスペースの名前。

省略可能のパラメーター

--archives

アーカイブの配列。

--arguments

ジョブの省略可能な引数 (注: ファイル引数にはストレージ URI を使用してください)。

--configuration

Spark ジョブの構成。

--language

Spark ジョブの言語。

指定可能な値: CSharp, PySpark, Python, Scala, Spark, SparkDotNet
規定値: Scala
--main-class-name

完全修飾識別子、またはメイン定義ファイル内にあるメイン クラス。

--python-files

メインの Python 定義ファイルの再防御に使用されるファイルの配列。 たとえば、カスタム whl ファイルやカスタム Python ファイルなどがあります。 az synapse spark job sumbit <other_args> --python_files abfss://file1 abss://file2などの複数のファイルを渡すことができます。

--reference-files

メイン定義ファイル内で参照に使用される追加ファイル。

--tags

スペース区切りのタグ: key[=value] [key[=value] ...]既存のタグをクリアするには、"" を使用します。

グローバル パラメーター
--debug

すべてのデバッグ ログを表示するようにログの詳細レベルを上げます。

--help -h

このヘルプ メッセージを表示して終了します。

--only-show-errors

エラーのみを表示し、警告は抑制します。

--output -o

出力形式。

指定可能な値: json, jsonc, none, table, tsv, yaml, yamlc
規定値: json
--query

JMESPath クエリ文字列。 詳細と例については、http://jmespath.org/ をご覧ください。

--subscription

サブスクリプションの名前または ID。 az account set -s NAME_OR_ID を使用して、既定のサブスクリプションを構成できます。

--verbose

ログの詳細レベルを上げます。 詳細なデバッグ ログを表示するには --debug を使います。