Spark Batch - Get Spark Batch Jobs

サービス:

Synapse

API バージョン:

2020-12-01

特定の Spark プールで実行されているすべての Spark バッチ ジョブを一覧表示します。

GET {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches

省略可能なパラメーターを含む:

GET {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches?from={from}&size={size}&detailed={detailed}

URI パラメーター

名前	/	必須	型	説明
endpoint	path	True	string	ワークスペース開発エンドポイント (例: https://myworkspace.dev.azuresynapse.net )。
livyApiVersion	path	True	string	要求の有効な api-version。
sparkPoolName	path	True	string	Spark プールの名前。
detailed	query		boolean	詳細な応答が単純な livy を超えて返されるかどうかを指定するオプションのクエリ パラメーター。
from	query		integer int32	リストを開始するインデックスを指定するオプションの param。
size	query		integer int32	返されるリストのサイズを指定するオプションの param。 By default it is 20 and that is the maximum.

応答

名前	型	説明
200 OK	SparkBatchJobCollection	Success

例

List all spark batch jobs

要求のサンプル

HTTP

GET myWorkspace.dev.azuresynapse.net/livyApi/versions/2020-12-01/sparkPools/mySparkPool/batches?from=0&size=2&detailed=True

応答のサンプル

状態コード:

200

{
  "from": 0,
  "total": 2,
  "sessions": []
}

定義

名前	説明
LivyStates	バッチの状態
PluginCurrentState
SchedulerCurrentState
SparkBatchJob
SparkBatchJobCollection	バッチ リスト操作の応答。
SparkBatchJobResultType	Spark バッチ ジョブの結果。
SparkBatchJobState
SparkErrorSource
SparkJobType	ジョブの種類。
SparkRequest
SparkScheduler
SparkServiceError
SparkServicePlugin

LivyStates

バッチの状態

名前	型	説明
busy	string
dead	string
error	string
idle	string
killed	string
not_started	string
recovering	string
running	string
shutting_down	string
starting	string
success	string

PluginCurrentState

名前	型	説明
Cleanup	string
Ended	string
Monitoring	string
Preparation	string
Queued	string
ResourceAcquisition	string
Submission	string

SchedulerCurrentState

名前	型	説明
Ended	string
Queued	string
Scheduled	string

SparkBatchJob

名前	型	説明
appId	string	このセッションのアプリケーション ID
appInfo	object	詳細なアプリケーション情報。
artifactId	string	成果物識別子。
errorInfo	SparkServiceError[]	エラー情報。
id	integer	セッション ID。
jobType	SparkJobType	ジョブの種類。
livyInfo	SparkBatchJobState
log	string[]	ログ行。
name	string	バッチ名。
pluginInfo	SparkServicePlugin	プラグイン情報。
result	SparkBatchJobResultType	Spark バッチ ジョブの結果。
schedulerInfo	SparkScheduler	スケジューラ情報。
sparkPoolName	string	Spark プール名。
state	LivyStates	バッチの状態
submitterId	string	提出者識別子。
submitterName	string	提出者名。
tags	object	タグ。
workspaceName	string	ワークスペース名。

SparkBatchJobCollection

バッチ リスト操作の応答。

名前	型	説明
from	integer	フェッチされたセッションの開始インデックス。
sessions	SparkBatchJob[]	バッチ 一覧
total	integer	フェッチされたセッションの数。

SparkBatchJobResultType

Spark バッチ ジョブの結果。

名前	型	説明
Cancelled	string
Failed	string
Succeeded	string
Uncertain	string

SparkBatchJobState

名前	型	説明
currentState	string	Spark ジョブの状態。
deadAt	string	「死んだ」生き生きとした状態が最初に見られた時。
jobCreationRequest	SparkRequest
killedAt	string	「殺された」生き生きとした状態が最初に見られた時。
notStartedAt	string	「not_started」の生き生きとした状態が最初に見られた時。
recoveringAt	string	生き生きとした状態が最初に見られた時。
runningAt	string	"実行中" の livy 状態が最初に見られた時刻。
startingAt	string	生き生きとした状態が最初に見られた時。
successAt	string	"成功" の生き生きとした状態が最初に見られた時刻。

SparkErrorSource

名前	型	説明
Dependency	string
System	string
Unknown	string
User	string

SparkJobType

ジョブの種類。

名前	型	説明
SparkBatch	string
SparkSession	string

SparkRequest

名前	型	説明
archives	string[]
args	string[]
className	string
conf	object
driverCores	integer
driverMemory	string
executorCores	integer
executorMemory	string
file	string
files	string[]
jars	string[]
name	string
numExecutors	integer
pyFiles	string[]

SparkScheduler

名前	型	説明
cancellationRequestedAt	string
currentState	SchedulerCurrentState
endedAt	string
scheduledAt	string
submittedAt	string

SparkServiceError

名前	型	説明
errorCode	string
message	string
source	SparkErrorSource

SparkServicePlugin

名前	型	説明
cleanupStartedAt	string
currentState	PluginCurrentState
monitoringStartedAt	string
preparationStartedAt	string
resourceAcquisitionStartedAt	string
submissionStartedAt	string