Spark Batch - Create Spark Batch Job

服務:

Synapse

API 版本:

2020-12-01

建立新的Spark批次作業。

POST {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches

含選擇性參數:

POST {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches?detailed={detailed}

URI 參數

名稱	位於	必要	類型	Description
endpoint	path	True	string	工作區開發端點，例如 https://myworkspace.dev.azuresynapse.net。
livyApiVersion	path	True	string	要求的有效 API 版本。
sparkPoolName	path	True	string	Spark 集區的名稱。
detailed	query		boolean	選擇性查詢參數，指定詳細回應是否傳回超過一般 livy。

要求本文

名稱	必要	類型	Description
file	True	string
name	True	string
archives		string[]
args		string[]
artifactId		string
className		string
conf		object
driverCores		integer
driverMemory		string
executorCores		integer
executorMemory		string
files		string[]
jars		string[]
numExecutors		integer
pyFiles		string[]
tags		object

回應

名稱	類型	Description
200 OK	SparkBatchJob	Success

範例

Create new spark batch job.

範例要求

HTTP

POST myWorkspace.dev.azuresynapse.net/livyApi/versions/2019-11-01-preview/sparkPools/mySparkPool/batches?detailed=True

{
  "tags": null,
  "artifactId": "fill in here",
  "name": "jobname",
  "file": "abfss://",
  "className": "classname",
  "args": [],
  "jars": [],
  "files": [],
  "archives": [],
  "conf": null,
  "driverMemory": "4g",
  "driverCores": 4,
  "executorMemory": "2g",
  "executorCores": 4,
  "numExecutors": 2
}

範例回覆

狀態碼:

200

{
  "livyInfo": null,
  "name": "jobname",
  "workspaceName": "myWorkspace",
  "sparkPoolName": "mySparkPool",
  "submitterName": "thetime",
  "submitterId": "thesubmitterid",
  "artifactId": "fill in here",
  "jobType": "SparkBatch",
  "result": "Failed",
  "schedulerInfo": null,
  "pluginInfo": null,
  "errorInfo": [],
  "tags": null,
  "id": 1,
  "appId": "fill in here",
  "appInfo": null,
  "state": "the state",
  "log": []
}

定義

名稱	Description
LivyStates	批次狀態
PluginCurrentState
SchedulerCurrentState
SparkBatchJob
SparkBatchJobOptions
SparkBatchJobResultType	Spark 批次作業結果。
SparkBatchJobState
SparkErrorSource
SparkJobType	作業類型。
SparkRequest
SparkScheduler
SparkServiceError
SparkServicePlugin

LivyStates

批次狀態

名稱	類型	Description
busy	string
dead	string
error	string
idle	string
killed	string
not_started	string
recovering	string
running	string
shutting_down	string
starting	string
success	string

PluginCurrentState

名稱	類型	Description
Cleanup	string
Ended	string
Monitoring	string
Preparation	string
Queued	string
ResourceAcquisition	string
Submission	string

SchedulerCurrentState

名稱	類型	Description
Ended	string
Queued	string
Scheduled	string

SparkBatchJob

名稱	類型	Description
appId	string	此工作階段的應用程式識別碼
appInfo	object	詳細的應用程式資訊。
artifactId	string	成品標識碼。
errorInfo	SparkServiceError[]	錯誤資訊。
id	integer	會話標識碼。
jobType	SparkJobType	作業類型。
livyInfo	SparkBatchJobState
log	string[]	記錄行。
name	string	批次名稱。
pluginInfo	SparkServicePlugin	外掛程式資訊。
result	SparkBatchJobResultType	Spark 批次作業結果。
schedulerInfo	SparkScheduler	排程器資訊。
sparkPoolName	string	Spark 集區名稱。
state	LivyStates	批次狀態
submitterId	string	送出者標識碼。
submitterName	string	提交者名稱。
tags	object	標記。
workspaceName	string	工作區名稱。

SparkBatchJobOptions

名稱	類型	Description
archives	string[]
args	string[]
artifactId	string
className	string
conf	object
driverCores	integer
driverMemory	string
executorCores	integer
executorMemory	string
file	string
files	string[]
jars	string[]
name	string
numExecutors	integer
pyFiles	string[]
tags	object

SparkBatchJobResultType

Spark 批次作業結果。

名稱	類型	Description
Cancelled	string
Failed	string
Succeeded	string
Uncertain	string

SparkBatchJobState

名稱	類型	Description
currentState	string	Spark 作業狀態。
deadAt	string	第一次看到「無效」livy 狀態的時間。
jobCreationRequest	SparkRequest
killedAt	string	第一次看到「終止」livy 狀態的時間。
notStartedAt	string	第一次看到「not_started」livy 狀態的時間。
recoveringAt	string	第一次看到「復原」livy 狀態的時間。
runningAt	string	第一次看到「執行中」livy 狀態的時間。
startingAt	string	第一次看到「開始」livy 狀態的時間。
successAt	string	第一次看到「成功」livy 狀態的時間。

SparkErrorSource

名稱	類型	Description
Dependency	string
System	string
Unknown	string
User	string

SparkJobType

作業類型。

名稱	類型	Description
SparkBatch	string
SparkSession	string

SparkRequest

名稱	類型	Description
archives	string[]
args	string[]
className	string
conf	object
driverCores	integer
driverMemory	string
executorCores	integer
executorMemory	string
file	string
files	string[]
jars	string[]
name	string
numExecutors	integer
pyFiles	string[]

SparkScheduler

名稱	類型	Description
cancellationRequestedAt	string
currentState	SchedulerCurrentState
endedAt	string
scheduledAt	string
submittedAt	string

SparkServiceError

名稱	類型	Description
errorCode	string
message	string
source	SparkErrorSource

SparkServicePlugin

名稱	類型	Description
cleanupStartedAt	string
currentState	PluginCurrentState
monitoringStartedAt	string
preparationStartedAt	string
resourceAcquisitionStartedAt	string
submissionStartedAt	string