Spark Batch - Create Spark Batch Job

Tjänst:

Synapse

API-version:

2020-12-01

Skapa ett nytt Spark Batch-jobb.

POST {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches

Med valfria parametrar:

POST {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches?detailed={detailed}

URI-parametrar

Name	I	Obligatorisk	Typ	Description
endpoint	path	True	string	Slutpunkten för arbetsytans utveckling, till exempel https://myworkspace.dev.azuresynapse.net.
livyApiVersion	path	True	string	Giltig API-version för begäran.
sparkPoolName	path	True	string	Namnet på spark-poolen.
detailed	query		boolean	Valfri frågeparam som anger om ett detaljerat svar returneras bortom oformaterad livy.

Begärandetext

Name	Obligatorisk	Typ	Description
file	True	string
name	True	string
archives		string[]
args		string[]
artifactId		string
className		string
conf		object
driverCores		integer (int32)
driverMemory		string
executorCores		integer (int32)
executorMemory		string
files		string[]
jars		string[]
numExecutors		integer (int32)
pyFiles		string[]
tags		object

Svar

Name	Typ	Description
200 OK	SparkBatchJob	Framgång

Exempel

Create new spark batch job.

Exempelbegäran

HTTP

POST myWorkspace.dev.azuresynapse.net/livyApi/versions/2019-11-01-preview/sparkPools/mySparkPool/batches?detailed=True

{
  "tags": null,
  "artifactId": "fill in here",
  "name": "jobname",
  "file": "abfss://",
  "className": "classname",
  "args": [],
  "jars": [],
  "files": [],
  "archives": [],
  "conf": null,
  "driverMemory": "4g",
  "driverCores": 4,
  "executorMemory": "2g",
  "executorCores": 4,
  "numExecutors": 2
}

Exempelsvar

Statuskod:

200

{
  "livyInfo": null,
  "name": "jobname",
  "workspaceName": "myWorkspace",
  "sparkPoolName": "mySparkPool",
  "submitterName": "thetime",
  "submitterId": "thesubmitterid",
  "artifactId": "fill in here",
  "jobType": "SparkBatch",
  "result": "Failed",
  "schedulerInfo": null,
  "pluginInfo": null,
  "errorInfo": [],
  "tags": null,
  "id": 1,
  "appId": "fill in here",
  "appInfo": null,
  "state": "the state",
  "log": []
}

Definitioner

Name	Description
LivyStates	Batchtillståndet
PluginCurrentState
SchedulerCurrentState
SparkBatchJob
SparkBatchJobOptions
SparkBatchJobResultType	Resultatet av Spark-batchjobbet.
SparkBatchJobState
SparkErrorSource
SparkJobType	Jobbtypen.
SparkRequest
SparkScheduler
SparkServiceError
SparkServicePlugin

LivyStates

Uppräkning

Batchtillståndet

Värde	Description
busy
dead
error
idle
killed
not_started
recovering
running
shutting_down
starting
success

PluginCurrentState

Uppräkning

Värde	Description
Cleanup
Ended
Monitoring
Preparation
Queued
ResourceAcquisition
Submission

SchedulerCurrentState

Uppräkning

Värde	Description
Ended
Queued
Scheduled

SparkBatchJob

Objekt

Name	Typ	Description
appId	string	Program-ID för den här sessionen
appInfo	object	Den detaljerade programinformationen.
artifactId	string	Artefaktidentifieraren.
errorInfo	SparkServiceError[]	Felinformationen.
id	integer (int32)	Sessions-ID:t.
jobType	SparkJobType	Jobbtypen.
livyInfo	SparkBatchJobState
log	string[]	Loggraderna.
name	string	Batchnamnet.
pluginInfo	SparkServicePlugin	Plugin-informationen.
result	SparkBatchJobResultType	Resultatet av Spark-batchjobbet.
schedulerInfo	SparkScheduler	Scheduler-informationen.
sparkPoolName	string	Namnet på Spark-poolen.
state	LivyStates	Batchtillståndet
submitterId	string	Identifieraren för inskickaren.
submitterName	string	Inskickarnamnet.
tags	object	Taggarna.
workspaceName	string	Namnet på arbetsytan.

SparkBatchJobOptions

Objekt

Name	Typ	Description
archives	string[]
args	string[]
artifactId	string
className	string
conf	object
driverCores	integer (int32)
driverMemory	string
executorCores	integer (int32)
executorMemory	string
file	string
files	string[]
jars	string[]
name	string
numExecutors	integer (int32)
pyFiles	string[]
tags	object

SparkBatchJobResultType

Uppräkning

Resultatet av Spark-batchjobbet.

Värde	Description
Cancelled
Failed
Succeeded
Uncertain

SparkBatchJobState

Objekt

Name	Typ	Description
currentState	string	Spark-jobbtillståndet.
deadAt	string (date-time)	tid då "döda" liviga tillstånd först sågs.
jobCreationRequest	SparkRequest
killedAt	string (date-time)	den tid då "dödade" livy staten först sågs.
notStartedAt	string (date-time)	den tid då "not_started" livy tillstånd först sågs.
recoveringAt	string (date-time)	den tidpunkt då "återställande" livy tillstånd först sågs.
runningAt	string (date-time)	den tid då "running" livy state först sågs.
startingAt	string (date-time)	den tid då "start" livy tillstånd först sågs.
successAt	string (date-time)	den tid då "framgång" livy tillstånd först sågs.

SparkErrorSource

Uppräkning

Värde	Description
Dependency
System
Unknown
User

SparkJobType

Uppräkning

Jobbtypen.

Värde	Description
SparkBatch
SparkSession

SparkRequest

Objekt

Name	Typ	Description
archives	string[]
args	string[]
className	string
conf	object
driverCores	integer (int32)
driverMemory	string
executorCores	integer (int32)
executorMemory	string
file	string
files	string[]
jars	string[]
name	string
numExecutors	integer (int32)
pyFiles	string[]

SparkScheduler

Objekt

Name	Typ	Description
cancellationRequestedAt	string (date-time)
currentState	SchedulerCurrentState
endedAt	string (date-time)
scheduledAt	string (date-time)
submittedAt	string (date-time)

SparkServiceError

Objekt

Name	Typ	Description
errorCode	string
message	string
source	SparkErrorSource

SparkServicePlugin

Objekt

Name	Typ	Description
cleanupStartedAt	string (date-time)
currentState	PluginCurrentState
monitoringStartedAt	string (date-time)
preparationStartedAt	string (date-time)
resourceAcquisitionStartedAt	string (date-time)
submissionStartedAt	string (date-time)