Spark Batch - Create Spark Batch Job

Tjänst:

Synapse

API-version:

2020-12-01

Skapa ett nytt Spark Batch-jobb.

POST {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches

Med valfria parametrar:

POST {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches?detailed={detailed}

URI-parametrar

Name	I	Obligatorisk	Typ	Description
endpoint	path	True	string	Slutpunkten för arbetsytans utveckling, till exempel https://myworkspace.dev.azuresynapse.net.
livyApiVersion	path	True	string	Giltig API-version för begäran.
sparkPoolName	path	True	string	Namnet på spark-poolen.
detailed	query		boolean	Valfritt frågeparam som anger om ett detaljerat svar returneras bortom oformaterad livy.

Begärandetext

Name	Obligatorisk	Typ	Description
file	True	string
name	True	string
archives		string[]
args		string[]
artifactId		string
className		string
conf		object
driverCores		integer
driverMemory		string
executorCores		integer
executorMemory		string
files		string[]
jars		string[]
numExecutors		integer
pyFiles		string[]
tags		object

Svar

Name	Typ	Description
200 OK	SparkBatchJob	Klart

Exempel

Create new spark batch job.

Exempelbegäran

HTTP

POST myWorkspace.dev.azuresynapse.net/livyApi/versions/2019-11-01-preview/sparkPools/mySparkPool/batches?detailed=True

{
  "tags": null,
  "artifactId": "fill in here",
  "name": "jobname",
  "file": "abfss://",
  "className": "classname",
  "args": [],
  "jars": [],
  "files": [],
  "archives": [],
  "conf": null,
  "driverMemory": "4g",
  "driverCores": 4,
  "executorMemory": "2g",
  "executorCores": 4,
  "numExecutors": 2
}

Exempelsvar

Statuskod:

200

{
  "livyInfo": null,
  "name": "jobname",
  "workspaceName": "myWorkspace",
  "sparkPoolName": "mySparkPool",
  "submitterName": "thetime",
  "submitterId": "thesubmitterid",
  "artifactId": "fill in here",
  "jobType": "SparkBatch",
  "result": "Failed",
  "schedulerInfo": null,
  "pluginInfo": null,
  "errorInfo": [],
  "tags": null,
  "id": 1,
  "appId": "fill in here",
  "appInfo": null,
  "state": "the state",
  "log": []
}

Definitioner

Name	Description
LivyStates	Batchtillståndet
PluginCurrentState
SchedulerCurrentState
SparkBatchJob
SparkBatchJobOptions
SparkBatchJobResultType	Resultatet för Spark-batchjobbet.
SparkBatchJobState
SparkErrorSource
SparkJobType	Jobbtypen.
SparkRequest
SparkScheduler
SparkServiceError
SparkServicePlugin

LivyStates

Batchtillståndet

Name	Typ	Description
busy	string
dead	string
error	string
idle	string
killed	string
not_started	string
recovering	string
running	string
shutting_down	string
starting	string
success	string

PluginCurrentState

Name	Typ	Description
Cleanup	string
Ended	string
Monitoring	string
Preparation	string
Queued	string
ResourceAcquisition	string
Submission	string

SchedulerCurrentState

Name	Typ	Description
Ended	string
Queued	string
Scheduled	string

SparkBatchJob

Name	Typ	Description
appId	string	Program-ID för den här sessionen
appInfo	object	Detaljerad programinformation.
artifactId	string	Artefaktidentifieraren.
errorInfo	SparkServiceError[]	Felinformationen.
id	integer	Sessions-ID.
jobType	SparkJobType	Jobbtypen.
livyInfo	SparkBatchJobState
log	string[]	Loggraderna.
name	string	Batchnamnet.
pluginInfo	SparkServicePlugin	Plugin-informationen.
result	SparkBatchJobResultType	Resultatet för Spark-batchjobbet.
schedulerInfo	SparkScheduler	Information om schemaläggaren.
sparkPoolName	string	Namnet på Spark-poolen.
state	LivyStates	Batchtillståndet
submitterId	string	Identifieraren för inskickaren.
submitterName	string	Inskickarnamnet.
tags	object	Taggarna.
workspaceName	string	Namnet på arbetsytan.

SparkBatchJobOptions

Name	Typ	Description
archives	string[]
args	string[]
artifactId	string
className	string
conf	object
driverCores	integer
driverMemory	string
executorCores	integer
executorMemory	string
file	string
files	string[]
jars	string[]
name	string
numExecutors	integer
pyFiles	string[]
tags	object

SparkBatchJobResultType

Resultatet för Spark-batchjobbet.

Name	Typ	Description
Cancelled	string
Failed	string
Succeeded	string
Uncertain	string

SparkBatchJobState

Name	Typ	Description
currentState	string	Spark-jobbtillståndet.
deadAt	string	tid då "döda" livy tillstånd först sågs.
jobCreationRequest	SparkRequest
killedAt	string	den tid då "dödade" livy staten först sågs.
notStartedAt	string	den tid då "not_started" livy tillstånd först sågs.
recoveringAt	string	den tidpunkt då "återställa" livy tillstånd först sågs.
runningAt	string	den tid då "running" livy state först sågs.
startingAt	string	den tid då "start" livy tillstånd först sågs.
successAt	string	den tid då "framgång" livy tillstånd först sågs.

SparkErrorSource

Name	Typ	Description
Dependency	string
System	string
Unknown	string
User	string

SparkJobType

Jobbtypen.

Name	Typ	Description
SparkBatch	string
SparkSession	string

SparkRequest

Name	Typ	Description
archives	string[]
args	string[]
className	string
conf	object
driverCores	integer
driverMemory	string
executorCores	integer
executorMemory	string
file	string
files	string[]
jars	string[]
name	string
numExecutors	integer
pyFiles	string[]

SparkScheduler

Name	Typ	Description
cancellationRequestedAt	string
currentState	SchedulerCurrentState
endedAt	string
scheduledAt	string
submittedAt	string

SparkServiceError

Name	Typ	Description
errorCode	string
message	string
source	SparkErrorSource

SparkServicePlugin

Name	Typ	Description
cleanupStartedAt	string
currentState	PluginCurrentState
monitoringStartedAt	string
preparationStartedAt	string
resourceAcquisitionStartedAt	string
submissionStartedAt	string