Spark Batch - Create Spark Batch Job

Service:

Synapse

Version d'API:

2020-12-01

Créez un nouveau travail spark batch.

POST {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches

Avec des paramètres facultatifs:

POST {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches?detailed={detailed}

Paramètres URI

Nom	Dans	Obligatoire	Type	Description
endpoint	path	True	string	Le point de terminaison du développement de l’espace de travail, par exemple https://myworkspace.dev.azuresynapse.net.
livyApiVersion	path	True	string	Version valide de l’API pour la requête.
sparkPoolName	path	True	string	Nom du pool Spark.
detailed	query		boolean	Param de requête facultatif spécifiant si la réponse détaillée est retournée au-delà du livy simple.

Corps de la demande

Nom	Obligatoire	Type	Description
file	True	string
name	True	string
archives		string[]
args		string[]
artifactId		string
className		string
conf		object
driverCores		integer
driverMemory		string
executorCores		integer
executorMemory		string
files		string[]
jars		string[]
numExecutors		integer
pyFiles		string[]
tags		object

Réponses

Nom	Type	Description
200 OK	SparkBatchJob	Succès

Exemples

Create new spark batch job.

Exemple de requête

HTTP

POST myWorkspace.dev.azuresynapse.net/livyApi/versions/2019-11-01-preview/sparkPools/mySparkPool/batches?detailed=True

{
  "tags": null,
  "artifactId": "fill in here",
  "name": "jobname",
  "file": "abfss://",
  "className": "classname",
  "args": [],
  "jars": [],
  "files": [],
  "archives": [],
  "conf": null,
  "driverMemory": "4g",
  "driverCores": 4,
  "executorMemory": "2g",
  "executorCores": 4,
  "numExecutors": 2
}

Exemple de réponse

Code d’état:

200

{
  "livyInfo": null,
  "name": "jobname",
  "workspaceName": "myWorkspace",
  "sparkPoolName": "mySparkPool",
  "submitterName": "thetime",
  "submitterId": "thesubmitterid",
  "artifactId": "fill in here",
  "jobType": "SparkBatch",
  "result": "Failed",
  "schedulerInfo": null,
  "pluginInfo": null,
  "errorInfo": [],
  "tags": null,
  "id": 1,
  "appId": "fill in here",
  "appInfo": null,
  "state": "the state",
  "log": []
}

Définitions

Nom	Description
LivyStates	État du traitement par lots
PluginCurrentState
SchedulerCurrentState
SparkBatchJob
SparkBatchJobOptions
SparkBatchJobResultType	Résultat du travail par lots Spark.
SparkBatchJobState
SparkErrorSource
SparkJobType	Type de travail.
SparkRequest
SparkScheduler
SparkServiceError
SparkServicePlugin

LivyStates

État du traitement par lots

Nom	Type	Description
busy	string
dead	string
error	string
idle	string
killed	string
not_started	string
recovering	string
running	string
shutting_down	string
starting	string
success	string

PluginCurrentState

Nom	Type	Description
Cleanup	string
Ended	string
Monitoring	string
Preparation	string
Queued	string
ResourceAcquisition	string
Submission	string

SchedulerCurrentState

Nom	Type	Description
Ended	string
Queued	string
Scheduled	string

SparkBatchJob

Nom	Type	Description
appId	string	ID d’application de cette session
appInfo	object	Informations détaillées sur l’application.
artifactId	string	Identificateur de l’artefact.
errorInfo	SparkServiceError[]	Informations sur l'erreur.
id	integer	ID de session.
jobType	SparkJobType	Type de travail.
livyInfo	SparkBatchJobState
log	string[]	Lignes de journal.
name	string	Nom du lot.
pluginInfo	SparkServicePlugin	Informations sur le plug-in.
result	SparkBatchJobResultType	Résultat du travail par lots Spark.
schedulerInfo	SparkScheduler	Informations du planificateur.
sparkPoolName	string	Nom du pool Spark.
state	LivyStates	État du traitement par lots
submitterId	string	Identificateur de l’émetteur.
submitterName	string	Nom de l’émetteur.
tags	object	Balises.
workspaceName	string	Nom de l’espace de travail.

SparkBatchJobOptions

Nom	Type	Description
archives	string[]
args	string[]
artifactId	string
className	string
conf	object
driverCores	integer
driverMemory	string
executorCores	integer
executorMemory	string
file	string
files	string[]
jars	string[]
name	string
numExecutors	integer
pyFiles	string[]
tags	object

SparkBatchJobResultType

Résultat du travail par lots Spark.

Nom	Type	Description
Cancelled	string
Failed	string
Succeeded	string
Uncertain	string

SparkBatchJobState

Nom	Type	Description
currentState	string	état du travail Spark.
deadAt	string	l’heure à laquelle l’état livy « mort » a été vu pour la première fois.
jobCreationRequest	SparkRequest
killedAt	string	l’époque à laquelle « tué » l’état livy a été vu pour la première fois.
notStartedAt	string	l’époque à laquelle « not_started » état livy a été vu pour la première fois.
recoveringAt	string	l’époque à laquelle l’état livy de « récupération » a été vu pour la première fois.
runningAt	string	l’heure à laquelle l’état livy « en cours d’exécution » a été vu pour la première fois.
startingAt	string	l’heure à laquelle l’état livy « de départ » a été vu pour la première fois.
successAt	string	l’époque à laquelle l’état livy « succès » a été vu pour la première fois.

SparkErrorSource

Nom	Type	Description
Dependency	string
System	string
Unknown	string
User	string

SparkJobType

Type de travail.

Nom	Type	Description
SparkBatch	string
SparkSession	string

SparkRequest

Nom	Type	Description
archives	string[]
args	string[]
className	string
conf	object
driverCores	integer
driverMemory	string
executorCores	integer
executorMemory	string
file	string
files	string[]
jars	string[]
name	string
numExecutors	integer
pyFiles	string[]

SparkScheduler

Nom	Type	Description
cancellationRequestedAt	string
currentState	SchedulerCurrentState
endedAt	string
scheduledAt	string
submittedAt	string

SparkServiceError

Nom	Type	Description
errorCode	string
message	string
source	SparkErrorSource

SparkServicePlugin

Nom	Type	Description
cleanupStartedAt	string
currentState	PluginCurrentState
monitoringStartedAt	string
preparationStartedAt	string
resourceAcquisitionStartedAt	string
submissionStartedAt	string