Spark Batch - Create Spark Batch Job

Servicio:

Synapse

Versión de la API:

2020-12-01

Cree un nuevo trabajo por lotes de Spark.

POST {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches

Con parámetros opcionales:

POST {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches?detailed={detailed}

Parámetros de identificador URI

Nombre	En	Requerido	Tipo	Description
endpoint	path	True	string	Punto de conexión de desarrollo del área de trabajo, por ejemplo https://myworkspace.dev.azuresynapse.net.
livyApiVersion	path	True	string	Versión de API válida para la solicitud.
sparkPoolName	path	True	string	Nombre del grupo de Spark.
detailed	query		boolean	Parámetro de consulta opcional que especifica si se devuelve una respuesta detallada más allá de livy sin formato.

Cuerpo de la solicitud

Nombre	Requerido	Tipo	Description
file	True	string
name	True	string
archives		string[]
args		string[]
artifactId		string
className		string
conf		object
driverCores		integer
driverMemory		string
executorCores		integer
executorMemory		string
files		string[]
jars		string[]
numExecutors		integer
pyFiles		string[]
tags		object

Respuestas

Nombre	Tipo	Description
200 OK	SparkBatchJob	Correcto

Ejemplos

Create new spark batch job.

Solicitud de ejemplo

HTTP

POST myWorkspace.dev.azuresynapse.net/livyApi/versions/2019-11-01-preview/sparkPools/mySparkPool/batches?detailed=True

{
  "tags": null,
  "artifactId": "fill in here",
  "name": "jobname",
  "file": "abfss://",
  "className": "classname",
  "args": [],
  "jars": [],
  "files": [],
  "archives": [],
  "conf": null,
  "driverMemory": "4g",
  "driverCores": 4,
  "executorMemory": "2g",
  "executorCores": 4,
  "numExecutors": 2
}

Respuesta de muestra

status code:

200

{
  "livyInfo": null,
  "name": "jobname",
  "workspaceName": "myWorkspace",
  "sparkPoolName": "mySparkPool",
  "submitterName": "thetime",
  "submitterId": "thesubmitterid",
  "artifactId": "fill in here",
  "jobType": "SparkBatch",
  "result": "Failed",
  "schedulerInfo": null,
  "pluginInfo": null,
  "errorInfo": [],
  "tags": null,
  "id": 1,
  "appId": "fill in here",
  "appInfo": null,
  "state": "the state",
  "log": []
}

Definiciones

Nombre	Description
LivyStates	Estado del lote
PluginCurrentState
SchedulerCurrentState
SparkBatchJob
SparkBatchJobOptions
SparkBatchJobResultType	Resultado del trabajo por lotes de Spark.
SparkBatchJobState
SparkErrorSource
SparkJobType	El tipo de trabajo.
SparkRequest
SparkScheduler
SparkServiceError
SparkServicePlugin

LivyStates

Estado del lote

Nombre	Tipo	Description
busy	string
dead	string
error	string
idle	string
killed	string
not_started	string
recovering	string
running	string
shutting_down	string
starting	string
success	string

PluginCurrentState

Nombre	Tipo	Description
Cleanup	string
Ended	string
Monitoring	string
Preparation	string
Queued	string
ResourceAcquisition	string
Submission	string

SchedulerCurrentState

Nombre	Tipo	Description
Ended	string
Queued	string
Scheduled	string

SparkBatchJob

Nombre	Tipo	Description
appId	string	Identificador de aplicación de esta sesión
appInfo	object	La información detallada de la aplicación.
artifactId	string	Identificador del artefacto.
errorInfo	SparkServiceError[]	Información del error.
id	integer	Identificador de sesión.
jobType	SparkJobType	El tipo de trabajo.
livyInfo	SparkBatchJobState
log	string[]	Líneas de registro.
name	string	Nombre del lote.
pluginInfo	SparkServicePlugin	La información del complemento.
result	SparkBatchJobResultType	Resultado del trabajo por lotes de Spark.
schedulerInfo	SparkScheduler	Información del programador.
sparkPoolName	string	Nombre del grupo de Spark.
state	LivyStates	Estado del lote
submitterId	string	Identificador del remitente.
submitterName	string	Nombre del remitente.
tags	object	Las etiquetas.
workspaceName	string	Nombre del área de trabajo.

SparkBatchJobOptions

Nombre	Tipo	Description
archives	string[]
args	string[]
artifactId	string
className	string
conf	object
driverCores	integer
driverMemory	string
executorCores	integer
executorMemory	string
file	string
files	string[]
jars	string[]
name	string
numExecutors	integer
pyFiles	string[]
tags	object

SparkBatchJobResultType

Resultado del trabajo por lotes de Spark.

Nombre	Tipo	Description
Cancelled	string
Failed	string
Succeeded	string
Uncertain	string

SparkBatchJobState

Nombre	Tipo	Description
currentState	string	estado del trabajo de Spark.
deadAt	string	hora en la que el estado de livy "muerto" fue visto por primera vez.
jobCreationRequest	SparkRequest
killedAt	string	el momento en que el estado de livy "asesinado" fue visto por primera vez.
notStartedAt	string	el momento en que se vio por primera vez el estado de livy "not_started".
recoveringAt	string	el momento en que se vio por primera vez el estado de livy "recuperando".
runningAt	string	la hora en la que se vio por primera vez el estado livy "en ejecución".
startingAt	string	el momento en que se vio por primera vez el estado de livy "iniciando".
successAt	string	el momento en que se vio por primera vez el estado de livy "éxito".

SparkErrorSource

Nombre	Tipo	Description
Dependency	string
System	string
Unknown	string
User	string

SparkJobType

El tipo de trabajo.

Nombre	Tipo	Description
SparkBatch	string
SparkSession	string

SparkRequest

Nombre	Tipo	Description
archives	string[]
args	string[]
className	string
conf	object
driverCores	integer
driverMemory	string
executorCores	integer
executorMemory	string
file	string
files	string[]
jars	string[]
name	string
numExecutors	integer
pyFiles	string[]

SparkScheduler

Nombre	Tipo	Description
cancellationRequestedAt	string
currentState	SchedulerCurrentState
endedAt	string
scheduledAt	string
submittedAt	string

SparkServiceError

Nombre	Tipo	Description
errorCode	string
message	string
source	SparkErrorSource

SparkServicePlugin

Nombre	Tipo	Description
cleanupStartedAt	string
currentState	PluginCurrentState
monitoringStartedAt	string
preparationStartedAt	string
resourceAcquisitionStartedAt	string
submissionStartedAt	string