Spark Batch - Create Spark Batch Job

Служба:

Synapse

Версия API:

2020-12-01

Создайте пакетное задание Spark.

POST {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches

С использованием необязательных параметров:

POST {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches?detailed={detailed}

Параметры URI

Имя	В	Обязательно	Тип	Описание
endpoint	path	True	string	Конечная точка разработки рабочей области, например https://myworkspace.dev.azuresynapse.net.
livyApiVersion	path	True	string	Допустимая версия API для запроса.
sparkPoolName	path	True	string	Имя пула Spark.
detailed	query		boolean	Необязательный параметр запроса, указывающий, возвращается ли подробный ответ за пределами обычного действия.

Текст запроса

Имя	Обязательно	Тип	Описание
file	True	string
name	True	string
archives		string[]
args		string[]
artifactId		string
className		string
conf		object
driverCores		integer (int32)
driverMemory		string
executorCores		integer (int32)
executorMemory		string
files		string[]
jars		string[]
numExecutors		integer (int32)
pyFiles		string[]
tags		object

Ответы

Имя	Тип	Описание
200 OK	SparkBatchJob	Успех

Примеры

Create new spark batch job.

Образец запроса

HTTP

POST myWorkspace.dev.azuresynapse.net/livyApi/versions/2019-11-01-preview/sparkPools/mySparkPool/batches?detailed=True

{
  "tags": null,
  "artifactId": "fill in here",
  "name": "jobname",
  "file": "abfss://",
  "className": "classname",
  "args": [],
  "jars": [],
  "files": [],
  "archives": [],
  "conf": null,
  "driverMemory": "4g",
  "driverCores": 4,
  "executorMemory": "2g",
  "executorCores": 4,
  "numExecutors": 2
}

Пример ответа

Код состояния:

200

{
  "livyInfo": null,
  "name": "jobname",
  "workspaceName": "myWorkspace",
  "sparkPoolName": "mySparkPool",
  "submitterName": "thetime",
  "submitterId": "thesubmitterid",
  "artifactId": "fill in here",
  "jobType": "SparkBatch",
  "result": "Failed",
  "schedulerInfo": null,
  "pluginInfo": null,
  "errorInfo": [],
  "tags": null,
  "id": 1,
  "appId": "fill in here",
  "appInfo": null,
  "state": "the state",
  "log": []
}

Определения

Имя	Описание
LivyStates	Состояние пакетной службы
PluginCurrentState
SchedulerCurrentState
SparkBatchJob
SparkBatchJobOptions
SparkBatchJobResultType	Результат пакетного задания Spark.
SparkBatchJobState
SparkErrorSource
SparkJobType	Тип задания.
SparkRequest
SparkScheduler
SparkServiceError
SparkServicePlugin

LivyStates

Перечисление

Состояние пакетной службы

Значение	Описание
busy
dead
error
idle
killed
not_started
recovering
running
shutting_down
starting
success

PluginCurrentState

Перечисление

Значение	Описание
Cleanup
Ended
Monitoring
Preparation
Queued
ResourceAcquisition
Submission

SchedulerCurrentState

Перечисление

Значение	Описание
Ended
Queued
Scheduled

SparkBatchJob

Object

Имя	Тип	Описание
appId	string	Идентификатор приложения этого сеанса
appInfo	object	Подробные сведения о приложении.
artifactId	string	Идентификатор артефакта.
errorInfo	SparkServiceError[]	Сведения об ошибке.
id	integer (int32)	Идентификатор сеанса.
jobType	SparkJobType	Тип задания.
livyInfo	SparkBatchJobState
log	string[]	Строки журнала.
name	string	Имя пакета.
pluginInfo	SparkServicePlugin	Сведения о подключаемом модуле.
result	SparkBatchJobResultType	Результат пакетного задания Spark.
schedulerInfo	SparkScheduler	Сведения о планировщике.
sparkPoolName	string	Имя пула Spark.
state	LivyStates	Состояние пакетной службы
submitterId	string	Идентификатор отправителя.
submitterName	string	Имя отправителя.
tags	object	Теги.
workspaceName	string	Имя рабочей области.

SparkBatchJobOptions

Object

Имя	Тип	Описание
archives	string[]
args	string[]
artifactId	string
className	string
conf	object
driverCores	integer (int32)
driverMemory	string
executorCores	integer (int32)
executorMemory	string
file	string
files	string[]
jars	string[]
name	string
numExecutors	integer (int32)
pyFiles	string[]
tags	object

SparkBatchJobResultType

Перечисление

Результат пакетного задания Spark.

Значение	Описание
Cancelled
Failed
Succeeded
Uncertain

SparkBatchJobState

Object

Имя	Тип	Описание
currentState	string	Состояние задания Spark.
deadAt	string (date-time)	время, в котором впервые было замечено "мертвое" состояние ливи.
jobCreationRequest	SparkRequest
killedAt	string (date-time)	время, когда "убито" состояние ливи впервые было замечено.
notStartedAt	string (date-time)	время, когда "not_started" состояние livy было впервые замечено.
recoveringAt	string (date-time)	время, когда было впервые замечено "восстановление" состояния ливи.
runningAt	string (date-time)	время, когда "запущено" состояние livy впервые было замечено.
startingAt	string (date-time)	время, когда было впервые замечено "начальное" состояние livy.
successAt	string (date-time)	время, когда "успех" состояние livy было впервые замечено.

SparkErrorSource

Перечисление

Значение	Описание
Dependency
System
Unknown
User

SparkJobType

Перечисление

Тип задания.

Значение	Описание
SparkBatch
SparkSession

SparkRequest

Object

Имя	Тип	Описание
archives	string[]
args	string[]
className	string
conf	object
driverCores	integer (int32)
driverMemory	string
executorCores	integer (int32)
executorMemory	string
file	string
files	string[]
jars	string[]
name	string
numExecutors	integer (int32)
pyFiles	string[]

SparkScheduler

Object

Имя	Тип	Описание
cancellationRequestedAt	string (date-time)
currentState	SchedulerCurrentState
endedAt	string (date-time)
scheduledAt	string (date-time)
submittedAt	string (date-time)

SparkServiceError

Object

Имя	Тип	Описание
errorCode	string
message	string
source	SparkErrorSource

SparkServicePlugin

Object

Имя	Тип	Описание
cleanupStartedAt	string (date-time)
currentState	PluginCurrentState
monitoringStartedAt	string (date-time)
preparationStartedAt	string (date-time)
resourceAcquisitionStartedAt	string (date-time)
submissionStartedAt	string (date-time)