Spark Session - Create Spark Session

Служба:

Synapse

Версия API:

2020-12-01

Создайте новый сеанс Spark.

POST {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/sessions

С использованием необязательных параметров:

POST {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/sessions?detailed={detailed}

Параметры URI

Имя	В	Обязательно	Тип	Описание
endpoint	path	True	string	Конечная точка разработки рабочей области, например https://myworkspace.dev.azuresynapse.net.
livyApiVersion	path	True	string	Допустимая версия API для запроса.
sparkPoolName	path	True	string	Имя пула Spark.
detailed	query		boolean	Необязательный параметр запроса, указывающий, возвращается ли подробный ответ за пределами обычного действия.

Текст запроса

Имя	Обязательно	Тип	Описание
name	True	string
archives		string[]
args		string[]
artifactId		string
className		string
conf		object
driverCores		integer (int32)
driverMemory		string
executorCores		integer (int32)
executorMemory		string
file		string
files		string[]
jars		string[]
numExecutors		integer (int32)
pyFiles		string[]
tags		object

Ответы

Имя	Тип	Описание
200 OK	SparkSession	Успех

Примеры

Create new spark session.

Образец запроса

HTTP

POST myWorkspace.dev.azuresynapse.net/livyApi/versions/2019-11-01-preview/sparkPools/mySparkPool/sessions?detailed=True

{
  "tags": null,
  "artifactId": "fill in here",
  "name": "jobname",
  "file": "abfss://",
  "className": "classname",
  "args": [],
  "jars": [],
  "files": [],
  "archives": [],
  "conf": null,
  "driverMemory": "4g",
  "driverCores": 4,
  "executorMemory": "2g",
  "executorCores": 2,
  "numExecutors": 2
}

Пример ответа

Код состояния:

200

{
  "livyInfo": null,
  "name": "jobname",
  "workspaceName": "myWorkspace",
  "sparkPoolName": "mySparkPool",
  "submitterName": "thetime",
  "submitterId": "thesubmitterid",
  "artifactId": "fill in here",
  "jobType": "SparkSession",
  "result": "Failed",
  "schedulerInfo": null,
  "pluginInfo": null,
  "errorInfo": [],
  "tags": null,
  "id": 1,
  "appId": "fill in here",
  "appInfo": null,
  "state": "the state",
  "log": []
}

Определения

Имя	Описание
LivyStates	Состояние пакетной службы
PluginCurrentState
SchedulerCurrentState
SparkErrorSource
SparkJobType	Тип задания.
SparkRequest
SparkScheduler
SparkServiceError
SparkServicePlugin
SparkSession
SparkSessionOptions
SparkSessionResultType
SparkSessionState

LivyStates

Перечисление

Состояние пакетной службы

Значение	Описание
busy
dead
error
idle
killed
not_started
recovering
running
shutting_down
starting
success

PluginCurrentState

Перечисление

Значение	Описание
Cleanup
Ended
Monitoring
Preparation
Queued
ResourceAcquisition
Submission

SchedulerCurrentState

Перечисление

Значение	Описание
Ended
Queued
Scheduled

SparkErrorSource

Перечисление

Значение	Описание
Dependency
System
Unknown
User

SparkJobType

Перечисление

Тип задания.

Значение	Описание
SparkBatch
SparkSession

SparkRequest

Object

Имя	Тип	Описание
archives	string[]
args	string[]
className	string
conf	object
driverCores	integer (int32)
driverMemory	string
executorCores	integer (int32)
executorMemory	string
file	string
files	string[]
jars	string[]
name	string
numExecutors	integer (int32)
pyFiles	string[]

SparkScheduler

Object

Имя	Тип	Описание
cancellationRequestedAt	string (date-time)
currentState	SchedulerCurrentState
endedAt	string (date-time)
scheduledAt	string (date-time)
submittedAt	string (date-time)

SparkServiceError

Object

Имя	Тип	Описание
errorCode	string
message	string
source	SparkErrorSource

SparkServicePlugin

Object

Имя	Тип	Описание
cleanupStartedAt	string (date-time)
currentState	PluginCurrentState
monitoringStartedAt	string (date-time)
preparationStartedAt	string (date-time)
resourceAcquisitionStartedAt	string (date-time)
submissionStartedAt	string (date-time)

SparkSession

Object

Имя	Тип	Описание
appId	string
appInfo	object
artifactId	string
errorInfo	SparkServiceError[]
id	integer (int32)
jobType	SparkJobType
livyInfo	SparkSessionState
log	string[]
name	string
pluginInfo	SparkServicePlugin
result	SparkSessionResultType
schedulerInfo	SparkScheduler
sparkPoolName	string
state	LivyStates	Состояние сеанса.
submitterId	string
submitterName	string
tags	object
workspaceName	string

SparkSessionOptions

Object

Имя	Тип	Описание
archives	string[]
args	string[]
artifactId	string
className	string
conf	object
driverCores	integer (int32)
driverMemory	string
executorCores	integer (int32)
executorMemory	string
file	string
files	string[]
jars	string[]
name	string
numExecutors	integer (int32)
pyFiles	string[]
tags	object

SparkSessionResultType

Перечисление

Значение	Описание
Cancelled
Failed
Succeeded
Uncertain

SparkSessionState

Object

Имя	Тип	Описание
busyAt	string (date-time)
currentState	string
deadAt	string (date-time)
errorAt	string (date-time)
idleAt	string (date-time)
jobCreationRequest	SparkRequest
killedAt	string (date-time)
notStartedAt	string (date-time)
recoveringAt	string (date-time)
shuttingDownAt	string (date-time)
startingAt	string (date-time)