Spark Session - Create Spark Session

Dienst:

Synapse

API-Version:

2020-12-01

Erstellen Sie eine neue Spark-Sitzung.

POST {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/sessions

Mit optionalen Parametern:

POST {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/sessions?detailed={detailed}

URI-Parameter

Name	In	Erforderlich	Typ	Beschreibung
endpoint	path	True	string	Der Endpunkt zur Arbeitsbereichsentwicklung, Beispiel: https://myworkspace.dev.azuresynapse.net
livyApiVersion	path	True	string	Gültige API-Version für die Anforderung,
sparkPoolName	path	True	string	Name des Spark-Pools
detailed	query		boolean	Optionaler Abfrageparameter, der angibt, ob eine detaillierte Antwort über das einfache Livy hinaus zurückgegeben wird.

Anforderungstext

Name	Erforderlich	Typ	Beschreibung
name	True	string
archives		string[]
args		string[]
artifactId		string
className		string
conf		object
driverCores		integer
driverMemory		string
executorCores		integer
executorMemory		string
file		string
files		string[]
jars		string[]
numExecutors		integer
pyFiles		string[]
tags		object

Antworten

Name	Typ	Beschreibung
200 OK	SparkSession	Erfolg

Beispiele

Create new spark session.

Beispielanforderung

HTTP

POST myWorkspace.dev.azuresynapse.net/livyApi/versions/2019-11-01-preview/sparkPools/mySparkPool/sessions?detailed=True

{
  "tags": null,
  "artifactId": "fill in here",
  "name": "jobname",
  "file": "abfss://",
  "className": "classname",
  "args": [],
  "jars": [],
  "files": [],
  "archives": [],
  "conf": null,
  "driverMemory": "4g",
  "driverCores": 4,
  "executorMemory": "2g",
  "executorCores": 2,
  "numExecutors": 2
}

Beispiel für eine Antwort

Statuscode:

200

{
  "livyInfo": null,
  "name": "jobname",
  "workspaceName": "myWorkspace",
  "sparkPoolName": "mySparkPool",
  "submitterName": "thetime",
  "submitterId": "thesubmitterid",
  "artifactId": "fill in here",
  "jobType": "SparkSession",
  "result": "Failed",
  "schedulerInfo": null,
  "pluginInfo": null,
  "errorInfo": [],
  "tags": null,
  "id": 1,
  "appId": "fill in here",
  "appInfo": null,
  "state": "the state",
  "log": []
}

Definitionen

Name	Beschreibung
LivyStates	Der Batchzustand
PluginCurrentState
SchedulerCurrentState
SparkErrorSource
SparkJobType	Der Auftragstyp.
SparkRequest
SparkScheduler
SparkServiceError
SparkServicePlugin
SparkSession
SparkSessionOptions
SparkSessionResultType
SparkSessionState

LivyStates

Der Batchzustand

Name	Typ	Beschreibung
busy	string
dead	string
error	string
idle	string
killed	string
not_started	string
recovering	string
running	string
shutting_down	string
starting	string
success	string

PluginCurrentState

Name	Typ	Beschreibung
Cleanup	string
Ended	string
Monitoring	string
Preparation	string
Queued	string
ResourceAcquisition	string
Submission	string

SchedulerCurrentState

Name	Typ	Beschreibung
Ended	string
Queued	string
Scheduled	string

SparkErrorSource

Name	Typ	Beschreibung
Dependency	string
System	string
Unknown	string
User	string

SparkJobType

Der Auftragstyp.

Name	Typ	Beschreibung
SparkBatch	string
SparkSession	string

SparkRequest

Name	Typ	Beschreibung
archives	string[]
args	string[]
className	string
conf	object
driverCores	integer
driverMemory	string
executorCores	integer
executorMemory	string
file	string
files	string[]
jars	string[]
name	string
numExecutors	integer
pyFiles	string[]

SparkScheduler

Name	Typ	Beschreibung
cancellationRequestedAt	string
currentState	SchedulerCurrentState
endedAt	string
scheduledAt	string
submittedAt	string

SparkServiceError

Name	Typ	Beschreibung
errorCode	string
message	string
source	SparkErrorSource

SparkServicePlugin

Name	Typ	Beschreibung
cleanupStartedAt	string
currentState	PluginCurrentState
monitoringStartedAt	string
preparationStartedAt	string
resourceAcquisitionStartedAt	string
submissionStartedAt	string

SparkSession

Name	Typ	Beschreibung
appId	string
appInfo	object
artifactId	string
errorInfo	SparkServiceError[]
id	integer
jobType	SparkJobType
livyInfo	SparkSessionState
log	string[]
name	string
pluginInfo	SparkServicePlugin
result	SparkSessionResultType
schedulerInfo	SparkScheduler
sparkPoolName	string
state	LivyStates	Der Sitzungszustand.
submitterId	string
submitterName	string
tags	object
workspaceName	string

SparkSessionOptions

Name	Typ	Beschreibung
archives	string[]
args	string[]
artifactId	string
className	string
conf	object
driverCores	integer
driverMemory	string
executorCores	integer
executorMemory	string
file	string
files	string[]
jars	string[]
name	string
numExecutors	integer
pyFiles	string[]
tags	object

SparkSessionResultType

Name	Typ	Beschreibung
Cancelled	string
Failed	string
Succeeded	string
Uncertain	string

SparkSessionState

Name	Typ	Beschreibung
busyAt	string
currentState	string
deadAt	string
errorAt	string
idleAt	string
jobCreationRequest	SparkRequest
killedAt	string
notStartedAt	string
recoveringAt	string
shuttingDownAt	string
startingAt	string