Spark Batch - Get Spark Batch Jobs

Tjänst:

Synapse

API-version:

2020-12-01

Visa en lista över alla Spark Batch-jobb som körs under en viss spark-pool.

GET {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches

Med valfria parametrar:

GET {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches?from={from}&size={size}&detailed={detailed}

URI-parametrar

Name	I	Obligatorisk	Typ	Description
endpoint	path	True	string	Slutpunkten för arbetsytans utveckling, till exempel https://myworkspace.dev.azuresynapse.net.
livyApiVersion	path	True	string	Giltig API-version för begäran.
sparkPoolName	path	True	string	Namnet på spark-poolen.
detailed	query		boolean	Valfri frågeparam som anger om ett detaljerat svar returneras bortom oformaterad livy.
from	query		integer (int32)	Valfri param som anger vilket index listan ska börja från.
size	query		integer (int32)	Valfri param som anger storleken på den returnerade listan. By default it is 20 and that is the maximum.

Svar

Name	Typ	Description
200 OK	SparkBatchJobCollection	Framgång

Exempel

List all spark batch jobs

Exempelbegäran

HTTP

GET myWorkspace.dev.azuresynapse.net/livyApi/versions/2020-12-01/sparkPools/mySparkPool/batches?from=0&size=2&detailed=True

Exempelsvar

Statuskod:

200

{
  "from": 0,
  "total": 2,
  "sessions": []
}

Definitioner

Name	Description
LivyStates	Batchtillståndet
PluginCurrentState
SchedulerCurrentState
SparkBatchJob
SparkBatchJobCollection	Svar för batchliståtgärd.
SparkBatchJobResultType	Resultatet av Spark-batchjobbet.
SparkBatchJobState
SparkErrorSource
SparkJobType	Jobbtypen.
SparkRequest
SparkScheduler
SparkServiceError
SparkServicePlugin

LivyStates

Uppräkning

Batchtillståndet

Värde	Description
busy
dead
error
idle
killed
not_started
recovering
running
shutting_down
starting
success

PluginCurrentState

Uppräkning

Värde	Description
Cleanup
Ended
Monitoring
Preparation
Queued
ResourceAcquisition
Submission

SchedulerCurrentState

Uppräkning

Värde	Description
Ended
Queued
Scheduled

SparkBatchJob

Objekt

Name	Typ	Description
appId	string	Program-ID för den här sessionen
appInfo	object	Den detaljerade programinformationen.
artifactId	string	Artefaktidentifieraren.
errorInfo	SparkServiceError[]	Felinformationen.
id	integer (int32)	Sessions-ID:t.
jobType	SparkJobType	Jobbtypen.
livyInfo	SparkBatchJobState
log	string[]	Loggraderna.
name	string	Batchnamnet.
pluginInfo	SparkServicePlugin	Plugin-informationen.
result	SparkBatchJobResultType	Resultatet av Spark-batchjobbet.
schedulerInfo	SparkScheduler	Scheduler-informationen.
sparkPoolName	string	Namnet på Spark-poolen.
state	LivyStates	Batchtillståndet
submitterId	string	Identifieraren för inskickaren.
submitterName	string	Inskickarnamnet.
tags	object	Taggarna.
workspaceName	string	Namnet på arbetsytan.

SparkBatchJobCollection

Objekt

Svar för batchliståtgärd.

Name	Typ	Description
from	integer (int32)	Startindexet för hämtade sessioner.
sessions	SparkBatchJob[]	Batch-lista
total	integer (int32)	Antal sessioner som hämtats.

SparkBatchJobResultType

Uppräkning

Resultatet av Spark-batchjobbet.

Värde	Description
Cancelled
Failed
Succeeded
Uncertain

SparkBatchJobState

Objekt

Name	Typ	Description
currentState	string	Spark-jobbtillståndet.
deadAt	string (date-time)	tid då "döda" liviga tillstånd först sågs.
jobCreationRequest	SparkRequest
killedAt	string (date-time)	den tid då "dödade" livy staten först sågs.
notStartedAt	string (date-time)	den tid då "not_started" livy tillstånd först sågs.
recoveringAt	string (date-time)	den tidpunkt då "återställande" livy tillstånd först sågs.
runningAt	string (date-time)	den tid då "running" livy state först sågs.
startingAt	string (date-time)	den tid då "start" livy tillstånd först sågs.
successAt	string (date-time)	den tid då "framgång" livy tillstånd först sågs.

SparkErrorSource

Uppräkning

Värde	Description
Dependency
System
Unknown
User

SparkJobType

Uppräkning

Jobbtypen.

Värde	Description
SparkBatch
SparkSession

SparkRequest

Objekt

Name	Typ	Description
archives	string[]
args	string[]
className	string
conf	object
driverCores	integer (int32)
driverMemory	string
executorCores	integer (int32)
executorMemory	string
file	string
files	string[]
jars	string[]
name	string
numExecutors	integer (int32)
pyFiles	string[]

SparkScheduler

Objekt

Name	Typ	Description
cancellationRequestedAt	string (date-time)
currentState	SchedulerCurrentState
endedAt	string (date-time)
scheduledAt	string (date-time)
submittedAt	string (date-time)

SparkServiceError

Objekt

Name	Typ	Description
errorCode	string
message	string
source	SparkErrorSource

SparkServicePlugin

Objekt

Name	Typ	Description
cleanupStartedAt	string (date-time)
currentState	PluginCurrentState
monitoringStartedAt	string (date-time)
preparationStartedAt	string (date-time)
resourceAcquisitionStartedAt	string (date-time)
submissionStartedAt	string (date-time)