Spark Batch - Get Spark Batch Jobs

Služba:

Synapse

Verze rozhraní API:

2020-12-01

Vypíše všechny dávkové úlohy Sparku, které běží v konkrétním fondu Sparku.

GET {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches

S volitelnými parametry:

GET {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches?from={from}&size={size}&detailed={detailed}

Parametry identifikátoru URI

Name	V	Vyžadováno	Typ	Description
endpoint	path	True	string	Koncový bod pro vývoj pracovního prostoru, například https://myworkspace.dev.azuresynapse.net.
livyApiVersion	path	True	string	Platná verze rozhraní API pro požadavek
sparkPoolName	path	True	string	Název fondu Spark.
detailed	query		boolean	Volitelný parametr dotazu určující, jestli se podrobná odpověď vrátí nad rámec prosté livy.
from	query		integer int32	Volitelný parametr určující, od kterého indexu by měl seznam začínat.
size	query		integer int32	Volitelný parametr určující velikost vráceného seznamu. By default it is 20 and that is the maximum.

Odpovědi

Name	Typ	Description
200 OK	SparkBatchJobCollection	Success

Příklady

List all spark batch jobs

Ukázkový požadavek

HTTP

GET myWorkspace.dev.azuresynapse.net/livyApi/versions/2020-12-01/sparkPools/mySparkPool/batches?from=0&size=2&detailed=True

Ukázková odpověď

Stavový kód:

200

{
  "from": 0,
  "total": 2,
  "sessions": []
}

Definice

Name	Description
LivyStates	Stav dávky
PluginCurrentState
SchedulerCurrentState
SparkBatchJob
SparkBatchJobCollection	Odpověď na operaci dávkového seznamu.
SparkBatchJobResultType	Výsledek dávkové úlohy Sparku
SparkBatchJobState
SparkErrorSource
SparkJobType	Typ úlohy.
SparkRequest
SparkScheduler
SparkServiceError
SparkServicePlugin

LivyStates

Stav dávky

Name	Typ	Description
busy	string
dead	string
error	string
idle	string
killed	string
not_started	string
recovering	string
running	string
shutting_down	string
starting	string
success	string

PluginCurrentState

Name	Typ	Description
Cleanup	string
Ended	string
Monitoring	string
Preparation	string
Queued	string
ResourceAcquisition	string
Submission	string

SchedulerCurrentState

Name	Typ	Description
Ended	string
Queued	string
Scheduled	string

SparkBatchJob

Name	Typ	Description
appId	string	ID aplikace této relace
appInfo	object	Podrobné informace o aplikaci
artifactId	string	Identifikátor artefaktu.
errorInfo	SparkServiceError[]	Informace o chybě
id	integer	ID relace.
jobType	SparkJobType	Typ úlohy.
livyInfo	SparkBatchJobState
log	string[]	Řádky protokolu.
name	string	Název dávky.
pluginInfo	SparkServicePlugin	Informace o modulu plug-in
result	SparkBatchJobResultType	Výsledek dávkové úlohy Sparku
schedulerInfo	SparkScheduler	Informace o plánovači.
sparkPoolName	string	Název fondu Sparku.
state	LivyStates	Stav dávky
submitterId	string	Identifikátor odesílejte.
submitterName	string	Jméno odesílatela.
tags	object	Značky.
workspaceName	string	Název pracovního prostoru.

SparkBatchJobCollection

Odpověď na operaci dávkového seznamu.

Name	Typ	Description
from	integer	Počáteční index načtených relací.
sessions	SparkBatchJob[]	Seznam dávek
total	integer	Počet načtených relací

SparkBatchJobResultType

Výsledek dávkové úlohy Sparku

Name	Typ	Description
Cancelled	string
Failed	string
Succeeded	string
Uncertain	string

SparkBatchJobState

Name	Typ	Description
currentState	string	stav úlohy Sparku.
deadAt	string	v době, kdy byl poprvé spatřený "mrtvý" stav livy.
jobCreationRequest	SparkRequest
killedAt	string	čas, kdy byl poprvé spatřeny "zabité" stavy livy.
notStartedAt	string	čas, kdy byl poprvé spatřený stav "not_started" livy.
recoveringAt	string	čas, kdy bylo poprvé pozorováno "obnovení" stavu livy.
runningAt	string	čas, kdy se poprvé zobrazil "spuštěný" stav livy.
startingAt	string	čas, kdy byl poprvé pozorován počáteční stav livy.
successAt	string	čas, kdy byl poprvé pozorován stav livy "úspěch".

SparkErrorSource

Name	Typ	Description
Dependency	string
System	string
Unknown	string
User	string

SparkJobType

Typ úlohy.

Name	Typ	Description
SparkBatch	string
SparkSession	string

SparkRequest

Name	Typ	Description
archives	string[]
args	string[]
className	string
conf	object
driverCores	integer
driverMemory	string
executorCores	integer
executorMemory	string
file	string
files	string[]
jars	string[]
name	string
numExecutors	integer
pyFiles	string[]

SparkScheduler

Name	Typ	Description
cancellationRequestedAt	string
currentState	SchedulerCurrentState
endedAt	string
scheduledAt	string
submittedAt	string

SparkServiceError

Name	Typ	Description
errorCode	string
message	string
source	SparkErrorSource

SparkServicePlugin

Name	Typ	Description
cleanupStartedAt	string
currentState	PluginCurrentState
monitoringStartedAt	string
preparationStartedAt	string
resourceAcquisitionStartedAt	string
submissionStartedAt	string