Spark Batch - Get Spark Batch Jobs

Odwołanie

Usługa:: Synapse

Wersja interfejsu API:: 2020-12-01

Wyświetl listę wszystkich zadań wsadowych platformy Spark, które są uruchamiane w ramach określonej puli zadań platformy Spark.

GET {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches

Z parametrami opcjonalnymi:

GET {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches?from={from}&size={size}&detailed={detailed}

Parametry identyfikatora URI

Nazwa	W	Wymagane	Typ	Opis
endpoint	path	True	string	Punkt końcowy programowania obszaru roboczego, na przykład `https://myworkspace.dev.azuresynapse.net`.
livyApiVersion	path	True	string	Prawidłowa wersja interfejsu API dla żądania.
sparkPoolName	path	True	string	Nazwa puli platformy Spark.
detailed	query		boolean	Opcjonalny parametr zapytania określający, czy szczegółowa odpowiedź jest zwracana poza zwykłą usługę livy.
from	query		integer int32	Opcjonalny parametr określający indeks, od którego powinna zaczynać się lista.
size	query		integer int32	Opcjonalny parametr określający rozmiar zwracanej listy. `By default it is 20 and that is the maximum.`

Odpowiedzi

Nazwa	Typ	Opis
200 OK	SparkBatchJobCollection	Powodzenie

Przykłady

List all spark batch jobs

Przykładowe żądanie

HTTP

GET myWorkspace.dev.azuresynapse.net/livyApi/versions/2020-12-01/sparkPools/mySparkPool/batches?from=0&size=2&detailed=True

Przykładowa odpowiedź

Kod stanu:: 200

{
  "from": 0,
  "total": 2,
  "sessions": []
}

Definicje

Nazwa	Opis
LivyStates	Stan partii
PluginCurrentState
SchedulerCurrentState
SparkBatchJob
SparkBatchJobCollection	Odpowiedź na operację listy wsadowej.
SparkBatchJobResultType	Wynik zadania wsadowego platformy Spark.
SparkBatchJobState
SparkErrorSource
SparkJobType	Typ zadania.
SparkRequest
SparkScheduler
SparkServiceError
SparkServicePlugin

LivyStates

Stan partii

Nazwa	Typ	Opis
busy	string
dead	string
error	string
idle	string
killed	string
not_started	string
recovering	string
running	string
shutting_down	string
starting	string
success	string

PluginCurrentState

Nazwa	Typ	Opis
Cleanup	string
Ended	string
Monitoring	string
Preparation	string
Queued	string
ResourceAcquisition	string
Submission	string

SchedulerCurrentState

Nazwa	Typ	Opis
Ended	string
Queued	string
Scheduled	string

SparkBatchJob

Nazwa	Typ	Opis
appId	string	Identyfikator aplikacji tej sesji
appInfo	object	Szczegółowe informacje o aplikacji.
artifactId	string	Identyfikator artefaktu.
errorInfo	SparkServiceError[]	Informacje o błędzie.
id	integer	Identyfikator sesji.
jobType	SparkJobType	Typ zadania.
livyInfo	SparkBatchJobState
log	string[]	Wiersze dziennika.
name	string	Nazwa partii.
pluginInfo	SparkServicePlugin	Informacje o wtyczce.
result	SparkBatchJobResultType	Wynik zadania wsadowego platformy Spark.
schedulerInfo	SparkScheduler	Informacje o harmonogramie.
sparkPoolName	string	Nazwa puli platformy Spark.
state	LivyStates	Stan partii
submitterId	string	Identyfikator przesyłania.
submitterName	string	Nazwa osoby przesyłającej.
tags	object	Tagi.
workspaceName	string	Nazwa obszaru roboczego.

SparkBatchJobCollection

Odpowiedź na operację listy wsadowej.

Nazwa	Typ	Opis
from	integer	Indeks początkowy pobranych sesji.
sessions	SparkBatchJob[]	Lista wsadowa
total	integer	Liczba pobranych sesji.

SparkBatchJobResultType

Wynik zadania wsadowego platformy Spark.

Nazwa	Typ	Opis
Cancelled	string
Failed	string
Succeeded	string
Uncertain	string

SparkBatchJobState

Nazwa	Typ	Opis
currentState	string	stan zadania platformy Spark.
deadAt	string	czas, w którym "martwy" stan livy po raz pierwszy był widziany.
jobCreationRequest	SparkRequest
killedAt	string	czas, w którym "zabił" stan livy po raz pierwszy był widziany.
notStartedAt	string	czas, w którym "not_started" stan livy po raz pierwszy był widziany.
recoveringAt	string	czas, w którym "odzyskanie" stanu livy po raz pierwszy było postrzegane.
runningAt	string	czas, w którym "działa" stan livy po raz pierwszy był widziany.
startingAt	string	czas, w którym "początek" stan livy po raz pierwszy był widziany.
successAt	string	czas, w którym "sukces" stan livy był po raz pierwszy widziany.

SparkErrorSource

Nazwa	Typ	Opis
Dependency	string
System	string
Unknown	string
User	string

SparkJobType

Typ zadania.

Nazwa	Typ	Opis
SparkBatch	string
SparkSession	string

SparkRequest

Nazwa	Typ	Opis
archives	string[]
args	string[]
className	string
conf	object
driverCores	integer
driverMemory	string
executorCores	integer
executorMemory	string
file	string
files	string[]
jars	string[]
name	string
numExecutors	integer
pyFiles	string[]

SparkScheduler

Nazwa	Typ	Opis
cancellationRequestedAt	string
currentState	SchedulerCurrentState
endedAt	string
scheduledAt	string
submittedAt	string

SparkServiceError

Nazwa	Typ	Opis
errorCode	string
message	string
source	SparkErrorSource

SparkServicePlugin

Nazwa	Typ	Opis
cleanupStartedAt	string
currentState	PluginCurrentState
monitoringStartedAt	string
preparationStartedAt	string
resourceAcquisitionStartedAt	string
submissionStartedAt	string

Udostępnij za pośrednictwem