Spark Batch - Get Spark Batch Jobs

Referenz

Dienst:: Synapse

API-Version:: 2020-12-01

Listet alle Spark-Batchaufträge auf, die unter einem bestimmten Spark-Pool ausgeführt werden.

GET {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches

Mit optionalen Parametern:

GET {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches?from={from}&size={size}&detailed={detailed}

URI-Parameter

Name	In	Erforderlich	Typ	Beschreibung
endpoint	path	True	string	Der Endpunkt zur Arbeitsbereichsentwicklung, Beispiel: `https://myworkspace.dev.azuresynapse.net`
livyApiVersion	path	True	string	Gültige API-Version für die Anforderung,
sparkPoolName	path	True	string	Name des Spark-Pools
detailed	query		boolean	Optionaler Abfrageparameter, der angibt, ob eine detaillierte Antwort über das einfache Livy hinaus zurückgegeben wird.
from	query		integer int32	Optionaler Param, der angibt, mit welchem Index die Liste beginnen soll.
size	query		integer int32	Optionaler Parameter, der die Größe der zurückgegebenen Liste angibt. `By default it is 20 and that is the maximum.`

Antworten

Name	Typ	Beschreibung
200 OK	SparkBatchJobCollection	Erfolg

Beispiele

List all spark batch jobs

Beispielanforderung

HTTP

GET myWorkspace.dev.azuresynapse.net/livyApi/versions/2020-12-01/sparkPools/mySparkPool/batches?from=0&size=2&detailed=True

Beispiel für eine Antwort

Statuscode:: 200

{
  "from": 0,
  "total": 2,
  "sessions": []
}

Definitionen

Name	Beschreibung
LivyStates	Der Batchzustand
PluginCurrentState
SchedulerCurrentState
SparkBatchJob
SparkBatchJobCollection	Antwort für Batchlistenvorgang.
SparkBatchJobResultType	Das Ergebnis des Spark-Batchauftrags.
SparkBatchJobState
SparkErrorSource
SparkJobType	Der Auftragstyp.
SparkRequest
SparkScheduler
SparkServiceError
SparkServicePlugin

LivyStates

Der Batchzustand

Name	Typ	Beschreibung
busy	string
dead	string
error	string
idle	string
killed	string
not_started	string
recovering	string
running	string
shutting_down	string
starting	string
success	string

PluginCurrentState

Name	Typ	Beschreibung
Cleanup	string
Ended	string
Monitoring	string
Preparation	string
Queued	string
ResourceAcquisition	string
Submission	string

SchedulerCurrentState

Name	Typ	Beschreibung
Ended	string
Queued	string
Scheduled	string

SparkBatchJob

Name	Typ	Beschreibung
appId	string	Die Anwendungs-ID der Sitzung
appInfo	object	Die detaillierten Anwendungsinformationen.
artifactId	string	Der Artefaktbezeichner.
errorInfo	SparkServiceError[]	Die Fehlerinformationen.
id	integer	Die Sitzungs-ID.
jobType	SparkJobType	Der Auftragstyp.
livyInfo	SparkBatchJobState
log	string[]	Die Protokollzeilen.
name	string	Der Batchname.
pluginInfo	SparkServicePlugin	Die Plug-In-Informationen.
result	SparkBatchJobResultType	Das Ergebnis des Spark-Batchauftrags.
schedulerInfo	SparkScheduler	Die Planerinformationen.
sparkPoolName	string	Der Name des Spark-Pools.
state	LivyStates	Der Batchzustand
submitterId	string	Der Übermittlungsbezeichner.
submitterName	string	Der Name des Antragstellers.
tags	object	Die Tags.
workspaceName	string	Der Arbeitsbereichsname.

SparkBatchJobCollection

Antwort für Batchlistenvorgang.

Name	Typ	Beschreibung
from	integer	Der Startindex der abgerufenen Sitzungen.
sessions	SparkBatchJob[]	Batchliste
total	integer	Anzahl der abgerufenen Sitzungen.

SparkBatchJobResultType

Das Ergebnis des Spark-Batchauftrags.

Name	Typ	Beschreibung
Cancelled	string
Failed	string
Succeeded	string
Uncertain	string

SparkBatchJobState

Name	Typ	Beschreibung
currentState	string	den Spark-Auftragsstatus.
deadAt	string	Zeitpunkt, zu dem der "tote" Livy-Zustand zum ersten Mal gesehen wurde.
jobCreationRequest	SparkRequest
killedAt	string	der Zeitpunkt, zu dem der "getötete" Livy-Zustand zum ersten Mal gesehen wurde.
notStartedAt	string	der Zeitpunkt, zu dem "not_started" livy zustand zum ersten Mal gesehen wurde.
recoveringAt	string	der Zeitpunkt, zu dem der "wiederhergestellte" Livy-Zustand zum ersten Mal gesehen wurde.
runningAt	string	der Zeitpunkt, zu dem der Livyzustand zum ersten Mal "ausgeführt" wurde.
startingAt	string	der Zeitpunkt, zu dem der "Start"-Livy-Zustand zum ersten Mal gesehen wurde.
successAt	string	der Zeitpunkt, zu dem der Livyzustand "Erfolg" zum ersten Mal gesehen wurde.

SparkErrorSource

Name	Typ	Beschreibung
Dependency	string
System	string
Unknown	string
User	string

SparkJobType

Der Auftragstyp.

Name	Typ	Beschreibung
SparkBatch	string
SparkSession	string

SparkRequest

Name	Typ	Beschreibung
archives	string[]
args	string[]
className	string
conf	object
driverCores	integer
driverMemory	string
executorCores	integer
executorMemory	string
file	string
files	string[]
jars	string[]
name	string
numExecutors	integer
pyFiles	string[]

SparkScheduler

Name	Typ	Beschreibung
cancellationRequestedAt	string
currentState	SchedulerCurrentState
endedAt	string
scheduledAt	string
submittedAt	string

SparkServiceError

Name	Typ	Beschreibung
errorCode	string
message	string
source	SparkErrorSource

SparkServicePlugin

Name	Typ	Beschreibung
cleanupStartedAt	string
currentState	PluginCurrentState
monitoringStartedAt	string
preparationStartedAt	string
resourceAcquisitionStartedAt	string
submissionStartedAt	string

Freigeben über