Spark Batch - Create Spark Batch Job
Erstellen Sie einen neuen Spark-Batchauftrag.
POST {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches
POST {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches?detailed={detailed}
URI-Parameter
Name | In | Erforderlich | Typ | Beschreibung |
---|---|---|---|---|
endpoint
|
path | True |
string |
Der Endpunkt zur Arbeitsbereichsentwicklung, Beispiel: |
livy
|
path | True |
string |
Gültige API-Version für die Anforderung, |
spark
|
path | True |
string |
Name des Spark-Pools |
detailed
|
query |
boolean |
Optionaler Abfrageparameter, der angibt, ob eine detaillierte Antwort über das einfache Livy hinaus zurückgegeben wird. |
Anforderungstext
Name | Erforderlich | Typ | Beschreibung |
---|---|---|---|
file | True |
string |
|
name | True |
string |
|
archives |
string[] |
||
args |
string[] |
||
artifactId |
string |
||
className |
string |
||
conf |
object |
||
driverCores |
integer |
||
driverMemory |
string |
||
executorCores |
integer |
||
executorMemory |
string |
||
files |
string[] |
||
jars |
string[] |
||
numExecutors |
integer |
||
pyFiles |
string[] |
||
tags |
object |
Antworten
Name | Typ | Beschreibung |
---|---|---|
200 OK |
Erfolg |
Beispiele
Create new spark batch job.
Beispielanforderung
POST myWorkspace.dev.azuresynapse.net/livyApi/versions/2019-11-01-preview/sparkPools/mySparkPool/batches?detailed=True
{
"tags": null,
"artifactId": "fill in here",
"name": "jobname",
"file": "abfss://",
"className": "classname",
"args": [],
"jars": [],
"files": [],
"archives": [],
"conf": null,
"driverMemory": "4g",
"driverCores": 4,
"executorMemory": "2g",
"executorCores": 4,
"numExecutors": 2
}
Beispiel für eine Antwort
{
"livyInfo": null,
"name": "jobname",
"workspaceName": "myWorkspace",
"sparkPoolName": "mySparkPool",
"submitterName": "thetime",
"submitterId": "thesubmitterid",
"artifactId": "fill in here",
"jobType": "SparkBatch",
"result": "Failed",
"schedulerInfo": null,
"pluginInfo": null,
"errorInfo": [],
"tags": null,
"id": 1,
"appId": "fill in here",
"appInfo": null,
"state": "the state",
"log": []
}
Definitionen
Name | Beschreibung |
---|---|
Livy |
Der Batchzustand |
Plugin |
|
Scheduler |
|
Spark |
|
Spark |
|
Spark |
Das Ergebnis des Spark-Batchauftrags. |
Spark |
|
Spark |
|
Spark |
Der Auftragstyp. |
Spark |
|
Spark |
|
Spark |
|
Spark |
LivyStates
Der Batchzustand
Name | Typ | Beschreibung |
---|---|---|
busy |
string |
|
dead |
string |
|
error |
string |
|
idle |
string |
|
killed |
string |
|
not_started |
string |
|
recovering |
string |
|
running |
string |
|
shutting_down |
string |
|
starting |
string |
|
success |
string |
PluginCurrentState
Name | Typ | Beschreibung |
---|---|---|
Cleanup |
string |
|
Ended |
string |
|
Monitoring |
string |
|
Preparation |
string |
|
Queued |
string |
|
ResourceAcquisition |
string |
|
Submission |
string |
SchedulerCurrentState
Name | Typ | Beschreibung |
---|---|---|
Ended |
string |
|
Queued |
string |
|
Scheduled |
string |
SparkBatchJob
Name | Typ | Beschreibung |
---|---|---|
appId |
string |
Die Anwendungs-ID der Sitzung |
appInfo |
object |
Die detaillierten Anwendungsinformationen. |
artifactId |
string |
Der Artefaktbezeichner. |
errorInfo |
Die Fehlerinformationen. |
|
id |
integer |
Die Sitzungs-ID. |
jobType |
Der Auftragstyp. |
|
livyInfo | ||
log |
string[] |
Die Protokollzeilen. |
name |
string |
Der Batchname. |
pluginInfo |
Die Plug-In-Informationen. |
|
result |
Das Ergebnis des Spark-Batchauftrags. |
|
schedulerInfo |
Die Planerinformationen. |
|
sparkPoolName |
string |
Der Name des Spark-Pools. |
state |
Der Batchzustand |
|
submitterId |
string |
Der Übermittlungsbezeichner. |
submitterName |
string |
Der Name des Antragstellers. |
tags |
object |
Die Tags. |
workspaceName |
string |
Der Arbeitsbereichsname. |
SparkBatchJobOptions
Name | Typ | Beschreibung |
---|---|---|
archives |
string[] |
|
args |
string[] |
|
artifactId |
string |
|
className |
string |
|
conf |
object |
|
driverCores |
integer |
|
driverMemory |
string |
|
executorCores |
integer |
|
executorMemory |
string |
|
file |
string |
|
files |
string[] |
|
jars |
string[] |
|
name |
string |
|
numExecutors |
integer |
|
pyFiles |
string[] |
|
tags |
object |
SparkBatchJobResultType
Das Ergebnis des Spark-Batchauftrags.
Name | Typ | Beschreibung |
---|---|---|
Cancelled |
string |
|
Failed |
string |
|
Succeeded |
string |
|
Uncertain |
string |
SparkBatchJobState
Name | Typ | Beschreibung |
---|---|---|
currentState |
string |
den Spark-Auftragsstatus. |
deadAt |
string |
Zeitpunkt, zu dem der "tote" Livy-Zustand zum ersten Mal gesehen wurde. |
jobCreationRequest | ||
killedAt |
string |
der Zeitpunkt, zu dem der "getötete" Livy-Zustand zum ersten Mal gesehen wurde. |
notStartedAt |
string |
der Zeitpunkt, zu dem "not_started" livy zustand zum ersten Mal gesehen wurde. |
recoveringAt |
string |
der Zeitpunkt, zu dem der "wiederhergestellte" Livy-Zustand zum ersten Mal gesehen wurde. |
runningAt |
string |
der Zeitpunkt, zu dem der Livyzustand zum ersten Mal "ausgeführt" wurde. |
startingAt |
string |
der Zeitpunkt, zu dem der "Start"-Livy-Zustand zum ersten Mal gesehen wurde. |
successAt |
string |
der Zeitpunkt, zu dem der Livyzustand "Erfolg" zum ersten Mal gesehen wurde. |
SparkErrorSource
Name | Typ | Beschreibung |
---|---|---|
Dependency |
string |
|
System |
string |
|
Unknown |
string |
|
User |
string |
SparkJobType
Der Auftragstyp.
Name | Typ | Beschreibung |
---|---|---|
SparkBatch |
string |
|
SparkSession |
string |
SparkRequest
Name | Typ | Beschreibung |
---|---|---|
archives |
string[] |
|
args |
string[] |
|
className |
string |
|
conf |
object |
|
driverCores |
integer |
|
driverMemory |
string |
|
executorCores |
integer |
|
executorMemory |
string |
|
file |
string |
|
files |
string[] |
|
jars |
string[] |
|
name |
string |
|
numExecutors |
integer |
|
pyFiles |
string[] |
SparkScheduler
Name | Typ | Beschreibung |
---|---|---|
cancellationRequestedAt |
string |
|
currentState | ||
endedAt |
string |
|
scheduledAt |
string |
|
submittedAt |
string |
SparkServiceError
Name | Typ | Beschreibung |
---|---|---|
errorCode |
string |
|
message |
string |
|
source |
SparkServicePlugin
Name | Typ | Beschreibung |
---|---|---|
cleanupStartedAt |
string |
|
currentState | ||
monitoringStartedAt |
string |
|
preparationStartedAt |
string |
|
resourceAcquisitionStartedAt |
string |
|
submissionStartedAt |
string |