Freigeben über


Spark Batch - Create Spark Batch Job

Erstellen Sie einen neuen Spark-Batchauftrag.

POST {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches
POST {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches?detailed={detailed}

URI-Parameter

Name In Erforderlich Typ Beschreibung
endpoint
path True

string

Der Endpunkt zur Arbeitsbereichsentwicklung, Beispiel: https://myworkspace.dev.azuresynapse.net

livyApiVersion
path True

string

Gültige API-Version für die Anforderung,

sparkPoolName
path True

string

Name des Spark-Pools

detailed
query

boolean

Optionaler Abfrageparameter, der angibt, ob eine detaillierte Antwort über das einfache Livy hinaus zurückgegeben wird.

Anforderungstext

Name Erforderlich Typ Beschreibung
file True

string

name True

string

archives

string[]

args

string[]

artifactId

string

className

string

conf

object

driverCores

integer

driverMemory

string

executorCores

integer

executorMemory

string

files

string[]

jars

string[]

numExecutors

integer

pyFiles

string[]

tags

object

Antworten

Name Typ Beschreibung
200 OK

SparkBatchJob

Erfolg

Beispiele

Create new spark batch job.

Beispielanforderung

POST myWorkspace.dev.azuresynapse.net/livyApi/versions/2019-11-01-preview/sparkPools/mySparkPool/batches?detailed=True

{
  "tags": null,
  "artifactId": "fill in here",
  "name": "jobname",
  "file": "abfss://",
  "className": "classname",
  "args": [],
  "jars": [],
  "files": [],
  "archives": [],
  "conf": null,
  "driverMemory": "4g",
  "driverCores": 4,
  "executorMemory": "2g",
  "executorCores": 4,
  "numExecutors": 2
}

Beispiel für eine Antwort

{
  "livyInfo": null,
  "name": "jobname",
  "workspaceName": "myWorkspace",
  "sparkPoolName": "mySparkPool",
  "submitterName": "thetime",
  "submitterId": "thesubmitterid",
  "artifactId": "fill in here",
  "jobType": "SparkBatch",
  "result": "Failed",
  "schedulerInfo": null,
  "pluginInfo": null,
  "errorInfo": [],
  "tags": null,
  "id": 1,
  "appId": "fill in here",
  "appInfo": null,
  "state": "the state",
  "log": []
}

Definitionen

Name Beschreibung
LivyStates

Der Batchzustand

PluginCurrentState
SchedulerCurrentState
SparkBatchJob
SparkBatchJobOptions
SparkBatchJobResultType

Das Ergebnis des Spark-Batchauftrags.

SparkBatchJobState
SparkErrorSource
SparkJobType

Der Auftragstyp.

SparkRequest
SparkScheduler
SparkServiceError
SparkServicePlugin

LivyStates

Der Batchzustand

Name Typ Beschreibung
busy

string

dead

string

error

string

idle

string

killed

string

not_started

string

recovering

string

running

string

shutting_down

string

starting

string

success

string

PluginCurrentState

Name Typ Beschreibung
Cleanup

string

Ended

string

Monitoring

string

Preparation

string

Queued

string

ResourceAcquisition

string

Submission

string

SchedulerCurrentState

Name Typ Beschreibung
Ended

string

Queued

string

Scheduled

string

SparkBatchJob

Name Typ Beschreibung
appId

string

Die Anwendungs-ID der Sitzung

appInfo

object

Die detaillierten Anwendungsinformationen.

artifactId

string

Der Artefaktbezeichner.

errorInfo

SparkServiceError[]

Die Fehlerinformationen.

id

integer

Die Sitzungs-ID.

jobType

SparkJobType

Der Auftragstyp.

livyInfo

SparkBatchJobState

log

string[]

Die Protokollzeilen.

name

string

Der Batchname.

pluginInfo

SparkServicePlugin

Die Plug-In-Informationen.

result

SparkBatchJobResultType

Das Ergebnis des Spark-Batchauftrags.

schedulerInfo

SparkScheduler

Die Planerinformationen.

sparkPoolName

string

Der Name des Spark-Pools.

state

LivyStates

Der Batchzustand

submitterId

string

Der Übermittlungsbezeichner.

submitterName

string

Der Name des Antragstellers.

tags

object

Die Tags.

workspaceName

string

Der Arbeitsbereichsname.

SparkBatchJobOptions

Name Typ Beschreibung
archives

string[]

args

string[]

artifactId

string

className

string

conf

object

driverCores

integer

driverMemory

string

executorCores

integer

executorMemory

string

file

string

files

string[]

jars

string[]

name

string

numExecutors

integer

pyFiles

string[]

tags

object

SparkBatchJobResultType

Das Ergebnis des Spark-Batchauftrags.

Name Typ Beschreibung
Cancelled

string

Failed

string

Succeeded

string

Uncertain

string

SparkBatchJobState

Name Typ Beschreibung
currentState

string

den Spark-Auftragsstatus.

deadAt

string

Zeitpunkt, zu dem der "tote" Livy-Zustand zum ersten Mal gesehen wurde.

jobCreationRequest

SparkRequest

killedAt

string

der Zeitpunkt, zu dem der "getötete" Livy-Zustand zum ersten Mal gesehen wurde.

notStartedAt

string

der Zeitpunkt, zu dem "not_started" livy zustand zum ersten Mal gesehen wurde.

recoveringAt

string

der Zeitpunkt, zu dem der "wiederhergestellte" Livy-Zustand zum ersten Mal gesehen wurde.

runningAt

string

der Zeitpunkt, zu dem der Livyzustand zum ersten Mal "ausgeführt" wurde.

startingAt

string

der Zeitpunkt, zu dem der "Start"-Livy-Zustand zum ersten Mal gesehen wurde.

successAt

string

der Zeitpunkt, zu dem der Livyzustand "Erfolg" zum ersten Mal gesehen wurde.

SparkErrorSource

Name Typ Beschreibung
Dependency

string

System

string

Unknown

string

User

string

SparkJobType

Der Auftragstyp.

Name Typ Beschreibung
SparkBatch

string

SparkSession

string

SparkRequest

Name Typ Beschreibung
archives

string[]

args

string[]

className

string

conf

object

driverCores

integer

driverMemory

string

executorCores

integer

executorMemory

string

file

string

files

string[]

jars

string[]

name

string

numExecutors

integer

pyFiles

string[]

SparkScheduler

Name Typ Beschreibung
cancellationRequestedAt

string

currentState

SchedulerCurrentState

endedAt

string

scheduledAt

string

submittedAt

string

SparkServiceError

Name Typ Beschreibung
errorCode

string

message

string

source

SparkErrorSource

SparkServicePlugin

Name Typ Beschreibung
cleanupStartedAt

string

currentState

PluginCurrentState

monitoringStartedAt

string

preparationStartedAt

string

resourceAcquisitionStartedAt

string

submissionStartedAt

string