你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn

Spark Batch - Get Spark Batch Job

获取单个 Spark 批处理作业。

GET {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches/{batchId}
GET {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches/{batchId}?detailed={detailed}

URI 参数

名称 必需 类型 说明
batchId
path True

integer

int32

批处理作业的标识符。

endpoint
path True

string

工作区开发终结点,例如 https://myworkspace.dev.azuresynapse.net

livyApiVersion
path True

string

请求的有效 api-version。

sparkPoolName
path True

string

Spark 池的名称。

detailed
query

boolean

指定是否返回超出普通 livy 的详细响应的可选查询参数。

响应

名称 类型 说明
200 OK

SparkBatchJob

成功

示例

Gets a single spark batch job.

示例请求

GET myWorkspace.dev.azuresynapse.net/livyApi/versions/2020-12-01/sparkPools/mySparkPool/batches/123?detailed=True

示例响应

{
  "livyInfo": null,
  "name": "jobname",
  "workspaceName": "myWorkspace",
  "sparkPoolName": "mySparkPool",
  "submitterName": "thetime",
  "submitterId": "thesubmitterid",
  "artifactId": "fill in here",
  "jobType": "SparkBatch",
  "result": "Failed",
  "schedulerInfo": null,
  "pluginInfo": null,
  "errorInfo": [],
  "tags": null,
  "id": 1,
  "appId": "fill in here",
  "appInfo": null,
  "state": "the state",
  "log": []
}

定义

名称 说明
LivyStates

批处理状态

PluginCurrentState
SchedulerCurrentState
SparkBatchJob
SparkBatchJobResultType

Spark 批处理作业结果。

SparkBatchJobState
SparkErrorSource
SparkJobType

作业类型。

SparkRequest
SparkScheduler
SparkServiceError
SparkServicePlugin

LivyStates

批处理状态

名称 类型 说明
busy

string

dead

string

error

string

idle

string

killed

string

not_started

string

recovering

string

running

string

shutting_down

string

starting

string

success

string

PluginCurrentState

名称 类型 说明
Cleanup

string

Ended

string

Monitoring

string

Preparation

string

Queued

string

ResourceAcquisition

string

Submission

string

SchedulerCurrentState

名称 类型 说明
Ended

string

Queued

string

Scheduled

string

SparkBatchJob

名称 类型 说明
appId

string

此会话的应用程序 ID

appInfo

object

详细的应用程序信息。

artifactId

string

项目标识符。

errorInfo

SparkServiceError[]

错误信息。

id

integer

会话 ID。

jobType

SparkJobType

作业类型。

livyInfo

SparkBatchJobState

log

string[]

日志行。

name

string

批名称。

pluginInfo

SparkServicePlugin

插件信息。

result

SparkBatchJobResultType

Spark 批处理作业结果。

schedulerInfo

SparkScheduler

计划程序信息。

sparkPoolName

string

Spark 池名称。

state

LivyStates

批处理状态

submitterId

string

提交者标识符。

submitterName

string

提交者名称。

tags

object

标记。

workspaceName

string

工作区名称。

SparkBatchJobResultType

Spark 批处理作业结果。

名称 类型 说明
Cancelled

string

Failed

string

Succeeded

string

Uncertain

string

SparkBatchJobState

名称 类型 说明
currentState

string

Spark 作业状态。

deadAt

string

第一次看到“死”livy 状态的时间。

jobCreationRequest

SparkRequest

killedAt

string

首次看到“杀死”利维州的时间。

notStartedAt

string

首次看到“not_started”livy状态的时间。

recoveringAt

string

首次看到“正在恢复”livy 状态的时间。

runningAt

string

首次看到“运行”livy 状态的时间。

startingAt

string

首次看到“开始”livy 状态的时间。

successAt

string

首次看到“成功”livy 状态的时间。

SparkErrorSource

名称 类型 说明
Dependency

string

System

string

Unknown

string

User

string

SparkJobType

作业类型。

名称 类型 说明
SparkBatch

string

SparkSession

string

SparkRequest

名称 类型 说明
archives

string[]

args

string[]

className

string

conf

object

driverCores

integer

driverMemory

string

executorCores

integer

executorMemory

string

file

string

files

string[]

jars

string[]

name

string

numExecutors

integer

pyFiles

string[]

SparkScheduler

名称 类型 说明
cancellationRequestedAt

string

currentState

SchedulerCurrentState

endedAt

string

scheduledAt

string

submittedAt

string

SparkServiceError

名称 类型 说明
errorCode

string

message

string

source

SparkErrorSource

SparkServicePlugin

名称 类型 说明
cleanupStartedAt

string

currentState

PluginCurrentState

monitoringStartedAt

string

preparationStartedAt

string

resourceAcquisitionStartedAt

string

submissionStartedAt

string