你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。
Batch 作业
常见参数和标头
以下信息对于你可能执行的所有与群集相关的任务都是通用的：
将 {cluster-endpoint} 替换为群集管理终结点的 URL。 例如， (myendpoint.azurehdinsight.net)
将 {batch-id} 替换为作业提交时返回的批 ID。
将 Content-Type 标头设置为 application/json。
使用 HTTP 基本身份验证对终结点进行身份验证。
创建新的批处理作业
从 jar 提交新的批处理作业。
请求
有关群集使用的标头和参数，请参阅 常见参数 和标头。
| 方法 | 请求 URI |
|---|---|
| POST | https://{cluster-endpoint}/livy/batches |
下面显示了创建新批处理作业的示例请求
{
"file" : "wasb://<BlobStorageContainerName>@<StorageAccountName>.blob.core.windows.net/sample.jar",
"args" : ["arg0", "arg1"],
"className" : "com.sample.Job1",
"jars" : ["wasb://<BlobStorageContainerName>@<StorageAccountName>.blob.core.windows.net/helper.jar"],
"files" : ["wasb://<BlobStorageContainerName>@<StorageAccountName>.blob.core.windows.net/config.xml"],
"driverMemory" : "1G",
"driverCores" : 2,
"executorMemory" : "1G",
"executorCores" : 10,
"numExecutors" : 10
}
| 元素名称 | 必选 | 类型 | 说明 |
|---|---|---|---|
| proxyUser | 否 | 字符串 | 要模拟的、将执行作业的用户 |
| 文件 | 是 | 字符串 | 批处理作业的 jar 的路径。 |
| args | 否 | 字符串数组 | 传递给批处理作业的命令行参数。 |
| className | 是 | 字符串 | main 类的类名。 |
| jars | 否 | 字符串数组 | 要放置在 java 类路径上的文件 |
| pyFiles | 否 | 字符串数组 | 要放置在 PYTHONPATH 上的文件 |
| 文件 | 否 | 字符串数组 | 要放置在执行程序工作目录中的文件 |
| driverMemory | 否 | 字符串 | 驱动程序 (1000M、2G) 的内存 |
| driverCores | 否 | Integer | 驱动程序使用的核心数 |
| executorMemory | 否 | 字符串 | 执行程序的内存 (1000M、2G) |
| executorCores | 否 | Integer | 执行程序使用的核心数 |
| numExecutors | 否 | Integer | 执行程序数 |
| archives | 否 | 字符串数组 | 要解压缩 (YARN 模式的存档仅) |
响应
如果请求成功完成，该操作将返回 200 (正常)
状态代码： 200 正常
响应正文：
{
"id" : 1,
"state" : "starting",
"log" : ["logline"]
}
| 元素名称 | 必选 | 类型 | 说明 |
|---|---|---|---|
| id | 是 | Integer | 批处理会话 ID |
| log | 是 | 字符串数组 | 此批处理作业的日志行数组。 |
| state | 否 | 字符串 | 会话状态。 可能的值：[“starting”、“idle”、“error”] |
获取批处理作业的完整日志
请求
有关群集使用的标头和参数，请参阅 常见参数 和标头。
| 方法 | 请求 URI |
|---|---|
| GET | https://{cluster-endpoint}/livy/batches/{batch-id}/log |
响应
如果验证完成且请求被接受，则操作将返回 200 (OK) 。
状态代码：200 正常
响应正文：
{
"id" : 1,
"from":0,
"total":54
“log" : ["logline1", “logline2”]
}
| 元素名称 | 必须 | 类型 | 说明 |
|---|---|---|---|
| id | 是 | Integer | 批处理会话 ID |
| from | 是 | Integer | Offset |
| 大小 | 是 | Integer | 总行数 |
| log | 是 | 字符串数组 | 此批处理作业的日志行数组。 |
获取批处理作业的状态
请求
有关群集使用的标头和参数，请参阅通用参数和标头。
| 方法 | 请求 URI |
|---|---|
| GET | https://{cluster-endpoint}/livy/batches/{batch-id} |
响应
如果验证完成且请求被接受，则操作将返回 200 (OK) 。
状态代码：200 正常
响应正文：
{
"id" : 1,
"state" : "starting",
“log" : ["logline"]
}
| 元素名称 | 必须 | 类型 | 说明 |
|---|---|---|---|
| id | 是 | Integer | 批处理会话 ID |
| log | 是 | 字符串数组 | 此批处理作业的日志行数组。 |
| state | 是 | 字符串 | 会话状态。 可能的值：[“starting”， “idle”， “error”] |
终止批处理作业
请求
有关群集使用的标头和参数，请参阅 通用 参数和标头。
| 方法 | 请求 URI |
|---|---|
| DELETE | https://{cluster-endpoint}/livy/batches/{batch-id} |
响应
如果验证完成且请求被接受，则操作将返回 200 (OK) 。
状态代码：200 正常
响应正文：
{
"msg" : "deleted"
}
| 元素名称 | 必须 | 类型 | 说明 |
|---|---|---|---|
| 消息 | 是 | 字符串 | 删除的消息。 |
交互式会话
- 启动、提交语句、检索语句结果和终止交互式会话
返回所有活动的批处理作业
请求
有关群集使用的标头和参数，请参阅 通用 参数和标头。
| 方法 | 请求 URI |
|---|---|
| GET | https://{cluster-endpoint}/livy/batches |
响应
如果验证完成且请求被接受，则操作将返回 200 (OK) 。
状态代码：200 正常
响应正文：
{
"from" : 0,
"total" : 2,
"sessions" : [{
"id" : 1,
"state" : "starting",
"log" : ["logline"]
}, {
"id" : 0,
"state" : "idle",
"log" : ["logline"]
}
]
}
| 元素名称 | 必须 | 类型 | 说明 |
|---|---|---|---|
| from | 是 | 字符串 | Offset |
| total | 是 | 字符串 | 要返回的批数 |
| 会话 | 是 | 复杂类型 (批处理) 数组 | 活动批处理作业的列表 |
Batch
| 元素名称 | 必须 | 类型 | 说明 |
|---|---|---|---|
| id | 是 | Integer | 批处理会话 ID |
| log | 是 | 字符串数组 | 此批处理作业的日志行数组。 |
| state | 是 | 字符串 | 会话状态。 可能的值：[“starting”， “idle”， “error”] |