Compartir a través de

Trabajo por lotes

  • Artículo

Parámetros y encabezados comunes

La siguiente información es común a todas las tareas relacionadas con los clústeres que puede hacer:

  • Reemplace {cluster-endpoint} por la dirección URL del punto de conexión de administración del clúster. (por ejemplo, myendpoint.azurehdinsight.net)

  • Reemplace {batch-id} por el identificador de lote devuelto en el envío del trabajo.

  • Establezca el encabezado Content-Type en application/json.

  • Autentíquese con el punto de conexión mediante la autenticación básica HTTP.

Creación de un nuevo trabajo por lotes

Envíe un nuevo trabajo por lotes desde un archivo JAR.

Request

Consulte Common parameters and headers for headers and parameters that are used by clusters (Parámetros y encabezados comunes para encabezados y parámetros que usan los clústeres).

Método URI de solicitud
POST https://{cluster-endpoint}/livy/batches

A continuación se muestra una solicitud de ejemplo para crear un nuevo trabajo por lotes

{  
	   "file" : "wasb://<BlobStorageContainerName>@<StorageAccountName>.blob.core.windows.net/sample.jar",  
	   "args" : ["arg0", "arg1"],  
	   "className" : "com.sample.Job1",  
	   "jars" : ["wasb://<BlobStorageContainerName>@<StorageAccountName>.blob.core.windows.net/helper.jar"],  
	   "files" : ["wasb://<BlobStorageContainerName>@<StorageAccountName>.blob.core.windows.net/config.xml"],  
	   "driverMemory" : "1G",  
	   "driverCores" : 2,  
	   "executorMemory" : "1G",  
	   "executorCores" : 10,  
	   "numExecutors" : 10  
}
Nombre del elemento Obligatorio Tipo Descripción
proxyUser No String El usuario que suplantará que ejecutará el trabajo.
archivo Sí String Ruta de acceso al archivo jar del trabajo por lotes.
args No Matriz de cadena Argumentos de línea de comandos pasados al trabajo por lotes.
className Sí String Nombre de clase de la clase principal.
jars No Matriz de cadena Archivos que se van a colocar en la ruta de clase java
pyFiles No Matriz de cadena Archivos que se van a colocar en PYTHONPATH
archivos No Matriz de cadena Archivos que se van a colocar en el directorio de trabajo del ejecutor
driverMemory No String Memoria para el controlador (1000M, 2G)
driverCores No Entero Número de núcleos usados por el controlador
executorMemory No String Memoria para ejecutor (1000M, 2G)
executorCores No Entero Número de núcleos usados por el ejecutor
numExecutors No Entero número de ejecutores
archives No Matriz de cadena Archivos que se van a descomprimir (solo en modo YARN)

Response

La operación devolverá 200 (CORRECTO) si la solicitud se ha completado correctamente.

Código de estado: 200 Correcto

Cuerpo de la respuesta:

{  
   "id" : 1,  
   "state" : "starting",  
   "log" : ["logline"]  
}
Nombre del elemento Obligatorio Tipo Descripción
id Sí Entero Identificador de sesión por lotes
log Sí Matriz de cadena Matriz de líneas de registro para este trabajo por lotes.
state No String Estado de sesión. Valor posible: ["starting", "idle", "error"]

Obtención del registro completo de un trabajo por lotes

Request

Consulte Common parameters and headers for headers and parameters that are used by clusters (Parámetros y encabezados comunes para encabezados y parámetros que usan los clústeres).

Método URI de solicitud
GET https://{cluster-endpoint}/livy/batches/{batch-id}/log

Response

Si se completa la validación y se acepta la solicitud, la operación devolverá 200 (CORRECTO).

Código de estado: 200 Aceptar

Cuerpo de la respuesta:

{  
"id" : 1,  
"from":0,  
"total":54  
“log" : ["logline1", “logline2”]  
}
Nombre del elemento Obligatorio Tipo Descripción
id Sí Entero El identificador de sesión por lotes
desde Sí Entero Offset
tamaño Sí Entero Número total de líneas
log Sí Matriz de cadena Matriz de líneas de registro para este trabajo por lotes.

Obtención del estado de un trabajo por lotes

Request

Consulte Parámetros y encabezados comunes para los encabezados y parámetros que usan los clústeres.

Método URI de solicitud
GET https://{cluster-endpoint}/livy/batches/{batch-id}

Response

Si se completa la validación y se acepta la solicitud, la operación devolverá 200 (CORRECTO).

Código de estado: 200 Aceptar

Cuerpo de la respuesta:

{  
"id" : 1,  
"state" : "starting",  
“log" : ["logline"]  
}
Nombre del elemento Obligatorio Tipo Descripción
id Sí Entero El identificador de sesión por lotes
log Sí Matriz de cadenas Matriz de líneas de registro para este trabajo por lotes.
state Sí String Estado de sesión. Valor posible: ["starting", "idle", "error"]

Eliminación de un trabajo por lotes

Request

Consulte Parámetros y encabezados comunes para los encabezados y parámetros que usan los clústeres.

Método URI de solicitud
Delete https://{cluster-endpoint}/livy/batches/{batch-id}

Response

Si se completa la validación y se acepta la solicitud, la operación devolverá 200 (CORRECTO).

Código de estado: 200 Aceptar

Cuerpo de la respuesta:

{  
"msg" : "deleted"  
}
Nombre del elemento Obligatorio Tipo Descripción
Message Sí String Mensaje de la eliminación.

Sesiones interactivas

  • Iniciar, enviar instrucción, recuperar resultados de instrucciones y finalizar una sesión interactiva

Devolver todos los trabajos por lotes activos

Request

Consulte Parámetros y encabezados comunes para los encabezados y parámetros que usan los clústeres.

Método URI de solicitud
GET https://{cluster-endpoint}/livy/batches

Response

Si se completa la validación y se acepta la solicitud, la operación devolverá 200 (CORRECTO).

Código de estado: 200 Aceptar

Cuerpo de la respuesta:

{  
	"from" : 0,  
	"total" : 2,  
	"sessions" : [{  
			"id" : 1,  
			"state" : "starting",  
			"log" : ["logline"]  
		}, {  
			"id" : 0,  
			"state" : "idle",  
			"log" : ["logline"]  
		}  
	]  
}
Nombre del elemento Obligatorio Tipo Descripción
desde Sí String Offset
total Sí String Número de lotes que se van a devolver
sesión Sí Matriz de tipo complejo (batch) Una lista de trabajos por lotes activos

Batch

Nombre del elemento Obligatorio Tipo Descripción
id Sí Entero El identificador de sesión por lotes
log Sí Matriz de cadenas Matriz de líneas de registro para este trabajo por lotes.
state Sí String Estado de sesión. Valor posible: ["starting", "idle", "error"]