Tarefa do Batch

Parâmetros e cabeçalhos comuns

As seguintes informações são comuns a todas as tarefas relacionadas com clusters que pode fazer:

• Substitua {cluster-endpoint} pelo URL do ponto final de gestão do cluster. (por exemplo, myendpoint.azurehdinsight.net)

• Substitua {batch-id} pelo ID do lote devolvido na submissão da tarefa.

• Defina o cabeçalho Tipo de Conteúdo como aplicação/json.

• Autenticar com o ponto final com a autenticação básica HTTP.

Criar uma nova tarefa de lote

Submeta uma nova tarefa de lote a partir de um jar.

Pedir

Veja Parâmetros comuns e cabeçalhos para cabeçalhos e parâmetros que são utilizados pelos clusters.

Método	URI do pedido
POST	https://{cluster-endpoint}/livy/batches

Segue-se um pedido de exemplo para criar uma nova tarefa de lote

{  
	   "file" : "wasb://<BlobStorageContainerName>@<StorageAccountName>.blob.core.windows.net/sample.jar",  
	   "args" : ["arg0", "arg1"],  
	   "className" : "com.sample.Job1",  
	   "jars" : ["wasb://<BlobStorageContainerName>@<StorageAccountName>.blob.core.windows.net/helper.jar"],  
	   "files" : ["wasb://<BlobStorageContainerName>@<StorageAccountName>.blob.core.windows.net/config.xml"],  
	   "driverMemory" : "1G",  
	   "driverCores" : 2,  
	   "executorMemory" : "1G",  
	   "executorCores" : 10,  
	   "numExecutors" : 10  
}  
  

Nome do Elemento	Necessário	Tipo	Description
proxyUser	Não	String	O utilizador a representar que irá executar a tarefa
file	Sim	String	Caminho para o jar da tarefa do batch.
args	No	Matriz da Cadeia	Argumentos da linha de comandos transmitidos para a tarefa de lote.
className	Sim	String	O nome da classe principal.
jars	No	Matriz da Cadeia	Ficheiros a colocar no classpath java
pyFiles	No	Matriz da Cadeia	Ficheiros a colocar no PYTHONPATH
ficheiros	No	Matriz da Cadeia	Ficheiros a colocar no diretório de trabalho do executor
driverMemory	Não	String	Memória do controlador (1000 M, 2G)
driverCores	No	Número inteiro	Número de núcleos utilizados pelo controlador
executorMemory	Não	String	Memória do executor (1000M, 2G)
executorCores	No	Número inteiro	Número de núcleos utilizados pelo executor
numExecutors	No	Número inteiro	número de executores
arquivos	No	Matriz da Cadeia	Arquivos a descomprimir (apenas no modo YARN)

Resposta

A operação devolverá 200 (OK) se o pedido for concluído com êxito

Código de estado: 200 OK

Corpo da resposta:

{  
   "id" : 1,  
   "state" : "starting",  
   "log" : ["logline"]  
}  
  

Nome do Elemento	Necessário	Tipo	Descrição
ID	Yes	Número inteiro	O ID da sessão em lote
registo	Yes	Matriz da cadeia	Matriz de linhas de registo para esta tarefa de lote.
state	Não	String	O estado da sessão. Valor possível: ["starting", "idle", "error"]

Obter o registo completo de uma tarefa de lote

Pedir

Veja Parâmetros comuns e cabeçalhos para cabeçalhos e parâmetros que são utilizados pelos clusters.

Método	URI do pedido
GET	https://{cluster-endpoint}/livy/batches/{batch-id}/log

Resposta

Se a validação estiver concluída e o pedido for aceite, a operação devolverá 200 (OK).

Código de estado: 200 OK

Corpo da resposta:

{  
"id" : 1,  
"from":0,  
"total":54  
“log" : ["logline1", “logline2”]  
}  
  

Nome do elemento	Necessário	Tipo	Descrição
ID	Yes	Número inteiro	O ID da sessão em lote
de	Yes	Número inteiro	Desvio
size	Yes	Número inteiro	Número total de linhas
registo	Yes	Matriz da cadeia	Matriz de linhas de registo para esta tarefa de lote.

Obter o estado de uma tarefa de lote

Pedir

Veja Common parameters and headers for headers and parameters that are used by clusters (Parâmetros comuns e cabeçalhos para cabeçalhos e parâmetros utilizados por clusters).

Método	URI do pedido
GET	https://{cluster-endpoint}/livy/batches/{batch-id}

Resposta

Se a validação estiver concluída e o pedido for aceite, a operação devolverá 200 (OK).

Código de estado: 200 OK

Corpo da resposta:

{  
"id" : 1,  
"state" : "starting",  
“log" : ["logline"]  
}  
  

Nome do elemento	Necessário	Tipo	Descrição
ID	Yes	Número inteiro	O ID da sessão em lote
registo	Yes	Matriz de cadeias	Matriz de linhas de registo para esta tarefa de lote.
state	Sim	String	O estado da sessão. Valor possível: ["a iniciar", "inativo", "erro"]

Terminar um trabalho de lote

Pedir

Veja Common parameters and headers for headers and parameters that are used by clusters ( Parâmetros comuns e cabeçalhos para cabeçalhos e parâmetros utilizados por clusters).

Método	URI do pedido
DELETE	https://{cluster-endpoint}/livy/batches/{batch-id}

Resposta

Se a validação estiver concluída e o pedido for aceite, a operação devolverá 200 (OK).

Código de estado: 200 OK

Corpo da resposta:

{  
"msg" : "deleted"  
}  
  

Nome do elemento	Necessário	Tipo	Description
Mensagem	Sim	String	A mensagem da eliminação.

Sessões interativas

• Iniciar, submeter instrução, obter resultados da instrução e terminar uma sessão interativa

Devolver todas as tarefas de lote ativas

Pedir

Veja Common parameters and headers for headers and parameters that are used by clusters ( Parâmetros comuns e cabeçalhos para cabeçalhos e parâmetros utilizados por clusters).

Método	URI do pedido
GET	https://{cluster-endpoint}/livy/batches

Resposta

Se a validação estiver concluída e o pedido for aceite, a operação devolverá 200 (OK).

Código de estado: 200 OK

Corpo da resposta:

{  
	"from" : 0,  
	"total" : 2,  
	"sessions" : [{  
			"id" : 1,  
			"state" : "starting",  
			"log" : ["logline"]  
		}, {  
			"id" : 0,  
			"state" : "idle",  
			"log" : ["logline"]  
		}  
	]  
}  
  

Nome do elemento	Necessário	Tipo	Description
de	Sim	String	Desvio
total	Sim	String	Número de lotes a devolver
sessão	Yes	Matriz de Tipo Complexo (Batch)	Uma lista de tarefas de lote ativas

Batch

Nome do elemento	Necessário	Tipo	Descrição
ID	Yes	Número inteiro	O ID da sessão em lote
registo	Yes	Matriz de cadeias	Matriz de linhas de registo para esta tarefa de lote.
state	Sim	String	O estado da sessão. Valor possível: ["starting", "idle", "error"]