Condividi tramite

Processo batch

  • Articolo

Parametri e intestazioni comuni

Le informazioni seguenti sono comuni a tutte le attività correlate ai cluster che è possibile eseguire:

  • Sostituire {cluster-endpoint} con l'URL dell'endpoint di gestione del cluster. (ad esempio, myendpoint.azurehdinsight.net)

  • Sostituire {batch-id} con l'ID batch restituito all'invio del processo.

  • Impostare l'intestazione Content-Type su application/json.

  • Eseguire l'autenticazione con l'endpoint usando l'autenticazione di base HTTP.

Creare un nuovo processo batch

Inviare un nuovo processo batch da un file JAR.

Richiesta

Vedere Parametri e intestazioni comuni per intestazioni e parametri usati dai cluster.

Metodo URI richiesta
POST https://{cluster-endpoint}/livy/batches

Di seguito viene illustrata una richiesta di esempio per creare un nuovo processo batch

{  
	   "file" : "wasb://<BlobStorageContainerName>@<StorageAccountName>.blob.core.windows.net/sample.jar",  
	   "args" : ["arg0", "arg1"],  
	   "className" : "com.sample.Job1",  
	   "jars" : ["wasb://<BlobStorageContainerName>@<StorageAccountName>.blob.core.windows.net/helper.jar"],  
	   "files" : ["wasb://<BlobStorageContainerName>@<StorageAccountName>.blob.core.windows.net/config.xml"],  
	   "driverMemory" : "1G",  
	   "driverCores" : 2,  
	   "executorMemory" : "1G",  
	   "executorCores" : 10,  
	   "numExecutors" : 10  
}
Nome dell'elemento Obbligatorio Tipo Descrizione
proxyUser No string L'utente da rappresentare che eseguirà il processo
file Sì string Percorso del file JAR del processo batch.
args No Matrice di stringhe Argomenti della riga di comando passati al processo batch.
className Sì string Nome della classe principale.
jars No Matrice di stringhe File da inserire nel classpath Java
pyFiles No Matrice di stringhe File da inserire in PYTHONPATH
files No Matrice di stringhe File da inserire nella directory di lavoro dell'executor
driverMemory No string Memoria per il driver (1000M, 2G)
driverCores No Integer Numero di core usati dal driver
executorMemory No string Memoria per executor (1000M, 2G)
executorCores No Integer Numero di core usati dall'executor
numExecutors No Integer numero di executor
archives No Matrice di stringhe Archivi da decomprimere (solo modalità YARN)

Risposta

L'operazione restituirà 200 (OK) se la richiesta viene completata correttamente

Codice di stato: 200 OK

Corpo della risposta:

{  
   "id" : 1,  
   "state" : "starting",  
   "log" : ["logline"]  
}
Nome dell'elemento Obbligatorio Tipo Descrizione
id Sì Integer ID sessione batch
log Sì Matrice di stringhe Matrice di righe di log per questo processo batch.
state No string Stato della sessione. Valore possibile: ["starting", "idle", "error"]

Ottenere il log completo di un processo batch

Richiesta

Vedere Parametri e intestazioni comuni per intestazioni e parametri usati dai cluster.

Metodo URI richiesta
GET https://{cluster-endpoint}/livy/batches/{batch-id}/log

Risposta

Se la convalida è completata e la richiesta viene accettata, l'operazione restituirà 200 (OK).

Codice di stato: 200 OK

Corpo della risposta:

{  
"id" : 1,  
"from":0,  
"total":54  
“log" : ["logline1", “logline2”]  
}
Nome dell'elemento Obbligatoria Tipo Descrizione
id Sì Integer ID sessione batch
da Sì Integer Offset
size Sì Integer Numero totale di righe
log Sì Matrice di stringhe Matrice di righe di log per questo processo batch.

Ottenere lo stato di un processo batch

Richiesta

Vedere Parametri e intestazioni comuni per intestazioni e parametri usati dai cluster.

Metodo URI richiesta
GET https://{cluster-endpoint}/livy/batches/{batch-id}

Risposta

Se la convalida è completata e la richiesta viene accettata, l'operazione restituirà 200 (OK).

Codice di stato: 200 OK

Corpo della risposta:

{  
"id" : 1,  
"state" : "starting",  
“log" : ["logline"]  
}
Nome dell'elemento Obbligatoria Tipo Descrizione
id Sì Integer ID sessione batch
log Sì Matrice di stringhe Matrice di righe di log per questo processo batch.
state Sì string Stato sessione. Valore possibile: ["starting", "idle", "error"]

Uccidere un processo batch

Richiesta

Vedere Parametri e intestazioni comuni per intestazioni e parametri usati dai cluster.

Metodo URI richiesta
DELETE https://{cluster-endpoint}/livy/batches/{batch-id}

Risposta

Se la convalida è completata e la richiesta viene accettata, l'operazione restituirà 200 (OK).

Codice di stato: 200 OK

Corpo della risposta:

{  
"msg" : "deleted"  
}
Nome dell'elemento Obbligatoria Tipo Descrizione
Message Sì string Messaggio dell'eliminazione.

Sessioni interattive

  • Avviare, inviare istruzioni, recuperare i risultati dell'istruzione e terminare una sessione interattiva

Restituire tutti i processi batch attivi

Richiesta

Vedere Parametri e intestazioni comuni per intestazioni e parametri usati dai cluster.

Metodo URI richiesta
GET https://{cluster-endpoint}/livy/batches

Risposta

Se la convalida è completata e la richiesta viene accettata, l'operazione restituirà 200 (OK).

Codice di stato: 200 OK

Corpo della risposta:

{  
	"from" : 0,  
	"total" : 2,  
	"sessions" : [{  
			"id" : 1,  
			"state" : "starting",  
			"log" : ["logline"]  
		}, {  
			"id" : 0,  
			"state" : "idle",  
			"log" : ["logline"]  
		}  
	]  
}
Nome dell'elemento Obbligatoria Tipo Descrizione
da Sì string Offset
total Sì string Numero di batch da restituire
sessione Sì Matrice di tipo complesso (Batch) Elenco di processi batch attivi

Batch

Nome dell'elemento Obbligatoria Tipo Descrizione
id Sì Integer ID sessione batch
log Sì Matrice di stringhe Matrice di righe di log per questo processo batch.
state Sì string Stato sessione. Valore possibile: ["starting", "idle", "error"]