Dela via

Batch-jobb

  • Artikel

Vanliga parametrar och sidhuvuden

Följande information är gemensam för alla uppgifter som är relaterade till kluster som du kan göra:

  • Ersätt {cluster-endpoint} med url:en för klustrets hanteringsslutpunkt. (till exempel myendpoint.azurehdinsight.net)

  • Ersätt {batch-id} med batch-ID:t som returnerades vid jobböverföring.

  • Ange rubriken Innehållstyp till application/json.

  • Autentisera med slutpunkten med grundläggande HTTP-autentisering.

Skapa ett nytt batchjobb

Skicka ett nytt batchjobb från en jar-fil.

Förfrågan

Se Vanliga parametrar och rubriker för rubriker och parametrar som används av kluster.

Metod URI för förfrågan
POST https://{cluster-endpoint}/livy/batches

Nedan visas en exempelbegäran om att skapa ett nytt batchjobb

{  
	   "file" : "wasb://<BlobStorageContainerName>@<StorageAccountName>.blob.core.windows.net/sample.jar",  
	   "args" : ["arg0", "arg1"],  
	   "className" : "com.sample.Job1",  
	   "jars" : ["wasb://<BlobStorageContainerName>@<StorageAccountName>.blob.core.windows.net/helper.jar"],  
	   "files" : ["wasb://<BlobStorageContainerName>@<StorageAccountName>.blob.core.windows.net/config.xml"],  
	   "driverMemory" : "1G",  
	   "driverCores" : 2,  
	   "executorMemory" : "1G",  
	   "executorCores" : 10,  
	   "numExecutors" : 10  
}
Elementnamn Krävs Typ Description
proxyUser Inga Sträng Den användare som ska personifiera som ska köra jobbet
file Ja Sträng Sökväg till batchjobbets jar-fil.
args No Strängmatris Kommandoradsargument skickades till batchjobbet.
Classname Ja Sträng Klassnamnet för huvudklassen.
Burkar No Strängmatris Filer som ska placeras på java-klassökvägen
pyFiles No Strängmatris Filer som ska placeras i PYTHONPATH
filer No Strängmatris Filer som ska placeras i arbetskatalogen för executor
driverMemory Inga Sträng Minne för drivrutin (1000M, 2G)
driverCores No Integer Antal kärnor som används av drivrutinen
executorMemory Inga Sträng Minne för executor (1000M, 2G)
executorCores No Integer Antal kärnor som används av executor
numExecutors No Integer antal utförare
Arkiv No Strängmatris Arkiv som ska vara okomprimerade (endast YARN-läge)

Svarsåtgärder

Åtgärden returnerar 200 (OK) om begäran har slutförts

Statuskod: 200 OK

Svarstext:

{  
   "id" : 1,  
   "state" : "starting",  
   "log" : ["logline"]  
}
Elementnamn Krävs Typ Description
id Yes Integer Batch-sessions-ID
Logga in Yes Strängmatris Matris med loggrader för det här batchjobbet.
state Inga Sträng Sessionstillståndet. Möjligt värde: ["starting", "idle", "error"]

Hämta den fullständiga loggen för ett batchjobb

Förfrågan

Se Vanliga parametrar och rubriker för rubriker och parametrar som används av kluster.

Metod URI för förfrågan
GET https://{cluster-endpoint}/livy/batches/{batch-id}/log

Svarsåtgärder

Om valideringen är klar och begäran godkänns returnerar åtgärden 200 (OK).

Statuskod: 200 OK

Svarstext:

{  
"id" : 1,  
"from":0,  
"total":54  
“log" : ["logline1", “logline2”]  
}
Elementnamn Krävs Typ Description
id Yes Integer Batch-sessions-ID
Från Yes Integer Offset
ikoner Yes Integer Totalt antal rader
Logga in Yes Strängmatris Matris med loggrader för det här batchjobbet.

Hämta tillståndet för ett batchjobb

Förfrågan

Se Vanliga parametrar och rubriker för rubriker och parametrar som används av kluster.

Metod URI för förfrågan
GET https://{cluster-endpoint}/livy/batches/{batch-id}

Svarsåtgärder

Om valideringen är klar och begäran godkänns returnerar åtgärden 200 (OK).

Statuskod: 200 OK

Svarstext:

{  
"id" : 1,  
"state" : "starting",  
“log" : ["logline"]  
}
Elementnamn Krävs Typ Description
id Yes Integer Batch-sessions-ID
Logga in Yes Strängmatris Matris med loggrader för det här batchjobbet.
state Ja Sträng Sessionstillståndet. Möjligt värde: ["starting", "idle", "error"]

Avsluta ett batchjobb

Förfrågan

Se Vanliga parametrar och rubriker för rubriker och parametrar som används av kluster.

Metod URI för förfrågan
DELETE https://{cluster-endpoint}/livy/batches/{batch-id}

Svarsåtgärder

Om valideringen är klar och begäran godkänns returnerar åtgärden 200 (OK).

Statuskod: 200 OK

Svarstext:

{  
"msg" : "deleted"  
}
Elementnamn Krävs Typ Description
Meddelande Ja Sträng Meddelandet om borttagningen.

Interaktiva sessioner

  • Starta, skicka instruktion, hämta instruktionsresultat och avsluta en interaktiv session

Returnera alla aktiva batchjobb

Förfrågan

Se Vanliga parametrar och rubriker för rubriker och parametrar som används av kluster.

Metod URI för förfrågan
GET https://{cluster-endpoint}/livy/batches

Svarsåtgärder

Om valideringen är klar och begäran godkänns returnerar åtgärden 200 (OK).

Statuskod: 200 OK

Svarstext:

{  
	"from" : 0,  
	"total" : 2,  
	"sessions" : [{  
			"id" : 1,  
			"state" : "starting",  
			"log" : ["logline"]  
		}, {  
			"id" : 0,  
			"state" : "idle",  
			"log" : ["logline"]  
		}  
	]  
}
Elementnamn Krävs Typ Description
Från Ja Sträng Offset
totalt Ja Sträng Antal batchar som ska returneras
session Yes Matris av komplex typ (Batch) En lista över aktiva batchjobb

Batch

Elementnamn Krävs Typ Description
id Yes Integer Batch-sessions-ID
Logga in Yes Strängmatris Matris med loggrader för det här batchjobbet.
state Ja Sträng Sessionstillståndet. Möjligt värde: ["starting", "idle", "error"]