Sdílet prostřednictvím

Dávková úloha

  • Článek

Běžné parametry a záhlaví

Následující informace jsou společné pro všechny úlohy související s clustery, které můžete provádět:

  • Nahraďte {cluster-endpoint} adresou URL koncového bodu správy vašeho clusteru. (například myendpoint.azurehdinsight.net)

  • Nahraďte {batch-id} ID dávky vráceným při odeslání úlohy.

  • Nastavte hlavičku Content-Type na application/json.

  • Proveďte ověření pomocí koncového bodu pomocí základního ověřování HTTP.

Vytvoření nové dávkové úlohy

Odešlete novou dávkovou úlohu z souboru JAR.

Žádost

Viz Běžné parametry a hlavičky pro hlavičky a parametry používané clustery.

Metoda Identifikátor URI žádosti
POST https://{cluster-endpoint}/livy/batches

Následuje příklad požadavku na vytvoření nové dávkové úlohy.

{  
	   "file" : "wasb://<BlobStorageContainerName>@<StorageAccountName>.blob.core.windows.net/sample.jar",  
	   "args" : ["arg0", "arg1"],  
	   "className" : "com.sample.Job1",  
	   "jars" : ["wasb://<BlobStorageContainerName>@<StorageAccountName>.blob.core.windows.net/helper.jar"],  
	   "files" : ["wasb://<BlobStorageContainerName>@<StorageAccountName>.blob.core.windows.net/config.xml"],  
	   "driverMemory" : "1G",  
	   "driverCores" : 2,  
	   "executorMemory" : "1G",  
	   "executorCores" : 10,  
	   "numExecutors" : 10  
}
Název prvku Požaduje se Typ Description
proxyUser No Řetězec Uživatel, který se má zosobnit, který spustí úlohu
– soubor Ano Řetězec Cesta k souboru JAR dávkové úlohy
args Ne Pole řetězců Argumenty příkazového řádku předané dávkové úloze
Classname Ano Řetězec Název třídy main class.
Sklenice Ne Pole řetězců Soubory, které se mají umístit do cesty třídy Java
pyFiles Ne Pole řetězců Soubory, které se mají umístit do PYTHONPATH
files Ne Pole řetězců Soubory, které se mají umístit do pracovního adresáře exekutoru
driverMemory No Řetězec Paměť pro ovladač (1000M, 2G)
driverCores Ne Integer Počet jader používaných ovladačem
executorMemory No Řetězec Paměť pro exekutor (1000M, 2G)
executorCores Ne Integer Počet jader používaných exekutorem
numExecutors Ne Integer počet exekutorů
Archiv No Pole řetězců Dekomprimované archivy (jenom režim YARN)

Odpověď

Operace vrátí hodnotu 200 (OK), pokud se žádost úspěšně dokončí.

Stavový kód: 200 OK

Text odpovědi:

{  
   "id" : 1,  
   "state" : "starting",  
   "log" : ["logline"]  
}
Název prvku Požaduje se Typ Description
id Ano Integer ID dávkové relace
Protokolu Yes Pole řetězců Pole řádků protokolu pro tuto dávkovou úlohu.
state No Řetězec Stav relace. Možná hodnota: ["starting", "idle", "error"]

Získání úplného protokolu dávkové úlohy

Žádost

Viz Běžné parametry a hlavičky pro hlavičky a parametry používané clustery.

Metoda Identifikátor URI žádosti
GET https://{cluster-endpoint}/livy/batches/{batch-id}/log

Odpověď

Pokud je ověření dokončeno a požadavek je přijat, operace vrátí hodnotu 200 (OK).

Stavový kód: 200 OK

Text odpovědi:

{  
"id" : 1,  
"from":0,  
"total":54  
“log" : ["logline1", “logline2”]  
}
Název elementu Požaduje se Typ Description
id Yes Integer ID dávkové relace
Z Ano Integer Posun
size Ano Integer Celkový počet řádků
Protokolu Yes Pole řetězců Pole řádků protokolu pro tuto dávkovou úlohu

Získání stavu dávkové úlohy

Žádost

Viz Běžné parametry a hlavičky pro hlavičky a parametry, které používají clustery.

Metoda Identifikátor URI žádosti
GET https://{cluster-endpoint}/livy/batches/{batch-id}

Odpověď

Pokud je ověření dokončeno a požadavek je přijat, operace vrátí hodnotu 200 (OK).

Stavový kód: 200 OK

Text odpovědi:

{  
"id" : 1,  
"state" : "starting",  
“log" : ["logline"]  
}
Název elementu Požaduje se Typ Description
id Yes Integer ID dávkové relace
Protokolu Ano Pole řetězců Pole řádků protokolu pro tuto dávkovou úlohu
state Ano Řetězec Stav relace. Možná hodnota: ["starting", "idle", "error"]

Ukončení dávkové úlohy

Žádost

Viz Běžné parametry a hlavičky pro hlavičky a parametry, které používají clustery.

Metoda Identifikátor URI žádosti
DELETE https://{cluster-endpoint}/livy/batches/{batch-id}

Odpověď

Pokud je ověření dokončeno a požadavek je přijat, operace vrátí hodnotu 200 (OK).

Stavový kód: 200 OK

Text odpovědi:

{  
"msg" : "deleted"  
}
Název elementu Požaduje se Typ Description
Zpráva Ano Řetězec Zpráva o odstranění.

Interaktivní relace

  • Spuštění, odeslání příkazu, načtení výsledků příkazu a ukončení interaktivní relace

Vrácení všech aktivních dávkových úloh

Žádost

Viz Běžné parametry a hlavičky pro hlavičky a parametry, které používají clustery.

Metoda Identifikátor URI žádosti
GET https://{cluster-endpoint}/livy/batches

Odpověď

Pokud je ověření dokončeno a požadavek je přijat, operace vrátí hodnotu 200 (OK).

Stavový kód: 200 OK

Text odpovědi:

{  
	"from" : 0,  
	"total" : 2,  
	"sessions" : [{  
			"id" : 1,  
			"state" : "starting",  
			"log" : ["logline"]  
		}, {  
			"id" : 0,  
			"state" : "idle",  
			"log" : ["logline"]  
		}  
	]  
}
Název elementu Požaduje se Typ Description
Z Ano Řetězec Posun
celkem Ano Řetězec Počet dávek, které se mají vrátit
relace Ano Pole komplexního typu (batch) Seznam aktivních dávkových úloh

Batch

Název elementu Požaduje se Typ Description
id Ano Integer ID dávkové relace
Protokolu Yes Pole řetězců Pole řádků protokolu pro tuto dávkovou úlohu
state Ano Řetězec Stav relace. Možná hodnota: ["starting", "idle", "error"]