Udostępnij za pośrednictwem

Zadanie wsadowe

  • Artykuł

Typowe parametry i nagłówki

Poniższe informacje są wspólne dla wszystkich zadań związanych z klastrami, które można wykonać:

  • Zastąp element {cluster-endpoint} adresem URL punktu końcowego zarządzania klastra. (na przykład myendpoint.azurehdinsight.net)

  • Zastąp ciąg {batch-id} identyfikatorem partii zwróconym podczas przesyłania zadania.

  • Ustaw nagłówek Content-Type na wartość application/json.

  • Uwierzytelnianie za pomocą punktu końcowego przy użyciu uwierzytelniania podstawowego PROTOKOŁU HTTP.

Tworzenie nowego zadania wsadowego

Prześlij nowe zadanie wsadowe z pliku jar.

Żądanie

Zobacz Typowe parametry i nagłówki dla nagłówków i parametrów używanych przez klastry.

Metoda Identyfikator URI żądania
POST https://{cluster-endpoint}/livy/batches

Poniżej przedstawiono przykładowe żądanie utworzenia nowego zadania wsadowego

{  
	   "file" : "wasb://<BlobStorageContainerName>@<StorageAccountName>.blob.core.windows.net/sample.jar",  
	   "args" : ["arg0", "arg1"],  
	   "className" : "com.sample.Job1",  
	   "jars" : ["wasb://<BlobStorageContainerName>@<StorageAccountName>.blob.core.windows.net/helper.jar"],  
	   "files" : ["wasb://<BlobStorageContainerName>@<StorageAccountName>.blob.core.windows.net/config.xml"],  
	   "driverMemory" : "1G",  
	   "driverCores" : 2,  
	   "executorMemory" : "1G",  
	   "executorCores" : 10,  
	   "numExecutors" : 10  
}
Nazwa elementu Wymagany Typ Opis
proxyUser Nie Ciąg Użytkownik personifikujący, który wykona zadanie
— plik Tak Ciąg Ścieżka do pliku jar zadania wsadowego.
args Nie Tablica ciągów Argumenty wiersza polecenia przekazane do zadania wsadowego.
Classname Tak Ciąg Nazwa klasy głównej.
Słoiki Nie Tablica ciągów Pliki do umieszczenia w klasie java
pyFiles Nie Tablica ciągów Pliki, które mają zostać umieszczone w ścieżce PYTHONPATH
files Nie Tablica ciągów Pliki do umieszczenia w katalogu roboczym funkcji wykonawczej
driverMemory Nie Ciąg Pamięć dla sterownika (1000M, 2G)
driverCores Nie Liczba całkowita Liczba rdzeni używanych przez sterownik
executorMemory Nie Ciąg Pamięć dla funkcji wykonawczej (1000M, 2G)
executorCores Nie Liczba całkowita Liczba rdzeni używanych przez funkcję wykonawcza
numExecutors Nie Liczba całkowita liczba funkcji wykonawczych
Archiwum Nie Tablica ciągów Archiwa, które mają być nieskompresowane (tylko tryb YARN)

Reakcja

Operacja zwróci wartość 200 (OK), jeśli żądanie zostało ukończone pomyślnie

Kod stanu: 200 OK

Treść odpowiedzi:

{  
   "id" : 1,  
   "state" : "starting",  
   "log" : ["logline"]  
}
Nazwa elementu Wymagany Typ Opis
identyfikator Tak Liczba całkowita Identyfikator sesji wsadowej
Dziennik Tak Tablica ciągów Tablica wierszy dziennika dla tego zadania wsadowego.
stan Nie Ciąg Stan sesji. Możliwa wartość: ["starting", "idle", "error"]

Pobieranie pełnego dziennika zadania wsadowego

Żądanie

Zobacz Typowe parametry i nagłówki dla nagłówków i parametrów używanych przez klastry.

Metoda Identyfikator URI żądania
GET https://{cluster-endpoint}/livy/batches/{batch-id}/log

Reakcja

Jeśli walidacja zostanie ukończona i żądanie zostanie zaakceptowane, operacja zwróci 200 (OK).

Kod stanu: 200 OK

Treść odpowiedzi:

{  
"id" : 1,  
"from":0,  
"total":54  
“log" : ["logline1", “logline2”]  
}
Nazwa elementu Wymagany Typ Opis
identyfikator Tak Liczba całkowita Identyfikator sesji wsadowej
Z Tak Liczba całkowita Przesunięcie
size Tak Liczba całkowita Łączna liczba wierszy
Dziennik Tak Tablica ciągów Tablica wierszy dziennika dla tego zadania wsadowego.

Pobieranie stanu zadania wsadowego

Żądanie

Zobacz Typowe parametry i nagłówki nagłówków i parametrów używanych przez klastry.

Metoda Identyfikator URI żądania
GET https://{cluster-endpoint}/livy/batches/{batch-id}

Reakcja

Jeśli walidacja zostanie ukończona i żądanie zostanie zaakceptowane, operacja zwróci 200 (OK).

Kod stanu: 200 OK

Treść odpowiedzi:

{  
"id" : 1,  
"state" : "starting",  
“log" : ["logline"]  
}
Nazwa elementu Wymagany Typ Opis
identyfikator Tak Liczba całkowita Identyfikator sesji wsadowej
Dziennik Tak Tablica ciągów Tablica wierszy dziennika dla tego zadania wsadowego.
stan Tak Ciąg Stan sesji. Możliwa wartość: ["starting", "idle", "error"]

Zabij zadanie wsadowe

Żądanie

Zobacz Typowe parametry i nagłówki nagłówków i parametrów używanych przez klastry.

Metoda Identyfikator URI żądania
DELETE https://{cluster-endpoint}/livy/batches/{batch-id}

Reakcja

Jeśli walidacja zostanie ukończona i żądanie zostanie zaakceptowane, operacja zwróci 200 (OK).

Kod stanu: 200 OK

Treść odpowiedzi:

{  
"msg" : "deleted"  
}
Nazwa elementu Wymagany Typ Opis
Komunikat Tak Ciąg Komunikat o usunięciu.

Sesje interakcyjne

  • Uruchamianie, przesyłanie instrukcji, pobieranie wyników instrukcji i kończenie sesji interakcyjnej

Zwracanie wszystkich aktywnych zadań wsadowych

Żądanie

Zobacz Typowe parametry i nagłówki nagłówków i parametrów używanych przez klastry.

Metoda Identyfikator URI żądania
GET https://{cluster-endpoint}/livy/batches

Reakcja

Jeśli walidacja zostanie ukończona i żądanie zostanie zaakceptowane, operacja zwróci 200 (OK).

Kod stanu: 200 OK

Treść odpowiedzi:

{  
	"from" : 0,  
	"total" : 2,  
	"sessions" : [{  
			"id" : 1,  
			"state" : "starting",  
			"log" : ["logline"]  
		}, {  
			"id" : 0,  
			"state" : "idle",  
			"log" : ["logline"]  
		}  
	]  
}
Nazwa elementu Wymagany Typ Opis
Z Tak Ciąg Przesunięcie
suma Tak Ciąg Liczba partii do zwrócenia
sesja Tak Tablica typu złożonego (batch) Lista aktywnych zadań wsadowych

Batch

Nazwa elementu Wymagany Typ Opis
identyfikator Tak Liczba całkowita Identyfikator sesji wsadowej
Dziennik Tak Tablica ciągów Tablica wierszy dziennika dla tego zadania wsadowego.
stan Tak Ciąg Stan sesji. Możliwa wartość: ["starting", "idle", "error"]