Sdílet prostřednictvím

Rozhraní příkazového řádku Apache Flink® (CLI) ve službě HDInsight v clusterech AKS

  • Článek

Poznámka:

Azure HDInsight vyřadíme ze služby AKS 31. ledna 2025. Před 31. lednem 2025 budete muset migrovat úlohy do Microsoft Fabric nebo ekvivalentního produktu Azure, abyste se vyhnuli náhlému ukončení úloh. Zbývající clustery ve vašem předplatném se zastaví a odeberou z hostitele.

Do data vyřazení bude k dispozici pouze základní podpora.

Důležité

Tato funkce je aktuálně dostupná jako ukázková verze. Doplňkové podmínky použití pro Microsoft Azure Preview obsahují další právní podmínky, které se vztahují na funkce Azure, které jsou v beta verzi, ve verzi Preview nebo ještě nejsou vydány v obecné dostupnosti. Informace o této konkrétní verzi Preview najdete v tématu Azure HDInsight o službě AKS ve verzi Preview. Pokud máte dotazy nebo návrhy funkcí, odešlete prosím žádost na AskHDInsight s podrobnostmi a sledujte nás o dalších aktualizacích v komunitě Azure HDInsight.

Apache Flink poskytuje rozhraní příkazového řádku (rozhraní příkazového řádku) pro spouštění úloh (programů), které jsou zabalené jako soubory JAR a řídí jejich spouštění. Rozhraní příkazového řádku je součástí nastavení Flink a je možné ho nastavit na virtuálním počítači s jedním uzlem. Připojí se ke spuštěné sadě JobManager zadanou v souboru conf/flink-conf.yaml.

Postup instalace

K instalaci Flink CLI v Linuxu potřebujete k provedení instalačního skriptu virtuální počítač s Linuxem . Pokud používáte Windows, musíte spustit prostředí Bash.

Poznámka:

To nefunguje na Windows GIT BASH, musíte nainstalovat WSL , aby to fungovalo ve Windows.

Požadavky

  • Nainstalujte JRE 11. Pokud není nainstalován, postupujte podle kroků popsaných v tématu /java/openjdk/download.
  • Přidejte java do PATH nebo definujte JAVA_HOME proměnnou prostředí odkazující na instalační adresář JRE, který existuje $JAVA_HOME/bin/java .

Instalace nebo aktualizace

Instalace i aktualizace rozhraní příkazového řádku vyžadují opětovné spuštění instalačního skriptu. Nainstalujte rozhraní příkazového řádku spuštěním nástroje curl.

curl -L https://aka.ms/hdionaksflinkcliinstalllinux | bash

Pokud používáte Flink 1.17, můžete použít následující rozhraní příkazového řádku.

curl -L https://aka.ms/hdionaksflink117clilinux | bash

Tento příkaz nainstaluje Flink CLI do domovského adresáře uživatele ($HOME/flink-cli). Tento skript se také dá stáhnout a spustit místně. Možná budete muset restartovat prostředí, aby se změny projevily.

cd $HOME/flink-cli 

bin/flink list -D azure.tenant.id=<update-tenant-id> -D rest.address=<flink-cluster-fqdn>

Poznámka:

Pokud se provádí prostřednictvím podu SSH, pomocí příkazu bin/flink list získáte úplný výstup.

Pokud tyto parametry nechcete přidávat pokaždé, přidejte je do souboru conf/flink-conf.yaml.

rest.address: <flink-cluster-fqdn>
azure.tenant.id: <tenant-id>

Teď se příkaz stane

bin/flink list

Měl by se zobrazit výstup podobný tomuto:

To sign in, use a web browser to open the page https://microsoft.com/devicelogin and enter the code E4LW35GFD to authenticate.

Otevřete https://microsoft.com/devicelogin v prohlížeči a zadejte kód a pak se přihlaste pomocí id microsoft.com. Po úspěšném přihlášení by se měl zobrazit výstup podobný následujícímu, pokud není spuštěná žádná úloha.

Waiting for response...
No running jobs.
No scheduled jobs.

Chyba curl Object Moved

Pokud se zobrazí chyba z curl související s parametrem -L nebo chybovou zprávou obsahující text "Objekt přesunut", zkuste místo aka.ms přesměrování použít úplnou adresu URL:

curl https://hdiconfigactions.blob.core.windows.net/hiloflinkblob/install.sh | bash

Příklady

Tady je několik příkladů akcí podporovaných nástrojem rozhraní příkazového řádku Flinku:

Akce Účel
příkaz Run Tato akce provede úlohy. Vyžaduje alespoň soubor JAR obsahující úlohu. V případě potřeby je možné předat argumenty související s Flink nebo úlohou.
informace Tuto akci lze použít k tisku optimalizovaného grafu provádění předané úlohy. Znovu je potřeba předat soubor JAR obsahující úlohu.
list Tato akce obsahuje seznam všech spuštěných nebo plánovaných úloh.
savepoint Tuto akci lze použít k vytvoření nebo odstranění bodů uložení pro danou úlohu. Může být nutné zadat adresář savepoint vedle JobID.
zrušit Tuto akci lze použít ke zrušení spuštěných úloh na základě jejich ID úlohy.
Zastavit Tato akce kombinuje akce zrušit a uložit bod, aby se zastavila spuštěná úloha, ale zároveň vytvoří bod uložení, který se spustí znova.

Ke všem akcím a jejich parametrům je možné přistupovat pomocí následujících příkazů:

bin/flink --help

Informace o využití jednotlivých akcí

bin/flink <action> --help

Tip

  • Pokud máte proxy server blokující připojení: Aby bylo možné získat instalační skripty, musí proxy server povolit připojení HTTPS k následujícím adresám: https://aka.ms/https://hdiconfigactions.blob.core.windows.net
  • Pokud chcete tento problém vyřešit, přidejte uživatele nebo skupinu do autorizačního profilu.

Reference