Sdílet prostřednictvím

Apache Flink® Command-Line Interface (CLI) ve službě HDInsight v clusterech AKS

  • Článek

Důležitý

Azure HDInsight na AKS byl vyřazen dne 31. ledna 2025. Zjistěte více pomocí tohoto oznámení .

Abyste se vyhnuli náhlému ukončení úloh, musíte migrovat úlohy do Microsoft Fabric nebo ekvivalentního produktu Azure.

Důležitý

Tato funkce je aktuálně ve verzi Preview. Doplňkové podmínky použití pro ukázkové verze Microsoft Azure zahrnují další právní podmínky, které se vztahují na funkce Azure, jež jsou ve verzi beta, v ukázce nebo ještě nebyly vydány v obecné dostupnosti. Informace o této konkrétní verzi preview najdete v tématu Azure HDInsight na AKS preview. Pokud máte dotazy nebo návrhy funkcí, odešlete prosím žádost na AskHDInsight s podrobnostmi a sledujte nás pro další aktualizace v komunitě Azure HDInsight .

Apache Flink poskytuje rozhraní příkazového řádku (rozhraní příkazového řádku) bin/flink ke spouštění úloh (programů) zabalených jako soubory JAR a k řízení jejich provádění. Rozhraní příkazového řádku je součástí nastavení Flink a je možné ho nastavit na virtuálním počítači s jedním uzlem. Připojí se k běžícímu JobManageru zadanému v souboru conf/flink-conf.yaml.

Kroky instalace

K instalaci Flink CLI v Linuxu potřebujete virtuální počítač s Linuxem, ke spuštění instalačního skriptu. Pokud používáte Windows, musíte spustit prostředí Bash.

Poznámka

To nefunguje ve Windows GIT BASH, musíte nainstalovat WSL, aby to fungovalo ve Windows.

Požadavky

  • Nainstalujte JRE 11. Pokud není nainstalovaný, postupujte podle kroků popsaných v /java/openjdk/download.
  • Přidejte Java do PATH nebo nastavte proměnnou prostředí JAVA_HOME odkazující na instalační adresář JRE tak, aby $JAVA_HOME/bin/java existovalo.

Instalace nebo aktualizace

Instalace i aktualizace rozhraní příkazového řádku vyžadují opětovné spuštění instalačního skriptu. Nainstalujte rozhraní příkazového řádku spuštěním nástroje curl.

curl -L https://aka.ms/hdionaksflinkcliinstalllinux | bash

Pokud používáte Flink 1.17, můžete použít následující rozhraní příkazového řádku.

curl -L https://aka.ms/hdionaksflink117clilinux | bash

Tento příkaz nainstaluje Flink CLI do domovského adresáře uživatele ($HOME/flink-cli). Skript lze také stáhnout a spustit místně. Možná budete muset restartovat shell, aby se změny projevily.

cd $HOME/flink-cli 

bin/flink list -D azure.tenant.id=<update-tenant-id> -D rest.address=<flink-cluster-fqdn>

Poznámka

Pokud se provádí přes pod SSH, použijte příkaz bin/flink list, abyste získali úplný výstup.

Pokud tyto parametry nechcete přidávat pokaždé, přidejte je do conf/flink-conf.yaml.

rest.address: <flink-cluster-fqdn>
azure.tenant.id: <tenant-id>

Nyní se příkaz změní na

bin/flink list

Měl by se zobrazit výstup podobný tomuto:

To sign in, use a web browser to open the page https://microsoft.com/devicelogin and enter the code E4LW35GFD to authenticate.

Otevřete https://microsoft.com/devicelogin v prohlížeči a zadejte kód a pak se pomocí ID microsoft.com přihlaste. Po úspěšném přihlášení by se měl zobrazit výstup podobný následujícímu, pokud není spuštěná žádná úloha.

Waiting for response...
No running jobs.
No scheduled jobs.

Chyba curl Object Moved

Pokud se zobrazí chyba z curl související s parametrem -L nebo chybovou zprávou obsahující text "Objekt přesunut", zkuste místo aka.ms přesměrování použít úplnou adresu URL:

curl https://hdiconfigactions.blob.core.windows.net/hiloflinkblob/install.sh | bash

Příklady

Tady je několik příkladů akcí podporovaných nástrojem rozhraní příkazového řádku Flinku:

Akce Účel
běžet Tato akce provádí úlohy. K provedení je potřeba alespoň JAR soubor, který obsahuje úlohu. V případě potřeby je možné předat argumenty související s Flink nebo úlohou.
informace Tuto akci lze použít k tisku optimalizovaného grafu provádění předané úlohy. Znovu je nutné předat jar soubor obsahující úlohu.
seznam Tato akce zobrazí seznam všech spuštěných nebo plánovaných úloh.
ukládací bod Tuto akci lze použít k vytvoření nebo odstranění bodů uložení pro danou úlohu. Může být nutné zadat adresář savepoint vedle JobID.
zrušit Tuto akci lze použít k zrušení spuštěných úloh na základě jejich ID úlohy.
Stop Tato akce kombinuje akce zrušení a savepoint, aby zastavila běžící úlohu a vytvořila zároveň savepoint pro opětovné spuštění.

Ke všem akcím a jejich parametrům je možné přistupovat pomocí následujících příkazů:

bin/flink --help

Informace o využití jednotlivých akcí

bin/flink <action> --help

Spropitné

  • Pokud máte proxy server blokující připojení: Aby bylo možné získat instalační skripty, musí proxy server povolit připojení HTTPS k následujícím adresám: https://aka.ms/ a https://hdiconfigactions.blob.core.windows.net
  • Pokud chcete tento problém vyřešit, přidejte uživatele nebo skupinu do autorizačního profilu.

Odkaz