Apache Flink® Command-Line Interface (CLI) via HDInsight på AKS-kluster

Viktig

Azure HDInsight på AKS drogs tillbaka den 31 januari 2025. Läs mer med det här meddelandet.

Du måste migrera dina arbetsbelastningar till Microsoft Fabric- eller en motsvarande Azure-produkt för att undvika plötsliga uppsägningar av dina arbetsbelastningar.

Viktig

Den här funktionen är för närvarande i förhandsversion. De kompletterande användningsvillkoren för Förhandsversioner av Microsoft Azure innehåller fler juridiska villkor som gäller för Azure-funktioner som är i betaversion, förhandsversion, eller på annat sätt ännu inte har gjorts allmänt tillgängliga. Information om den här specifika förhandsversionen finns i Azure HDInsight på AKS-förhandsversionsinformation. För frågor eller funktionsförslag, skicka en begäran på AskHDInsight med detaljerna och följ oss för fler uppdateringar om Azure HDInsight Community.

Apache Flink tillhandahåller ett CLI (kommandoradsgränssnitt) bin/flink- för att köra jobb (program) som paketeras som JAR-filer och för att styra deras körning. CLI är en del av Flink-konfigurationen och kan konfigureras på en virtuell dator med en nod. Den ansluter till den jobmanager som körs som anges i conf/flink-conf.yaml.

Installationssteg

Om du vill installera Flink CLI på Linux behöver du en virtuell Linux-dator för att köra installationsskriptet. Du måste köra en bash-miljö om du är på Windows.

Not

Detta fungerar INTE på Windows GIT BASH-, du måste installera WSL- för att det här ska fungera i Windows.

Krav

• Installera JRE 11. Om du inte har installerat följer du stegen som beskrivs i /java/openjdk/download.
• Lägg till java i PATH eller definiera JAVA_HOME miljövariabel som pekar på JRE-installationskatalogen, så att $JAVA_HOME/bin/java finns.

Installera eller uppdatera

Både installation och uppdatering av CLI kräver att installationsskriptet körs igen. Installera CLI genom att köra curl.

curl -L https://aka.ms/hdionaksflinkcliinstalllinux | bash

Om du använder Flink 1.17 kan du använda CLI nedan

curl -L https://aka.ms/hdionaksflink117clilinux | bash

Det här kommandot installerar Flink CLI i användarens hemkatalog ($HOME/flink-cli). Skriptet kan också laddas ned och köras lokalt. Du kan behöva starta om skalet för att ändringarna ska börja gälla.

Kör ett Apache Flink-kommando för att testa

cd $HOME/flink-cli 

bin/flink list -D azure.tenant.id=<update-tenant-id> -D rest.address=<flink-cluster-fqdn>

Notera

Om du kör via SSH-podden använder du kommandot bin/flink list för att ge dig fullständiga utdata.

Om du inte vill lägga till dessa parametrar varje gång lägger du till dem i conf/flink-conf.yaml.

rest.address: <flink-cluster-fqdn>
azure.tenant.id: <tenant-id>

Nu blir kommandot

bin/flink list

Du bör se utdata som följande:

To sign in, use a web browser to open the page https://microsoft.com/devicelogin and enter the code E4LW35GFD to authenticate.

Öppna https://microsoft.com/devicelogin i webbläsaren och ange koden och använd sedan ditt microsoft.com-ID för att logga in. När inloggningen har slutförts bör du se utdata som följande om inget jobb körs.

Waiting for response...
No running jobs.
No scheduled jobs.

curl Object Moved-fel

Om du får ett fel från curl som är relaterat till parametern -L eller ett felmeddelande med texten "Object Moved" kan du prova att använda den fullständiga URL:en i stället för aka.ms omdirigering:

curl https://hdiconfigactions.blob.core.windows.net/hiloflinkblob/install.sh | bash

Exempel

Här följer några exempel på åtgärder som stöds av Flinks CLI-verktyg:

Handling	Avsikt
springa	Den här åtgärden utför jobb. Det kräver minst JAR-filen som innehåller jobbet. Flink- eller jobbrelaterade argument kan överföras om det behövs.
info	Den här åtgärden kan användas för att skriva ut ett optimerat körningsdiagram över det överförda jobbet. Återigen måste JAR-filen som innehåller jobbet skickas vidare.
lista	Den här åtgärden visar alla jobb som körs eller schemaläggs.
sparpunkt	Den här åtgärden kan användas för att skapa eller disponera sparpunkter för ett visst jobb. Det kan vara nödvändigt att ange en savepoint-katalog förutom JobID.
annullera	Den här åtgärden kan användas för att avbryta jobb som körs baserat på deras JobID.
Stoppa	Den här åtgärden kombinerar åtgärderna avbryt och spara för att stoppa ett pågående jobb, men skapar även en spara punkt som du kan starta från igen.

Alla åtgärder och deras parametrar kan nås via följande kommandon:

bin/flink --help

Användningsinformationen för varje enskild åtgärd

bin/flink <action> --help

Tips

• Om du har en proxy som blockerar anslutningen: För att kunna hämta installationsskripten måste proxyn tillåta HTTPS-anslutningar till följande adresser: https://aka.ms/ och https://hdiconfigactions.blob.core.windows.net
• Lös problemet genom att lägga till användaren eller gruppen i auktoriseringsprofilen.

Hänvisning

• Apache Flink webbplats
• Apache, Apache Flink, Flink och associerade projektnamn med öppen källkod är varumärken av Apache Software Foundation (ASF).