Delen via

Apache Flink® Command-Line Interface (CLI) op HDInsight op AKS-clusters

  • Artikel

Belangrijk

Azure HDInsight op AKS is op 31 januari 2025 buiten gebruik gesteld. Ontdek meer met deze aankondiging.

U moet uw workloads migreren naar Microsoft Fabric- of een gelijkwaardig Azure-product om plotselinge beëindiging van uw workloads te voorkomen.

Belangrijk

Deze functie is momenteel beschikbaar als preview-versie. De aanvullende gebruiksvoorwaarden voor Microsoft Azure Previews meer juridische voorwaarden bevatten die van toepassing zijn op Azure-functies die bèta, in preview of anderszins nog niet in algemene beschikbaarheid zijn vrijgegeven. Voor meer informatie over deze specifieke preview, zie Azure HDInsight op AKS preview-informatie. Voor vragen of suggesties voor functies dient u een aanvraag in op AskHDInsight- met de details en volgt u ons voor meer updates over Azure HDInsight Community-.

Apache Flink biedt een CLI (Opdrachtregelinterface) bin/flink om taken (programma's) uit te voeren die zijn verpakt als JAR-bestanden en om de uitvoering ervan te beheren. De CLI maakt deel uit van de Flink-installatie en kan worden ingesteld op een VM met één knooppunt. Het maakt verbinding met de actieve JobManager die is opgegeven in conf/flink-conf.yaml.

Installatiestappen

Als u Flink CLI op Linux wilt installeren, hebt u een Linux-VM- nodig om het installatiescript uit te voeren. U moet een bash-omgeving uitvoeren als u zich in Windowsbevindt.

Notitie

Dit werkt niet in Windows GIT BASH-, u moet WSL- installeren om dit werk in Windows te maken.

Eisen

  • Installeer JRE 11. Als deze niet is geïnstalleerd, volgt u de stappen die worden beschreven in /java/openjdk/download.
  • Voeg java toe aan PATH of definieer JAVA_HOME omgevingsvariabele die verwijst naar de JRE-installatiemap, zodat $JAVA_HOME/bin/java bestaat.

Installeren of bijwerken

Voor zowel het installeren als bijwerken van de CLI moet het installatiescript opnieuw worden uitgevoerd. Installeer de CLI door curl uit te voeren.

curl -L https://aka.ms/hdionaksflinkcliinstalllinux | bash

Als u Flink 1.17 gebruikt, kunt u de onderstaande CLI gebruiken

curl -L https://aka.ms/hdionaksflink117clilinux | bash

Met deze opdracht wordt Flink CLI geïnstalleerd in de basismap van de gebruiker ($HOME/flink-cli). Het script kan ook lokaal worden gedownload en uitgevoerd. Mogelijk moet u de shell opnieuw starten om wijzigingen van kracht te laten worden.

cd $HOME/flink-cli 

bin/flink list -D azure.tenant.id=<update-tenant-id> -D rest.address=<flink-cluster-fqdn>

Notitie

Bij uitvoeren via een SSH-pod, gebruikt u de opdracht bin/flink list voor de volledige uitvoer.

Als u deze parameters niet elke keer wilt toevoegen, voegt u deze toe aan conf/flink-conf.yaml.

rest.address: <flink-cluster-fqdn>
azure.tenant.id: <tenant-id>

De opdracht wordt nu

bin/flink list

De uitvoer ziet er ongeveer zo uit:

To sign in, use a web browser to open the page https://microsoft.com/devicelogin and enter the code E4LW35GFD to authenticate.

Open https://microsoft.com/devicelogin in uw browser en voer de code in en gebruik vervolgens uw microsoft.com-id om u aan te melden. Na een geslaagde aanmelding ziet u uitvoer zoals hieronder als er geen taak wordt uitgevoerd.

Waiting for response...
No running jobs.
No scheduled jobs.

curl Object Moved-fout

Als u een foutmelding krijgt van curl over de parameter -L, of een foutmelding met de tekst 'Object verplaatst', probeer dan de volledige URL te gebruiken in plaats van de aka.ms-omleiding.

curl https://hdiconfigactions.blob.core.windows.net/hiloflinkblob/install.sh | bash

Voorbeelden

Hier volgen enkele voorbeelden van acties die worden ondersteund door het CLI-hulpprogramma van Flink:

Actie Doel
rennen Met deze actie worden taken uitgevoerd. Hiervoor is ten minste het JAR-bestand met de taak vereist. Flink- of jobgerelateerde argumenten kunnen indien nodig worden doorgegeven.
info Deze actie kan worden gebruikt om een geoptimaliseerde uitvoeringsgrafiek van de doorgegeven taak af te drukken. Ook hier moet het jar-bestand dat de taak bevat worden doorgegeven.
lijst Met deze actie worden alle actieve of geplande taken weergegeven.
savepoint Met deze actie kunt u savepoints aanmaken of verwijderen voor een bepaalde taak. Het kan nodig zijn om naast de Job-ID een savepoint-directory op te geven.
Annuleren Deze actie kan worden gebruikt om lopende taken te annuleren op basis van hun taak-ID.
stoppen Met deze actie worden de acties annuleren en opslaan gecombineerd om een actieve taak te stoppen, maar er wordt ook een opslagpunt gemaakt om opnieuw te beginnen.

Alle acties en hun parameters kunnen worden geopend via de volgende opdrachten:

bin/flink --help

De gebruiksgegevens van elke afzonderlijke actie

bin/flink <action> --help

Fooi

  • Als u een proxy hebt die de verbinding blokkeert: om de installatiescripts op te halen, moet uw proxy HTTPS-verbindingen met de volgende adressen toestaan: https://aka.ms/ en https://hdiconfigactions.blob.core.windows.net
  • Als u het probleem wilt oplossen, voegt u de gebruiker of groep toe aan het autorisatieprofiel.

Referentie