Partager via

Apache Flink® Command-Line Interface (Interface en ligne de commande, CLI) sur HDInsight sur des clusters AKS

  • Article

Important

Azure HDInsight sur AKS a été mis hors service le 31 janvier 2025. En savoir plus avec cette annonce.

Vous devez migrer vos charges de travail vers Microsoft Fabric ou un produit Azure équivalent pour éviter l’arrêt brusque de vos charges de travail.

Important

Cette fonctionnalité est actuellement en préversion. Les Conditions d’utilisation supplémentaires pour les préversions Microsoft Azure incluent des termes juridiques supplémentaires qui s’appliquent aux fonctionnalités Azure en version bêta, en préversion ou qui ne sont pas encore publiées en disponibilité générale. Pour plus d’informations sur cette préversion spécifique, consultez informations sur Azure HDInsight sur AKS en préversion. Pour des questions ou des suggestions de fonctionnalités, envoyez une demande sur AskHDInsight avec les détails et suivez-nous pour plus de mises à jour sur Communauté Azure HDInsight.

Apache Flink fournit une interface CLI (interface de ligne de commande) bin/flink pour exécuter des travaux (programmes) empaquetés sous forme de fichiers JAR et pour contrôler leur exécution. L’interface CLI fait partie de la configuration Flink et peut être configurée sur une machine virtuelle à nœud unique. Il se connecte au JobManager en cours d'exécution spécifié dans conf/flink-conf.yaml.

Étapes d’installation

Pour installer Flink CLI sur Linux, vous avez besoin d’une machine virtuelle Linux pour exécuter le script d’installation. Vous devez exécuter un environnement bash si vous êtes sur Windows.

Note

Cela ne fonctionne pas sur Windows GIT BASH, vous devez installer WSL pour effectuer ce travail sur Windows.

Exigences

  • Installez JRE 11. S’il n’est pas installé, suivez les étapes décrites dans /java/openjdk/download.
  • Ajoutez java à PATH ou définissez JAVA_HOME variable d’environnement pointant vers le répertoire d’installation JRE, de sorte que $JAVA_HOME/bin/java existe.

Installer ou mettre à jour

L’installation et la mise à jour de l’interface CLI nécessitent la réexécution du script d’installation. Installez l’interface CLI en exécutant curl.

curl -L https://aka.ms/hdionaksflinkcliinstalllinux | bash

Si vous utilisez Flink 1.17, vous pouvez utiliser l’interface CLI ci-dessous.

curl -L https://aka.ms/hdionaksflink117clilinux | bash

Cette commande installe Flink CLI dans le répertoire de base de l’utilisateur ($HOME/flink-cli). Le script peut également être téléchargé et exécuté localement. Vous devrez peut-être redémarrer votre interpréteur de commandes afin que les modifications prennent effet.

cd $HOME/flink-cli 

bin/flink list -D azure.tenant.id=<update-tenant-id> -D rest.address=<flink-cluster-fqdn>

Note

Si vous exécutez via un pod SSH, utilisez la commande bin/flink list pour vous donner la sortie complète.

Si vous ne souhaitez pas ajouter ces paramètres à chaque fois, ajoutez-les à conf/flink-conf.yaml.

rest.address: <flink-cluster-fqdn>
azure.tenant.id: <tenant-id>

Maintenant, la commande devient

bin/flink list

Vous devriez voir une sortie ressemblant à ceci :

To sign in, use a web browser to open the page https://microsoft.com/devicelogin and enter the code E4LW35GFD to authenticate.

Ouvrez https://microsoft.com/devicelogin dans votre navigateur, puis entrez le code, puis utilisez votre ID de microsoft.com pour vous connecter. Une fois la connexion réussie, vous devez voir la sortie suivante si aucun travail n’est en cours d’exécution.

Waiting for response...
No running jobs.
No scheduled jobs.

Erreur Curl Object Moved

Si vous obtenez une erreur de curl liée au paramètre -L ou à un message d’erreur incluant le texte « Objet déplacé », essayez d’utiliser l’URL complète au lieu de la redirection aka.ms :

curl https://hdiconfigactions.blob.core.windows.net/hiloflinkblob/install.sh | bash

Exemples

Voici quelques exemples d’actions prises en charge par l’outil CLI de Flink :

Action Objectif
Courir Cette action exécute des tâches. Il nécessite au moins le fichier jar contenant la tâche. Les arguments liés à Flink ou à la tâche peuvent être passés lorsqu'ils sont nécessaires.
info Cette action peut être utilisée pour imprimer un graphique d’exécution optimisé du travail passé. Là encore, le fichier jar contenant la tâche doit être transmis.
liste Cette action répertorie tous les travaux en cours d’exécution ou planifiés.
point de sauvegarde Cette action peut être utilisée pour créer ou supprimer des points de sauvegarde pour un travail donné. Il peut être nécessaire de spécifier un répertoire de point d’enregistrement en plus du JobID.
Annuler Cette action peut être utilisée pour annuler les tâches en cours d’exécution en fonction de leur *JobID*.
arrêter Cette action combine les actions d'annulation et de création de points de sauvegarde pour arrêter un travail en cours d’exécution, tout en créant également un point de sauvegarde à partir duquel il est possible de recommencer.

Toutes les actions et leurs paramètres sont accessibles via les commandes suivantes :

bin/flink --help

Informations d’utilisation de chaque action individuelle

bin/flink <action> --help

Pourboire

  • Si vous avez un proxy bloquant la connexion : pour obtenir les scripts d’installation, votre proxy doit autoriser les connexions HTTPS aux adresses suivantes : https://aka.ms/ et https://hdiconfigactions.blob.core.windows.net
  • Pour résoudre le problème, ajoutez l’utilisateur ou le groupe au profil d’autorisation .

Référence