Partager via

Interface CLI Apache Flink® sur HDInsight sur des clusters AKS

  • Article

Remarque

Nous allons mettre hors service Azure HDInsight sur AKS le 31 janvier 2025. Avant le 31 janvier 2025, vous devrez migrer vos charges de travail vers Microsoft Fabric ou un produit Azure équivalent afin d’éviter leur arrêt brutal. Les clusters restants de votre abonnement seront arrêtés et supprimés de l’hôte.

Seul le support de base est disponible jusqu’à la date de mise hors service.

Important

Cette fonctionnalité est disponible actuellement en mode Aperçu. Les Conditions d’utilisation supplémentaires pour les préversions de Microsoft Azure contiennent davantage de conditions légales qui s’appliquent aux fonctionnalités Azure en version bêta, en préversion ou ne se trouvant pas encore en disponibilité générale. Pour plus d’informations sur cette préversion spécifique, consultez les Informations sur la préversion d’Azure HDInsight sur AKS. Pour toute question ou pour des suggestions à propos des fonctionnalités, veuillez envoyer vos requêtes et leurs détails sur AskHDInsight, et suivez-nous sur la Communauté Azure HDInsight pour plus de mises à jour.

Apache Flink fournit une interface CLI (Interface de ligne de commande) bin/flink pour exécuter des travaux (programmes) empaquetés en tant que fichiers JAR et pour contrôler leur exécution. L’interface CLI fait partie de la configuration Flink et peut être configurée sur une machine virtuelle à mononœud. Ceci se connecte à l’exécution de JobManager spécifiée dans conf/flink-conf.yaml.

Étapes d’installation

Pour installer l’interface CLI Flink sur Linux, vous avez besoin d’une machine virtuelle Linux pour exécuter le script d’installation. Vous devez exécuter un environnement bash si vous êtes sur Windows.

Remarque

Cela ne fonctionne PAS sur Windows GIT BASH, vous devez installer WSL pour réaliser ce travail sur Windows.

Spécifications

  • Installer JRE 11. S’il n’est pas installé, suivez les étapes décrites dans la section /java/openjdk/download.
  • Ajoutez java vers PATH ou définissez une variable d’environnement JAVA_HOME pointant vers le répertoire d’installation JRE, de sorte que $JAVA_HOME/bin/java existe.

Installation ou mise à jour

L’installation et la mise à jour de l’interface CLI nécessitent une réexécution du script d’installation. Installez l’interface CLI en exécutant curl.

curl -L https://aka.ms/hdionaksflinkcliinstalllinux | bash

Si vous utilisez Flink 1.17, vous pouvez utiliser l’interface CLI suivante

curl -L https://aka.ms/hdionaksflink117clilinux | bash

Cette commande installe l’interface CLI Flink dans le répertoire de base de l’utilisateur ($HOME/flink-cli). Le script peut également être téléchargé et exécuté localement. Vous devez peut-être redémarrer votre interpréteur de commandes pour que certaines modifications soient prises en compte.

cd $HOME/flink-cli 

bin/flink list -D azure.tenant.id=<update-tenant-id> -D rest.address=<flink-cluster-fqdn>

Remarque

Si vous exécutez par un pod SSH, utilisez la commande bin/flink list pour obtenir la sortie complète.

Si vous ne souhaitez ajouter aucun de ces paramètres chaque fois, ajoutez-les au fichier conf/flink-conf.yaml.

rest.address: <flink-cluster-fqdn>
azure.tenant.id: <tenant-id>

La commande devient à présent

bin/flink list

Un résultat similaire à ce qui suit s’affiche normalement :

To sign in, use a web browser to open the page https://microsoft.com/devicelogin and enter the code E4LW35GFD to authenticate.

Ouvrez https://microsoft.com/devicelogin votre navigateur, ensuite entrez le code, puis utilisez votre ID microsoft.com pour vous connecter. Une fois la connexion réussie, la sortie suivante s’affiche si aucun travail n’est en cours d’exécution.

Waiting for response...
No running jobs.
No scheduled jobs.

Erreur curl Object Moved

Si vous obtenez une erreur curl liée au paramètre -L ou un message d’erreur contenant le texte « Objet déplacé », essayez d’utiliser l’URL complète plutôt que la redirection aka.ms :

curl https://hdiconfigactions.blob.core.windows.net/hiloflinkblob/install.sh | bash

Exemples

Voici quelques exemples d’actions prises en charge par l’outil CLI de Flink :

Action Objectif
Exécuter Cette action exécute des travaux. Au minimum, le fichier jar contenant le travail est nécessaire. Les arguments liés à Flink ou au travail peuvent être transmis si nécessaire.
info Cette action peut servir à l’impression d’un graphique d’exécution optimisé du travail antérieur. Le fichier jar contenant le travail doit encore être transmis.
list Cette action répertorie tous les travaux planifiés ou en cours d’exécution.
savepoint Cette action peut être utilisée afin de créer ou supprimer des points d’enregistrement pour un travail donné. La spécification du répertoire peut être nécessaire pour le point de sauvegarde, en plus du JobID.
cancel Cette action peut servir à annuler des travaux en cours d’exécution en fonction de leur JobID.
stop Cette action combine les actions d’annulation et de point d’enregistrement pour arrêter un travail en cours d’exécution, mais elle crée également un point d’enregistrement à partir duquel recommencer.

Toutes les actions et leurs paramètres sont accessibles par les commandes suivantes :

bin/flink --help

Informations d’utilisation de chaque action individuelle

bin/flink <action> --help

Conseil

  • En cas de proxy bloquant la connexion : pour obtenir les scripts d’installation, votre proxy doit autoriser les connexions HTTPS aux adresses suivantes : https://aka.ms/ et https://hdiconfigactions.blob.core.windows.net
  • Pour résoudre le problème, ajoutez l’utilisateur ou le groupe au profil d’autorisation.

Référence