Partage via

Accéder au client CLI Apache Flink® à l’aide de Secure Shell (SSH) sur HDInsight sur des clusters AKS avec le portail Azure

  • Article

Important

Azure HDInsight sur AKS a été mis hors service le 31 janvier 2025. En savoir plus avec cette annonce.

Vous devez migrer vos charges de travail vers Microsoft Fabric ou un produit Azure équivalent pour éviter l’arrêt brusque de vos charges de travail.

Important

Cette fonctionnalité est actuellement en préversion. Les Conditions d’utilisation supplémentaires pour les préversions Microsoft Azure incluent des termes juridiques supplémentaires qui s’appliquent aux fonctionnalités Azure en version bêta, en préversion ou qui ne sont pas encore publiées en disponibilité générale. Pour plus d’informations sur cette préversion spécifique, consultez informations sur Azure HDInsight sur AKS en préversion. Pour des questions ou des suggestions de fonctionnalités, envoyez une demande sur AskHDInsight avec les détails et suivez-nous pour plus de mises à jour sur Communauté Azure HDInsight.

Cet exemple montre comment entrer le client APACHE Flink CLI sur HDInsight sur des clusters AKS à l’aide de SSH sur le portail Azure, nous abordons à la fois SQL et Flink DataStream.

Conditions préalables

  • Vous devez sélectionner SSH lors de la création de du cluster Flink

Connexion à SSH à partir du portail Azure

Une fois le cluster Flink créé, vous pouvez observer dans le volet gauche l’option Paramètres pour accéder à Secure Shell

Capture d’écran montrant comment créer pod et se connecter à webssh.

Connexion à SQL Client

Vous devez modifier le répertoire en /opt/flink-webssh/bin, puis exécuter ./sql-client.sh

Capture d’écran de la recherche du fichier client sql.

Capture d’écran montrant comment exécuter le client SQL.

Vous êtes maintenant sur SQL Client sur Flink

Reportez-vous à ce document pour effectuer quelques tests supplémentaires.

Flink fournit une bin/flink d’interface de Command-Line (CLI) pour exécuter des programmes empaquetés en tant que fichiers JAR et pour contrôler leur exécution.

L’interface CLI fait partie de Secure Shell (SSH) et se connecte à l’exécution de JobManager et utilise les configurations clientes spécifiées à conf/flink-conf.yaml.

L’envoi d’un travail signifie charger le fichier JAR du travail sur le pod SSH et lancer l’exécution du travail. Pour illustrer un exemple pour cet article, nous sélectionnons un travail de longue durée comme examples/streaming/StateMachineExample.jar.

Note

Pour la gestion des dépendances, il est attendu de générer et de soumettre un fat jar pour la tâche.

  • Chargez le fichier jar de type « fat job » à partir d’ABFS sur webssh.

  • En fonction de votre cas d’usage, vous devez modifier les configurations clientes à l’aide de gestion de la configuration Flink sous flink-client-configs.

  • Nous allons exécuter StateMachineExample.jar

    ./bin/flink run \
    --detached \
    ./examples/streaming/StateMachineExample.jar

Note

L'envoi du travail à l'aide de --detached fait en sorte que la commande revienne une fois la soumission effectuée. La sortie contient l’ID du travail nouvellement envoyé.

Référence