次の方法で共有

Azure portal で AKS クラスター上の HDInsight 上の Secure Shell (SSH) を使用して Apache Flink® CLI クライアントにアクセスする

  • [アーティクル]

大事な

AKS 上の Azure HDInsight は、2025 年 1 月 31 日に廃止されました。 についての詳細は、このお知らせを参照してください。

ワークロードの突然の終了を回避するには、ワークロードを Microsoft Fabric または同等の Azure 製品 に移行する必要があります。

大事な

この機能は現在プレビュー段階です。 Microsoft Azure プレビューの 追加使用条件 には、ベータ版、プレビュー版、または一般公開されていない Azure 機能に適用される、より多くの法的条件が含まれています。 この特定のプレビューの詳細については、AKS プレビュー情報 Azure HDInsightを参照してください。 ご質問や機能の提案については、AskHDInsight に詳細を記載して要求を送信し、Azure HDInsight Communityをフォローして最新の情報をご確認ください。

この例では、Azure portal 上の SSH を使用して AKS クラスター上の HDInsight 上の Apache Flink CLI クライアントを入力する方法について説明します。ここでは、SQL と Flink DataStream の両方について説明します。

前提 条件

  • Flink クラスター の作成 中に SSH を選択することが求められています。

Azure portal から SSH に接続する

Flink クラスターが作成されたら、左側のウィンドウの [設定] オプションを確認して、Secure Shell にアクセスすることができます。

POD を作成して webssh に接続する方法を示すスクリーンショット。

SQL クライアントへの接続

ディレクトリを /opt/flink-webssh/bin に変更してから、./sql-client.sh を実行する必要があります

SQL クライアント ファイルを検索する方法のスクリーンショット。

SQL クライアントを実行する方法を示すスクリーンショット。

Flink の SQL クライアントを使用している

いくつかのテストを実行するには、この ドキュメント 参照してください。

Flink には、JAR ファイルとしてパッケージ化されたプログラムを実行し、その実行を制御するための Command-Line インターフェイス (CLI) bin/flink が用意されています。

CLI は Secure Shell (SSH) の一部であり、実行中の JobManager に接続し、conf/flink-conf.yamlで指定されたクライアント構成を使用します。

ジョブの送信とは、ジョブの JAR を SSH ポッドにアップロードし、ジョブの実行を開始することを意味します。 この記事の例を示すために、examples/streaming/StateMachineExample.jarなどの実行時間の長いジョブを選択します。

手記

依存関係を管理するために、ジョブ用に「fat jar」をビルドして送信することが期待されます。

  • ABFS から webssh に fat ジョブ jar ファイルをアップロードします。

  • ユース ケースに基づいて、flink-client-configs で Flink 構成管理 使用してクライアント構成を編集する必要があります。

  • StateMachineExample.jarを実行しましょう

    ./bin/flink run \
    --detached \
    ./examples/streaming/StateMachineExample.jar

手記

--detached を使用してジョブを送信すると、送信が完了した後にコマンドが戻ります。 出力には、新しく送信されたジョブの ID が含まれます。

参考