Azure portal で HDInsight on AKS クラスターの Secure Shell (SSH) を使用して、Apache Flink® CLI クライアントにアクセスする
Note
Azure HDInsight on AKS は 2025 年 1 月 31 日に廃止されます。 2025 年 1 月 31 日より前に、ワークロードを Microsoft Fabric または同等の Azure 製品に移行することで、ワークロードの突然の終了を回避する必要があります。 サブスクリプション上に残っているクラスターは停止され、ホストから削除されることになります。
提供終了日までは基本サポートのみが利用できます。
重要
現在、この機能はプレビュー段階にあります。 ベータ版、プレビュー版、または一般提供としてまだリリースされていない Azure の機能に適用されるその他の法律条項については、「Microsoft Azure プレビューの追加の使用条件」に記載されています。 この特定のプレビューについては、「Microsoft HDInsight on AKS のプレビュー情報」を参照してください。 質問や機能の提案については、詳細を記載した要求を AskHDInsight で送信してください。また、その他の更新情報については、Azure HDInsight コミュニティのフォローをお願いいたします。
この例では、Azure portal で SSH を使用して HDInsight on AKS クラスターの Apache Flink CLI クライアントに入る方法について説明します。SQL と Flink DataStream の両方について説明します。
前提条件
- Flink クラスターの作成時に SSH を選択する必要があります
Azure portal から SSH に接続する
Flink クラスターが作成されたら、左側のペインの [設定] オプションを確認して、[Secure Shell] にアクセスできます。
Apache Flink SQL
SQL クライアントへの接続
ディレクトリを /opt/flink-webssh/bin に変更してから、./sql-client.sh を実行する必要があります
Flink の SQL クライアントに移動しました
こちらのドキュメントを参照して、いくつかのテストを実行してください。
Apache Flink DataStream
Flink には、JAR ファイルとしてパッケージ化されたプログラムを実行し、その実行を制御するためのコマンド ライン インターフェイス (CLI) bin/flink が用意されています。
この CLI は Secure Shell (SSH) の一部であり、実行中の JobManager に接続し、conf/flink-conf.yaml で指定されたクライアント構成を使用します。
ジョブを送信すると、ジョブの JAR が SSH ポッドにアップロードされ、ジョブの実行が開始されます。 この記事の例を示すために、examples/streaming/StateMachineExample.jar などの実行時間の長いジョブを選択しています。
Note
依存関係を管理するために、ジョブの fat jar をビルドして送信することが想定されています。
ABFS から webssh に fat ジョブ jar をアップロードします。
ユース ケースに基づいて、Flink 構成管理を使用して、flink-client-configs でクライアント構成を編集する必要があります。
StateMachineExample.jar を実行します
./bin/flink run \ --detached \ ./examples/streaming/StateMachineExample.jar
Note
--detached を使用してジョブを送信すると、送信が完了した後にコマンドが戻ります。 出力には、新しく送信されたジョブの ID が含まれます。
リファレンス
- Flink SQL クライアント
- Apache、Apache Flink、Flink、関連するオープン ソース プロジェクト名は、Apache Software Foundation (ASF) の商標です。