次の方法で共有

AKS クラスター上の HDInsight 上の Apache Flink® Command-Line インターフェイス (CLI)

  • [アーティクル]

大事な

AKS 上の Azure HDInsight は、2025 年 1 月 31 日に廃止されました。 詳細はこの発表 で確認でき、についてもっと知ることができます。

ワークロードの突然の終了を回避するには、ワークロードを Microsoft Fabric または同等の Azure 製品 に移行する必要があります。

重要

この機能は現在プレビュー段階です。 Microsoft Azure プレビューの 追加使用条件 には、ベータ版、プレビュー版、または一般公開されていない Azure 機能に適用される、より多くの法的条件が含まれています。 この特定のプレビューの詳細については、AKS プレビュー情報 Azure HDInsightを参照してください。 ご質問や機能の提案については、詳細を記載して AskHDInsight にリクエストを送信してください。また、最新情報を得るために Azure HDInsight Communityをフォローしてください。

Apache Flink には、JAR ファイルとしてパッケージ化されたジョブ (プログラム) を実行し、実行を制御するための cli (コマンド ライン インターフェイス) bin/flink が用意されています。 CLI は Flink セットアップの一部であり、単一ノード VM で設定できます。 conf/flink-conf.yamlで指定された実行中の JobManager に接続します。

インストール手順

Linux に Flink CLI をインストールするには、インストール スクリプトを実行するために Linux VM が必要です。 Windows を使用している場合は、bash 環境実行する必要があります。

手記

これは、Windows GIT BASHでは機能しません。これを Windows で動作させるには、WSL インストールする必要があります。

必要条件

  • JRE 11 をインストールします。 インストールされていない場合は、/java/openjdk/downloadで説明されている手順に従います。
  • PATH に java を追加するか、JRE インストール・ディレクトリーを指す環境変数JAVA_HOME定義します($JAVA_HOME/bin/java が存在するようにします)。

インストールまたは更新

CLI のインストールと更新の両方で、インストール スクリプトを再実行する必要があります。 curl を実行して CLI をインストールします。

curl -L https://aka.ms/hdionaksflinkcliinstalllinux | bash

Flink 1.17 を使用している場合は、次の CLI を使用できます。

curl -L https://aka.ms/hdionaksflink117clilinux | bash

このコマンドは、ユーザーのホーム ディレクトリ ($HOME/flink-cli) に Flink CLI をインストールします。 スクリプトをダウンロードしてローカルで実行することもできます。 変更を有効にするには、シェルを再起動する必要がある場合があります。

cd $HOME/flink-cli 

bin/flink list -D azure.tenant.id=<update-tenant-id> -D rest.address=<flink-cluster-fqdn>

手記

SSH ポッド経由で実行する場合は、コマンド bin/flink list を使用して完全な出力を提供します。

これらのパラメーターを毎回追加しない場合は、conf/flink-conf.yamlに追加します。

rest.address: <flink-cluster-fqdn>
azure.tenant.id: <tenant-id>

コマンドは次のようになります。

bin/flink list

次のような出力が表示されます。

To sign in, use a web browser to open the page https://microsoft.com/devicelogin and enter the code E4LW35GFD to authenticate.

ブラウザーで https://microsoft.com/devicelogin を開き、コードを入力し、microsoft.com ID を使用してログインします。 ログインに成功すると、ジョブが実行されていない場合は、次のような出力が表示されます。

Waiting for response...
No running jobs.
No scheduled jobs.

curl Object Moved エラー

-L パラメーターに関連する curl からエラーが発生した場合、または "Object Moved" というテキストを含むエラー メッセージが表示された場合は、aka.ms リダイレクトではなく完全な URL を使用してみてください。

curl https://hdiconfigactions.blob.core.windows.net/hiloflinkblob/install.sh | bash

例

Flink の CLI ツールでサポートされるアクションの例を次に示します。

アクション 目的
走る このアクションはジョブを実行します。 少なくともジョブを含む jarファイルが必要です。 Flink またはジョブ関連の引数は、必要に応じて渡すことができます。
情報 このアクションを使用して、渡されたジョブの最適化された実行グラフを出力できます。 ここでも、ジョブを含むJarファイルを渡す必要があります。
リスト このアクション 、実行中またはスケジュールされたすべてのジョブが一覧表示されます。
セーブポイント このアクションを使用して、特定のジョブのためにセーブポイント を作成または 破棄できます。 JobID の他にセーブポイント ディレクトリを指定することが必要な場合があります。
取り消し このアクションを使用すると、JobID に基づいて実行中のジョブ を取り消 できます。
止まれ このアクションは、キャンセルアクションとセーブポイントアクションを組み合わせて実行中のジョブ 停止しますが、再び開始するセーブポイントも作成します。

すべてのアクションとそのパラメーターには、次のコマンドを使用してアクセスできます。

bin/flink --help

個々のアクションの使用状況情報

bin/flink <action> --help

ヒント

  • プロキシが接続をブロックしている場合: インストール スクリプトを取得するには、プロキシで次のアドレスへの HTTPS 接続を許可する必要があります:https://aka.ms/ と https://hdiconfigactions.blob.core.windows.net
  • この問題を解決するには、承認プロファイルにユーザーまたはグループを追加します。

参考