在 AKS 叢集上的 HDInsight 上運行的 Apache Flink® Command-Line 介面(CLI)
重要
AKS 上的 Azure HDInsight 於 2025 年 1 月 31 日淘汰。 透過此公告 深入瞭解。
您必須將工作負載移轉至 Microsoft Fabric 或對等 Azure 產品,以避免突然終止工作負載。
重要
這項功能目前為預覽狀態。 Microsoft Azure 預覽版的補充使用規定 包含適用於 Beta 版、預覽版或尚未正式發行之 Azure 功能的更合法條款。 如需此特定預覽的相關資訊,請參閱 Azure HDInsight on AKS 預覽資訊。 如有問題或功能建議,請在 AskHDInsight 提交請求,並關注我們的 Azure HDInsight 社群,以獲取更多更新。
Apache Flink 提供 CLI(命令行介面)bin/flink 來執行封裝為 JAR 檔案並控制其執行的工作(程式)。 CLI 是 Flink 設定的一部分,而且可以在單一節點 VM 上設定。 它會連線到 conf/flink-conf.yaml 中指定的執行中 JobManager。
安裝步驟
若要在Linux上安裝 Flink CLI,您需要 Linux VM 來執行安裝腳本。 如果您在 windows 上,則必須執行 bash 環境。
注意
這不適用於 Windows GIT BASH,您必須在 Windows 上安裝 WSL,才能在 Windows 上運作。
要求
- 安裝 JRE 11。 如果未安裝,請遵循
/java/openjdk/download
中所述的步驟。 - 將 java 新增至 PATH,或定義指向 JRE 安裝目錄的JAVA_HOME環境變數,讓
$JAVA_HOME/bin/java
存在。
安裝或更新
安裝和更新 CLI 都需要重新執行安裝腳本。 執行 curl 來安裝 CLI。
curl -L https://aka.ms/hdionaksflinkcliinstalllinux | bash
如果您使用 Flink 1.17,您可以使用下列 CLI
curl -L https://aka.ms/hdionaksflink117clilinux | bash
此命令會在使用者的主目錄中安裝 Flink CLI($HOME/flink-cli
)。 您也可以下載文稿並在本機執行。 您可能需要重新啟動命令列,才能讓變更生效。
執行 Apache Flink 命令以測試
cd $HOME/flink-cli
bin/flink list -D azure.tenant.id=<update-tenant-id> -D rest.address=<flink-cluster-fqdn>
注意
如果透過 SSH Pod 執行,請使用 命令 bin/flink list
提供完整的輸出。
如果您不想每次新增這些參數,請將這些參數新增至 conf/flink-conf.yaml。
rest.address: <flink-cluster-fqdn>
azure.tenant.id: <tenant-id>
現在這個命令會變成
bin/flink list
您應該看到如下所示的輸出:
To sign in, use a web browser to open the page https://microsoft.com/devicelogin and enter the code E4LW35GFD to authenticate.
在瀏覽器中開啟 https://microsoft.com/devicelogin,然後輸入程式代碼,然後使用您的 microsoft.com 標識元登入。 成功登入之後,如果沒有任何作業正在執行,您應該會看到如下的輸出。
Waiting for response...
No running jobs.
No scheduled jobs.
curl Object Moved
錯誤
如果您從 curl 收到與 -L 參數相關的錯誤,或包含「已移動物件」文字的錯誤訊息,請嘗試使用完整的 URL,而不是重新導向 aka.ms:
curl https://hdiconfigactions.blob.core.windows.net/hiloflinkblob/install.sh | bash
例子
以下是 Flink CLI 工具支援的一些動作範例:
行動 | 目的 |
---|---|
跑 | 此動作會執行作業。 它至少需要包含作業的 jar 檔案。 如有必要,可以傳遞 Flink 或作業相關的參數。 |
資訊 | 此動作可用來列印已傳遞作業的優化執行圖形。 同樣地,必須傳遞包含任務的 jar 文件。 |
清單 | 此動作 列出所有執行中或排程的工作。 |
存檔點 | 此動作可用來 建立或刪除指定作業的儲存點。 除了 JobID 之外,可能需要指定儲存點目錄。 |
取消 | 此動作可用來根據作業標識碼來 取消執行中的作業。 |
停 | 此動作會結合 的取消動作和儲存點動作,來停止 的執行作業,並同時建立一個儲存點,以便再次啟動。 |
所有動作及其參數都可以透過下列命令來存取:
bin/flink --help
每個個別動作的使用資訊
bin/flink <action> --help
提示
- 如果您有 Proxy 封鎖連線:若要取得安裝腳本,您的 Proxy 必須允許 HTTPS 連線到下列位址:
https://aka.ms/
和https://hdiconfigactions.blob.core.windows.net
- 若要解決此問題,請將使用者或群組新增至 授權設定檔。
參考
- Apache Flink 網站
- Apache、Apache Flink、Flink 和相關聯的開放原始碼專案名稱是 Apache Software Foundation 的 商標(ASF)。