在 Azure 门户中,通过安全外壳(SSH)访问 AKS 集群上的 HDInsight 中的 Apache Flink® CLI 客户端。
重要
AKS 上的 Azure HDInsight 已于 2025 年 1 月 31 日停用。 了解此公告的详细信息。
需要将工作负荷迁移到 Microsoft Fabric 或等效的 Azure 产品,以避免工作负荷突然终止。
重要
此功能目前以预览版提供。 Microsoft Azure 预览版补充使用条款 包括适用于 Beta 版、预览版或尚未正式发布的 Azure 功能的更多法律条款。 有关此特定预览版的信息,请参阅 AKS 上的 Azure HDInsight 预览信息。 有关问题或功能建议,请在 AskHDInsight 上提交请求,并提供详细信息。关注我们以获取 Azure HDInsight 社区 的更多更新。
本示例介绍如何在 Azure 门户上使用 SSH 在 AKS 群集上使用 SSH 在 HDInsight 上输入 Apache Flink CLI 客户端,同时介绍 SQL 和 Flink DataStream。
先决条件
通过 Azure 门户连接到 SSH
创建 Flink 群集后,可以在左窗格中观察 设置 选项,以访问安全外壳
Apache Flink SQL
连接到 SQL 客户端
需要将目录更改为 /opt/flink-webssh/bin
,然后执行 ./sql-client.sh
你现在在 Flink 的 SQL 客户端上
请参考 此 文档,以执行更多测试。
Apache Flink DataStream
Flink 提供了一个 Command-Line 接口(CLI)bin/flink
来运行打包为 JAR 文件并控制其执行的程序。
CLI 是 Secure Shell(SSH)的一部分,它连接到正在运行的 JobManager,并使用在 conf/flink-conf.yaml
指定的客户端配置。
提交作业意味着将作业的 JAR 上传到 SSH Pod 并启动作业执行。 为了演示本文的示例,我们选择了一个长时间运行的作业,例如 examples/streaming/StateMachineExample.jar
。
注意
对于管理依赖项,要求是生成并提交作业用的 fat jar(包含所有依赖的可执行 JAR 文件)。
将完整作业 jar 从 ABFS 上传到 webssh。
根据用例,需要使用 flink-client-config 下的 Flink 配置管理 编辑客户端配置。
让我们运行StateMachineExample.jar
./bin/flink run \ --detached \ ./examples/streaming/StateMachineExample.jar
注释
使用 --detached
提交作业后,该命令会在提交完成后返回。 输出包含新提交的作业的 ID。
参考
- Flink SQL 客户端
- Apache、Apache Flink、Flink 以及相关开源项目名称是 Apache 软件基金会(ASF)的 商标。