Поделиться через

Интерфейс Apache Flink® Command-Line в HDInsight на кластерах AKS

  • Статья

Важный

Azure HDInsight на AKS завершило работу 31 января 2025 г. Узнайте больше о из этого объявления.

Необходимо перенести рабочие нагрузки в Microsoft Fabric или эквивалентный продукт Azure, чтобы избежать резкого завершения рабочих нагрузок.

Важный

Эта функция сейчас доступна в предварительной версии. Дополнительные условия использования для предварительных версий Microsoft Azure включают дополнительные юридические термины, применимые к функциям Azure, которые находятся в бета-версии, в предварительной версии или в противном случае еще не выпущены в общую доступность. Сведения об этой конкретной предварительной версии см. в документации о Azure HDInsight на платформе AKS (предварительная версия). Для вопросов или предложений функций отправьте запрос на AskHDInsight с подробными сведениями и следуйте за дополнительными обновлениями в Azure HDInsight Community.

Apache Flink предоставляет интерфейс командной строки (интерфейс командной строки) bin/flink для выполнения заданий (программ), упакованных в виде JAR-файлов и управления их выполнением. Интерфейс командной строки входит в программу настройки Flink и может быть настроен на виртуальной машине с одним узлом. Он подключается к запущенному JobManager, указанному в conf/flink-conf.yaml.

Действия по установке

Чтобы установить Flink CLI на Linux, вам нужна Linux VM , чтобы выполнить скрипт установки. Если вы используете Windows, необходимо запустить среду bash.

Заметка

Это НЕ работает в Windows GIT BASH, вам нужно установить WSL, чтобы это работало в Windows.

Требования

  • Установите JRE 11. Если это не установлено, выполните действия, описанные в /java/openjdk/download.
  • Добавьте java в PATH или определите переменную среды JAVA_HOME, указывающую на каталог установки JRE, таким образом, что $JAVA_HOME/bin/java существует.

Установка или обновление

Для установки и обновления интерфейса командной строки требуется повторное выполнение скрипта установки. Установите CLI, воспользовавшись curl.

curl -L https://aka.ms/hdionaksflinkcliinstalllinux | bash

Если вы используете Flink 1.17, можно использовать приведенный ниже интерфейс командной строки.

curl -L https://aka.ms/hdionaksflink117clilinux | bash

Эта команда устанавливает Flink CLI в домашнем каталоге пользователя ($HOME/flink-cli). Скрипт также можно скачать и запустить локально. Возможно, потребуется перезапустить оболочку, чтобы изменения вступили в силу.

cd $HOME/flink-cli 

bin/flink list -D azure.tenant.id=<update-tenant-id> -D rest.address=<flink-cluster-fqdn>

Заметка

При выполнении с помощью модуля pod SSH используйте команду bin/flink list, чтобы предоставить полные выходные данные.

Если вы не хотите добавлять эти параметры каждый раз, добавьте их в conf/flink-conf.yaml.

rest.address: <flink-cluster-fqdn>
azure.tenant.id: <tenant-id>

Теперь команда изменяется на

bin/flink list

Выходные данные должны отображаться следующим образом:

To sign in, use a web browser to open the page https://microsoft.com/devicelogin and enter the code E4LW35GFD to authenticate.

Откройте https://microsoft.com/devicelogin в браузере и введите код, а затем используйте идентификатор microsoft.com для входа. После успешного входа вы увидите выходные данные, как показано ниже, если задание не выполняется.

Waiting for response...
No running jobs.
No scheduled jobs.

Ошибка curl Object Moved

Если вы получаете сообщение об ошибке от curl, связанной с параметром -L, или сообщением, содержащем текст "Перемещенный объект", попробуйте использовать полный URL-адрес вместо перенаправления через aka.ms.

curl https://hdiconfigactions.blob.core.windows.net/hiloflinkblob/install.sh | bash

Примеры

Ниже приведены некоторые примеры действий, поддерживаемых средством интерфейса командной строки Flink:

Действие Цель
бежать Это действие выполняет задания. Для этого требуется по крайней мере jar-файл, содержащий задание. При необходимости можно передать параметры, связанные с Flink или с заданиями.
информация Это действие можно использовать для печати оптимизированного графика выполнения переданного задания. Опять же, JAR-файл, содержащий задание, необходимо передать.
список Это действие перечисляет все выполняемые или запланированные задания.
Точка сохранения Это действие можно использовать для создания или удаления точек сохранения для данного задания. Может потребоваться указать каталог точки сохранения, кроме JobID.
Отмена Это действие можно использовать для отмены выполняемых заданий на основе их идентификатора задания.
остановка Это действие объединяет действия точки отмены и точки сохранения, чтобы остановить выполняющееся задание, но также создает точку сохранения, чтобы начать заново.

Доступ ко всем действиям и их параметрам можно получить с помощью следующих команд:

bin/flink --help

Сведения об использовании каждого отдельного действия

bin/flink <action> --help

Совет

  • Если у вас есть прокси-сервер, блокирующий подключение: чтобы получить скрипты установки, прокси-сервер должен разрешить httpS-подключения к следующим адресам: https://aka.ms/ и https://hdiconfigactions.blob.core.windows.net
  • Чтобы устранить проблему, добавьте пользователя или группу в профиль авторизации .

Ссылка