Поделиться через

Доступ к клиенту Apache Flink® CLI с помощью Secure Shell (SSH) в HDInsight в кластерах AKS с помощью портала Azure

  • Статья

Важный

Azure HDInsight на платформе AKS прекращено 31 января 2025 г. Узнайте больше о с этим объявлением.

Необходимо перенести рабочие нагрузки в Microsoft Fabric или эквивалентный продукт Azure, чтобы избежать резкого завершения рабочих нагрузок.

Важный

Эта функция сейчас доступна в предварительной версии. Дополнительные условия использования для предварительных версий Microsoft Azure включают дополнительные юридические термины, применимые к функциям Azure, которые находятся в бета-версии, в предварительной версии или в противном случае еще не выпущены в общую доступность. Сведения об этой конкретной предварительной версии см. в Azure HDInsight в предварительной версии AKS. Для вопросов или предложений функций отправьте запрос на AskHDInsight с подробными сведениями и следуйте за дополнительными обновлениями в Azure HDInsight Community.

В этом примере показано, как получить доступ к клиенту CLI Apache Flink в HDInsight на кластерах AKS с использованием SSH через портал Azure. Здесь рассматриваются как SQL, так и Flink DataStream.

Необходимые условия

  • Необходимо выбрать SSH во время создания кластера Flink

Подключение к SSH с портала Azure

После создания кластера Flink можно увидеть на левой панели опцию "Настройки" для доступа в Безопасная Оболочка

снимок экрана: создание pod и подключение к webssh.

Подключение к клиенту SQL

Необходимо изменить каталог на /opt/flink-webssh/bin, а затем выполнить ./sql-client.sh

снимок экрана: поиск файла клиента SQL.

снимок экрана: запуск клиента SQL.

Теперь вы находитесь на клиенте SQL в Flink

Дополнительные тесты см. в этом документе.

Flink предоставляет bin/flink интерфейса командной строки Command-Line для запуска программ, упакованных в виде JAR-файлов и управления их выполнением.

Интерфейс командной строки является частью Secure Shell (SSH), и он подключается к работающему JobManager и использует конфигурации клиента, указанные в conf/flink-conf.yaml.

Отправка задания означает отправку JAR-файла задания в модуль SSH и инициирование выполнения задания. Чтобы проиллюстрировать пример для этой статьи, мы выбираем длительное задание, например examples/streaming/StateMachineExample.jar.

Заметка

Для управления зависимостями предполагается создание и отправка толстого JAR-файла для задачи.

  • Загрузите jar-файл fat job из ABFS в WebSSH.

  • В зависимости от вашего сценария использования необходимо отредактировать конфигурации клиента, используя управление конфигурацией Flink в разделе flink-client-configs.

  • Давайте запустите StateMachineExample.jar

    ./bin/flink run \
    --detached \
    ./examples/streaming/StateMachineExample.jar

Заметка

Отправка задания с помощью --detached приведет к возврату команды после завершения отправки. Выходные данные содержат идентификатор только что отправленного задания.

Ссылка