Кластер Apache Flink в режиме приложения на HDInsight в AKS
Важный
Azure HDInsight на AKS прекращено 31 января 2025 г. Узнайте больше из этого объявления.
Необходимо перенести рабочие нагрузки в Microsoft Fabric или эквивалентный продукт Azure, чтобы избежать резкого завершения рабочих нагрузок.
Важный
Эта функция сейчас доступна в предварительной версии. Дополнительные условия использования для предварительных версий Microsoft Azure включают дополнительные юридические термины, применимые к функциям Azure, которые находятся в бета-версии, в предварительной версии или в противном случае еще не выпущены в общую доступность. Сведения об этой конкретной предварительной версии см. в Azure HDInsight в предварительной версии AKS. Для вопросов или предложений функций отправьте запрос на AskHDInsight с подробными сведениями и следуйте за дополнительными обновлениями в Azure HDInsight Community.
HDInsight в AKS теперь предлагает кластер режима приложения Flink. Этот кластер позволяет управлять жизненным циклом режима приложения Flink кластера с помощью портала Azure с простым интерфейсом и REST API управления ресурсами Azure. Кластеры в режиме приложения предназначены для поддержки больших и длительных заданий с выделенными ресурсами и обработки ресурсоемких или обширных задач обработки данных.
Этот режим развертывания позволяет назначать выделенные ресурсы для конкретных приложений Flink, обеспечивая эффективную обработку больших рабочих нагрузок с достаточной вычислительной мощностью и памятью.
Преимущества
Упрощенное развертывание кластера с помощью JAR-файла задания.
Удобный интерфейс REST API: HDInsight на AKS предоставляет удобные интерфейсы ARM REST API для управления задачей в режиме приложения, таких как Обновление, Точка сохранения, Отмена, Удаление.
Простое управление обновлениями заданий и состоянием. Интеграция с интегрированным порталом Azure обеспечивает удобный интерфейс для обновления заданий и их восстановления до последнего сохраненного состояния (savepoint). Эта функция обеспечивает непрерывность и целостность данных на протяжении всего жизненного цикла задания.
Автоматизация заданий Flink с помощью Azure Pipelines или других средств CI/CD: используя HDInsight на AKS, пользователи Flink имеют доступ к удобному ARM REST API, и вы можете легко интегрировать операции заданий Flink в Azure Pipeline или другие средства CI/CD.
Ключевые функции
Остановка и запуск заданий с помощьюSavepoints: пользователи могут корректно останавливать и запускать задания Flink AppMode из предыдущего состояния (Savepoint). Точки сохранения обеспечивают сохранение хода выполнения задания, обеспечивая простое возобновление работы.
Обновления Заданий: пользователь может обновить выполняемое задание в режиме AppMode после обновления jar-файла в аккаунте хранения. Это обновление автоматически принимает точку сохранения и запускает задание AppMode с новым jar-файлом.
безгосударственные обновления: Выполнение нового перезапуска для задания AppMode упрощается с помощью безгосударственных обновлений. Эта функция позволяет пользователям инициировать чистый перезапуск с помощью обновленного jar-файла задания.
Управление savepoint: Пользователи могут создавать точки сохранения в любой момент для выполнения их текущих заданий. Эти точки сохранения можно перечислить и использовать для перезапуска задания с определенной контрольной точки по мере необходимости.
Отмена: отменяет задание окончательно.
Удалить: удалить кластер AppMode.
Создание кластера приложений Flink
Необходимые условия
Выполните требования в следующих разделах:
необходимые условия для подписки .
Добавьте jar-файл задания в учетную запись хранения.
Перед настройкой кластера режима приложения Flink необходимо выполнить несколько предварительных действий. Одним из этих шагов является размещение JAR-файла задания в режиме приложения в учетной записи хранения кластера.
Создайте каталог для JAR-файла задания в режиме приложения:
В выделенных контейнерах создайте каталог, в котором вы отправляете JAR-файл задания в режиме приложения. Этот каталог служит для хранения JAR-файлов, которые необходимо включить в classpath кластера или задания Flink.
Каталог Savepoints (необязательно):
Если пользователи намерены использовать точки сохранения во время выполнения задания, создайте отдельный каталог в учетной записи хранения для хранения этих точек сохранения. Этот каталог использовался для хранения данных контрольной точки и метаданных для точек сохранения.
Пример структуры каталогов:
Создание кластера режима приложения Flink
Кластеры Flink AppMode можно создать после завершения развертывания пула кластеров, давайте рассмотрим действия, если вы начинаете работу с существующим пулом кластеров.
На портале Azure введите пулы кластеров HDInsight/HDInsight/HDInsight в AKS и выберите Azure HDInsight в пулах кластеров AKS, чтобы перейти на страницу пулов кластеров. На странице пулов кластеров HDInsight в AKS выберите пул кластеров, в котором требуется создать новый кластер Flink.
На странице конкретного пула кластеров нажмите кнопку +Создать кластер и укажите следующие сведения:
Свойство Описание Подписка Это поле автоматически заполнено подпиской Azure, зарегистрированной для пула кластеров. Группа ресурсов Это поле автоматически заполняется и отображает группу ресурсов в пуле кластеров. Область Это поле автоматически заполняется и отображает регион, выбранный в пуле кластеров. Пул кластеров Это поле автоматически заполняется и отображает имя пула кластера, на котором создается кластер. Чтобы создать кластер в другом пуле, найдите пул кластеров на портале и нажмите кнопку +Создать кластер. HDInsight в версии пула AKS Это поле автоматически заполняется и отображает версию пула кластера, на которой создается кластер. HDInsight в версии AKS Выберите минорную или патчевую версию HDInsight на AKS для нового кластера. Тип кластера В раскрывающемся списке выберите Flink. Имя кластера Введите имя нового кластера. Управляемое удостоверение, назначаемое пользователем В раскрывающемся списке выберите управляемое удостоверение, используемое в кластере. Если вы являетесь владельцем MSI и у MSI отсутствует роль оператора управляемой идентичности в кластере, щелкните ссылку под полем, чтобы назначить требуемые разрешения на MSI пула агентов AKS. Если MSI уже имеет правильные разрешения, ссылка не отображается. См. предварительные требования для других назначений ролей, необходимых для MSI. Учетная запись хранения В раскрывающемся списке выберите учетную запись хранения, чтобы связаться с кластером Flink и указать имя контейнера. Управляемому удостоверению дополнительно предоставляется доступ к указанной учетной записи хранения при помощи роли "Владелец данных BLOB-объектов хранилища" во время создания кластера. Виртуальная сеть Виртуальная сеть для кластера. Подсеть Виртуальная подсеть для кластера. Включение каталога Hive для Flink SQL:
Свойство Описание Использование каталога Hive Включите этот параметр для использования внешнего хранилища метаданных Hive. База данных SQL для Hive В раскрывающемся списке выберите базу данных SQL, в которую необходимо добавить таблицы мета-хранилища Hive. Имя пользователя администратора SQL Введите имя администратора SQL Server. Эта учетная запись используется хранилищем метаданных для обмена данными с базой данных SQL. Хранилище ключей В раскрывающемся списке выберите Key Vault, содержащий секрет с паролем для имени администратора SQL Server. Необходимо настроить политику доступа со всеми необходимыми разрешениями, такими как разрешения ключа, разрешения секрета и разрешения сертификата для MSI, который используется для создания кластера. Для MSI требуется роль администратора Key Vault. Добавьте необходимые разрешения с помощью IAM. Имя секрета пароля SQL Введите имя секрета из Key Vault, где хранится пароль базы данных SQL. 
Заметка
По умолчанию мы используем учетную запись хранения для каталога Hive так же, как учетную запись хранения и контейнер, используемые во время создания кластера.
Нажмите кнопку "Далее" для продолжения настройки.
На странице "Конфигурация" укажите следующие сведения:
Свойство Описание Размер узла Выберите размер узла, который будет использоваться для узлов Flink, как головных, так и рабочих узлов. Количество узлов Выберите количество узлов для кластера Flink; По умолчанию головные узлы являются двумя. Размер рабочих узлов помогает определить конфигурации диспетчера задач для Flink. Диспетчер заданий и серверы истории находятся на головных узлах. В разделе "Развертывание" выберите тип развертывания в режиме приложения укажите следующие сведения:
Собственность Описание Путь к файлу JAR Укажите путь ABFS (хранилище) для файла jar вашего задания. Например, abfs://flink@teststorage.dfs.core.windows.net/appmode/job.jarКласс записи (необязательно) Основной класс для вашего кластерного режима приложения. Ex: com.microsoft.testjob Аргументы (необязательно) Аргумент для основного класса вашей задачи. Имя точки сохранения Имя старой точки сохранения, которую вы хотите использовать для запуска задания Режим обновления Выберите параметр обновления по умолчанию. Этот параметр используется при обновлении основной версии кластера. Доступны три варианта. UPDATE: Используется, когда пользователь хочет восстановить данные из последней контрольной точки после обновления. STATELESS_UPDATE: Используется, когда пользователь хочет перезапустить новое задание после обновления. LAST_STATE_UPDATE: Используется, когда пользователь хочет восстановить задание с последней контрольной точки после обновления Конфигурация задания Flink Добавьте дополнительную конфигурацию, необходимую для задания Flink. Выберите "Агрегирование журнала заданий". Установите флажок, если вы хотите передать журнал заданий в удаленное хранилище. Это помогает отладке ошибок в заданиях. Расположение по умолчанию для журнала заданий — StorageAccount/Container/DeploymentId/logs. Вы можете изменить каталог журналов по умолчанию, настроив "pipeline.remote.log.dir". Интервал по умолчанию для сбора журналов составляет 600 секунд. Пользователь может изменить его, настроив параметр pipeline.log.aggregation.interval.
В разделе "Конфигурация службы" укажите следующие сведения:
Свойство Описание ЦП диспетчера задач Целое число. Введите размер ЦП диспетчера задач (в ядрах). Память диспетчера задач в МБ Введите размер памяти диспетчера задач в МБ. Минимум 1800 МБ. ЦП диспетчера заданий Целое число. Введите количество ЦП для диспетчера заданий (в ядрах). Память диспетчера заданий в МБ Введите размер памяти в МБ. Не менее 1800 МБ. ЦП сервера истории Целое число. Введите количество ЦП для диспетчера заданий (в ядрах). Память сервера истории в МБ Введите размер памяти в МБ. Не менее 1800 МБ. 
Нажмите кнопку "Далее": кнопка "Интеграция", чтобы перейти к следующей странице.
На странице интеграции укажите следующие сведения:
Свойство Описание Аналитика журналов Эта функция доступна только в том случае, если рабочая группа Log Analytics связана с пулом кластеров, и после включения функции можно выбрать журналы для сбора. Azure Prometheus Эта функция предназначена для просмотра аналитических сведений и журналов непосредственно в кластере, отправляя метрики и журналы в рабочую область Azure Monitor. 
Нажмите кнопку "Далее": "Теги", чтобы перейти к следующей странице.
На странице "Теги" укажите следующие сведения:
Свойство Описание Имя Необязательный. Введите имя, например HDInsight в AKS, чтобы легко определить все ресурсы, связанные с ресурсами кластера. Ценность Вы можете оставить это пустым. Ресурс Выберите все выбранные ресурсы. Нажмите кнопку "Далее", чтобы продолжить: Просмотр и создание.
На странице "Проверка и создание" найдите сообщение Проверка выполнена успешно в верхней части страницы и нажмите "Создать".
На странице развертывания в процессе отображается созданный кластер. Создание кластера занимает 5–10 минут. После создания кластера отображается сообщение "Развертывание завершено". Если вы выйдете со страницы, вы можете проверить свои уведомления, чтобы узнать текущий статус.
Управление задачей приложения в портале
HDInsight AKS предоставляет способы управления заданиями Flink. Вы можете повторно запустить неудачное задание. Перезапустите задание с портала.
Чтобы запустить задание Flink на портале, перейдите к следующим ссылкам:
Портал > HDInsight в пуле кластеров AKS >, настройки кластера Flink >, задания Flink >.
Stop: задание остановки не требует каких-либо параметров. Пользователь может остановить задание, выбрав действие. После остановки задания состояние задания на портале будет остановлено.
Запуск: начинает задание из точки сохранения. Чтобы запустить задание, выберите остановленное задание и запустите его.
Обновление: обновление помогает перезапустить задания с обновленным кодом задания. Пользователям необходимо обновить новейший jar-файл задания в местоположении хранилища и обновить задание через портал. Это действие останавливает задание с помощью точки сохранения и затем запускает его снова с последним jar-файлом.
Обновление без отслеживания состояния: обновление без отслеживания состояния похоже на обновление, но оно включает в себя новый перезапуск задания с последним кодом. После обновления задания состояние задания на портале отображается как Выполняется.
Точка сохранения: создайте точку сохранения для задачи Flink.
Отменить: завершить задание.
Удаление: удаление кластера AppMode.
Просмотр сведений о задании: Чтобы просмотреть детали задания, пользователь может щелкнуть на имени задания; оно содержит информацию о задании и результат последнего действия.
Для любого неисправного действия в этом представлении json приводятся подробные исключения и причины сбоя.