Создание кластера Apache Flink® в HDInsight в AKS с помощью портала Azure

Важный

Azure HDInsight на AKS прекращено 31 января 2025 г. Узнайте больше из этого объявления.

Необходимо перенести рабочие нагрузки в Microsoft Fabric или эквивалентный продукт Azure, чтобы избежать резкого завершения рабочих нагрузок.

Важный

Эта функция сейчас доступна в предварительной версии. Дополнительные условия использования для предварительных версий Microsoft Azure включают дополнительные юридические термины, применимые к функциям Azure, которые находятся в бета-версии, в предварительной версии или в противном случае еще не выпущены в общую доступность. Сведения об этой конкретной предварительной версии см. в разделе Azure HDInsight на AKS — информация о предварительной версии. Для вопросов или предложений по функциям отправьте запрос на AskHDInsight с подробными сведениями и подписывайтесь на обновления в Azure HDInsight Community.

Выполните следующие действия, чтобы создать кластер Apache Flink на портале Azure.

Необходимые условия

Выполните необходимые условия в следующих разделах:

• предварительные требования к подписке
• Требования предварительных условий к ресурсам
• создание пула кластеров

Важный

• Чтобы создать кластер в новом пуле кластеров, назначьте роль АГЕНТА AKS MSI "Управляемый оператор удостоверений" для управляемого удостоверения, назначаемого пользователем, созданного в рамках предварительных требований к ресурсам. Если у вас есть необходимые разрешения, этот шаг автоматически выполняется во время создания.
• Управляемое удостоверение агентного пула AKS создается во время создания пулa кластера. Управляемое удостоверение агента AKS можно определить по (имя вашего clusterpool)-agentpool. Выполните следующие действия, чтобы назначить роль.

Создание кластера Apache Flink

Кластеры Flink можно создать после завершения развертывания пула кластеров, давайте рассмотрим действия, если вы начинаете работу с существующим пулом кластеров.

1. На портале Azure введите пулы кластеров HDInsight/HDInsight/HDInsight в AKS и выберите Azure HDInsight в пулах кластеров AKS, чтобы перейти на страницу пулов кластеров. На странице пулов кластеров HDInsight в AKS выберите пул кластеров, в котором требуется создать новый кластер Flink.

   

2. На странице пула кластеров щелкните + Создать кластер и укажите следующие сведения:

   Свойство	Описание
   Подписка	Это поле автоматически заполняется подпиской Azure, зарегистрированной для кластерного пула.
   Группа ресурсов	Это поле автоматически заполнено и отображает группу ресурсов в пуле кластеров.
   Область	Это поле автоматически заполнено и отображает регион, выбранный в пуле кластера.
   Пул кластеров	Это поле автоматически заполнено и отображает имя пула кластера, на котором создается кластер. Чтобы создать кластер в другом пуле, найдите пул кластера на портале и нажмите + Создать кластер.
   HDInsight в версии пула AKS	Это поле автоматически заполнено и отображает версию пула кластера, на которой создается кластер.
   HDInsight в версии AKS	Определите минорную или патч-версию HDInsight на AKS нового кластера.
   Тип кластера	В раскрывающемся списке выберите Flink.
   Имя кластера	Введите имя нового кластера.
   Управляемое удостоверение, назначаемое пользователем	В раскрывающемся списке выберите управляемое удостоверение, используемое в кластере. Если вы являетесь владельцем управляемого удостоверения службы (MSI), а у MSI нет роли оператора управляемых удостоверений в кластере, нажмите на ссылку ниже, чтобы назначить требуемое разрешение для MSI пула агентов AKS. Если MSI уже имеет правильные разрешения, ссылка не отображается. Просмотрите предварительные требования для других назначений ролей, необходимых для MSI.
   Учетная запись хранения	В раскрывающемся списке выберите учетную запись хранения, чтобы связаться с кластером Flink и указать имя контейнера. Во время создания кластера управляемое удостоверение получает доступ к указанной учетной записи в хранилище с помощью роли «Владелец данных Blob-объектов хранилища».
   Виртуальная сеть	Виртуальная сеть для кластера.
   Подсеть	Виртуальная подсеть для кластера.

3. Включение каталога Hive для Flink SQL.

   Свойство	Описание
   Использование каталога Hive	Включите этот параметр для использования внешнего хранилища метаданных Hive.
   База данных SQL для Hive	В раскрывающемся списке выберите базу данных SQL, в которую необходимо добавить таблицы метахранилища Hive.
   Имя администратора SQL	Введите имя администратора SQL Server. Эта учетная запись используется хранилищем метаданных для обмена данными с базой данных SQL.
   Хранилище ключей	В раскрывающемся списке выберите Key Vault, содержащий секрет с паролем для имени администратора SQL Server. Необходимо настроить политику доступа со всеми необходимыми разрешениями, такими как разрешения ключа, разрешения секрета и разрешения сертификата для MSI, который используется для создания кластера. Для MSI требуется роль администратора хранилища ключей, добавьте необходимые разрешения через IAM.
   Имя секрета пароля SQL	Введите имя секрета из Key Vault, где хранится пароль базы данных SQL.

   

   Заметка

   По умолчанию для каталога Hive используется учетная запись хранения , аналогичная учетной записи хранения и контейнеру, используемому во время создания кластера.

4. Выберите Далее: Конфигурация, чтобы продолжить.

5. На странице конфигурации укажите следующие сведения:

   Свойство	Описание
   Размер узла	Выберите размер узла, который будет использоваться для узлов Flink, как головных, так и рабочих узлов.
   Количество узлов	Выберите количество узлов для кластера Flink; По умолчанию головные узлы являются двумя. Размер рабочих узлов помогает определить конфигурации диспетчера задач для Flink. Диспетчер заданий и сервер журнала находятся на головных узлах.

6. В разделе конфигурации службы укажите следующие сведения:

   Свойство	Описание
   ЦП диспетчера задач	Целое число. Введите размер ЦП диспетчера задач (в ядрах).
   Память диспетчера задач в МБ	Введите размер памяти диспетчера задач в МБ. Минимум 1800 МБ.
   ЦП диспетчера заданий	Целое число. Введите количество ЦП для диспетчера заданий (в ядрах).
   Память диспетчера заданий в МБ	Введите размер памяти в МБ. Не менее 1800 МБ.
   ЦП сервера истории	Целое число. Введите количество ЦП для диспетчера заданий (в ядрах).
   Память сервера истории в МБ	Введите размер памяти в МБ. Не менее 1800 МБ.

   снимок экрана

   Заметка

   • Сервер журнала можно включить или отключить по мере необходимости.
   • Автомасштабирование на основе расписания поддерживается в Flink. По мере необходимости можно запланировать количество рабочих узлов. Например, включено автомасштабирование на основе расписания с количеством рабочих узлов по умолчанию, равным 3. И в рабочие дни с 9:00 по 20:00 по UTC планируется использовать 10 рабочих узлов. Позже в тот же день, он должен по умолчанию переключаться на 3 узла (от 20:00 UTC до 09:00 UTC следующего дня). В выходные дни с 9:00 до 20:00 по UTC количество рабочих узлов составляет 4.

7. В разделе "Автоматическое масштабирование & SSH" обновите следующее:

   Имущество	Описание
   Автомасштабирование	При выборе вы сможете выбрать автомасштабирование на основе расписания, чтобы настроить расписание для операций масштабирования.
   Включение SSH	При выборе можно выбрать общее количество узлов SSH, которые являются точками доступа для интерфейса командной строки Flink с помощью Secure Shell. Максимально допустимое число узлов SSH равно 5.

   

   

8. Нажмите кнопку Далее: Интеграция, чтобы перейти к следующей странице.

9. На странице интеграции укажите следующие сведения:

   Свойство	Описание
   Анализ логов	Эта функция доступна только в том случае, если пул кластеров связан с рабочей областью Log Analytics. После включения функции можно выбрать журналы для сбора.
   Azure Prometheus	Эта функция предназначена для просмотра аналитических сведений и журналов непосредственно в кластере, отправляя метрики и журналы в рабочую область Azure Monitor.

   

10. Нажмите кнопку Далее: Теги, чтобы перейти к следующей странице.

11. На странице тегов укажите следующие сведения:

    Свойство	Описание
    Имя	Необязательный. Введите имя, например HDInsight в AKS, чтобы легко определить все ресурсы, связанные с ресурсами кластера.
    Ценность	Вы можете оставить это пустым.
    Ресурс	Выберите все выбранные ресурсы.

12. Нажмите кнопку Далее: просмотр и создание для продолжения.

13. На странице Обзор + создание найдите сообщение Validation succeeded вверху страницы и нажмите кнопку "Создать".

На странице отображается процесс развертывания для создания кластера. Создание кластера занимает 5–10 минут. После создания кластера отображается сообщение "Развертывание завершено". Если вы уйдете со страницы, вы можете проверить уведомления, чтобы узнать текущее состояние.

Заметка

Имена проектов Apache, Apache Flink, Flink и связанных с ними проектов с открытым исходным кодом являются товарными знакамиApache Software Foundation (ASF).