Azure HDInsight в версиях AKS

Важный

Azure HDInsight в AKS прекратило работу 31 января 2025 г. Узнайте больше об этом объявлении.

Необходимо перенести рабочие нагрузки в Microsoft Fabric или эквивалентный продукт Azure, чтобы избежать резкого завершения рабочих нагрузок.

Важный

Эта функция сейчас доступна в предварительной версии. Дополнительные условия использования для предварительных версий Microsoft Azure включают дополнительные юридические термины, применимые к функциям Azure, которые находятся в бета-версии, в предварительной версии или в противном случае еще не выпущены в общую доступность. Сведения об этой конкретной предварительной версии см. в Azure HDInsight в предварительной версии AKS. Для вопросов или предложений функций отправьте запрос на AskHDInsight с подробными сведениями и следуйте за дополнительными обновлениями в Azure HDInsight Community.

HDInsight в службе AKS имеет три компонента, поставщик ресурсов, программное обеспечение с открытым исходным кодом (OSS) и контроллеры, развернутые в кластере. Корпорация Майкрософт периодически обновляет образы и указанные выше компоненты, чтобы включить новые улучшения и функции.

Новая версия HDInsight в AKS может быть создана, если одно или несколько из следующих условий выполняется:

• Основные или незначительные изменения или обновления HDInsight в функциональных возможностях поставщика ресурсов AKS.
• Основные или незначительные выпуски или обновления компонентов с открытым исходным кодом.
• Основные или незначительные выпуски или обновления компонентов инфраструктуры AKS.
• Основные или незначительные изменения или обновления базовой операционной системы.
• Обновления или патчи для компонента пакета (включая последние обновления безопасности и исправления критических ошибок).

Знакомство

Azure HDInsight в AKS имеет концепцию пулов кластеров и кластеров, которые объединяют базовые версии компонентов, такие как пакеты и соединители, с определёнными компонентами с открытым исходным кодом. Каждое обновление версии периодически включает новые улучшения, функции и исправления.

Заметка

Необходимо тестировать и проверять, что ваши приложения работают правильно при использовании новых патчей, минорных или мажорных версий.

Azure HDInsight в AKS использует стандартную схему семантического управления версиями для каждой версии:

[major].[minor].[patch]
Examples:
  1.0.1
  1.0.2

Каждое число в версии указывает на общую совместимость с предыдущей версией.

• основные версии изменяются, если несовместимые обновления API или обратная совместимость может быть нарушена.
• Минорные версии изменяются, когда выполняются обновления функций, которые обратно совместимы с другими минорными версиями (за исключением добавления новых функций, или исправлений ключевых проблем безопасности и обновлений платформы, управляемых вышестоящими структурами).
• Версии исправлений изменяются, если обратимо совместимые исправления ошибок вносятся в минорную версию.

Важный

Необходимо установить последнюю версию обновлений для используемой минорной версии. Например, если ваш производственный кластер находится на 1.0.1, 1.0.2 является последней версией исправления, доступной для серии 1.0. Вы должны обновиться до 1.0.2 как можно скорее, чтобы убедиться, что кластер обновлен и поддерживается в полном объеме.

Обновление кластеров

Чтобы воспользоваться новейшими функциями HDInsight на платформе AKS, рекомендуется регулярно обновлять кластеры до последних версий исправлений или минорных версий. В настоящее время HDInsight на AKS поддерживает обновления на месте в рамках общедоступной предварительной версии с горячими исправлениями, обновлениями ОС узлов и патчей AKS, где существующие кластеры обновляются до более новых версий.

Необходимо создать новый HDInsight в AKS-кластере в существующем пуле кластеров и перенести приложение, чтобы использовать новый кластер с последней минорной версией или патчем. Все пулы кластеров соответствуют основной версии, и кластеры в пуле соответствуют той же основной версии, и вы можете создавать кластеры с последующими минорными или патч-версиями.

Жизненный цикл и возможность поддержки

Так как HDInsight в AKS использует базовую инфраструктуру Службы Azure Kubernetes (AKS), ее необходимо периодически обновлять, чтобы обеспечить безопасность и совместимость с последними функциями. С помощью обновлений на месте можно обновить кластеры с обновлениями исправлений для кластеров, обновлениями безопасности операционной системы узлов и обновлениями исправлений AKS.

Версия HDInsight на пуле кластеров AKS	Дата выпуска	Этап выпуска	Сопоставленная версия AKS	Конец жизни AKS
1.1	Октябрь 2023 г.	Общедоступная предварительная версия	1.27	Июль 2024 г.
1.2	Май 2024 г.	-	1.29	-

В рамках лучших практик мы рекомендуем регулярно держать ваши кластеры обновленными. Выпуск HDInsight на AKS выполняется каждые 30–60 дней. Всегда хорошо перейти к последним выпускам как можно раньше. Рекомендуемая максимальная длительность обновления кластера составляет менее трех месяцев.

Примеры сценариев

В приведенном ниже примере показано, как изменить жизненный цикл версий с помощью HDInsight в AKS. Например, кластер, работающий на версии Pool 2.0 и имеющий версию кластера 2.3.6. Это пример, и все обновления версий будут доступны в заметках о выпуске на постоянной основе.

Пример	Влияние версии	Обновления заметок о выпуске (пример)
Обновление версии AKS Kubernetes	MS-Minor	HDInsight в AKS версии 2.4.0. Этот выпуск включает в себя версию AKS, обновленную с версии 1.26.4 до версии 1.27.4. Кластеры нуждаются в обновлении.
Исправления для версий операционных систем	MS-Patch	HDInsight в AKS версии 2.4.1. Этот выпуск включает исправления обслуживания для операционной системы. Кластеры нуждаются в обновлении.
Веб-SSH теперь поддерживается для запуска клиентских средств	MS-Patch	HDInsight в AKS версии 2.4.2. Этот выпуск включает поддержку работы клиентских инструментов на ваших Webssh подах. Кластеры нуждаются в обновлении.
В HDInsight для AKS теперь добавлена усовершенствованная автомасштабируемость на основе нагрузки.	MS-Minor	HDInsight в AKS версии 2.5.0. В этом выпуске представлено расширенное автомасштабирование с дополнительными возможностями на основе нагрузки. Кластеры нуждаются в обновлении.
Теперь доступно настраиваемое автомасштабирование с помощью автомасштабирования на основе нагрузки	MS-Patch	HDInsight в AKS версии 2.5.1. Этот выпуск включает настройку автоматического масштабирования на основе нагрузки. Кластеры нуждаются в обновлении.
Добавление поддержки тегов службы	MS-Patch	HDInsight в AKS версии 2.5.2 начиная с версии 2.5.2 HDInsight в AKS добавит поддержку тегов службы. Кластеры нуждаются в обновлении.
Дополнительное обновление компонента с открытым исходным кодом	MS-Minor	HDInsight в AKS версии 2.6.0. Начиная с версии 2.6.0, HDInsight в AKS будет обновлять компонент с открытым исходным кодом с версии 1.x до 1.y. Кластеры требуют обновления.
Обновление компонента с открытым исходным кодом &, обновление AKS, критическое изменение API	MS-Major	HDInsight в AKS версии 3.0.1. Начиная с версии 3.0.1, компонент с открытым исходным кодом Y был обновлен с версии 1.x до версии 2.x, а инфраструктура AKS обновлена до версии 2.x; пулы кластеров требуют обновления до версии 3.0, а кластеры – до версии 3.0.1.

Управление версиями с помощью портала Azure

В приведенном ниже примере можно увидеть, как выбрать версии в пуле и кластерах. Пул кластеров всегда соответствует основной версии кластеров. То есть если вы ищете обновление 2.4.5 версии HDInsight в AKS, необходимо использовать пул кластеров версии 2.0.

При создании кластера HDInsight на базе AKS или кластера Apache Flink, вы можете выбрать версию minor.patch из списка поддерживаемых версий.

Наиболее новые поддерживаемые компоненты с открытым исходным кодом представлены в виде раскрывающегося списка, чтобы вы могли начать работу.

Поскольку HDInsight в AKS предоставляет и обновляет минорные версии с каждым регулярным выпуском, теперь можно организовать достаточно тестов перед обновлением до новой версии и контролировать график обновлений.

Важно

Если вы используете операции RESTAPI, кластер всегда создается с самой последней версией MS-Patch, чтобы обеспечить получение последних обновлений системы безопасности и критически важных исправлений ошибок.

Заметки о выпуске

Заметки о новейших версиях HDInsight на AKS см. в примечаниях к выпуску

Соображения по версиям

• HDInsight зависимы от поддержки версий пулов кластеров AKS и окончания их эксплуатации, что определяется вышестоящей службой AKS. Вы можете обратиться к поддерживаемым версиям AKS и, а также регулярно планировать обновления пула кластеров или самого кластера.
• После развертывания пула кластера с определенной версией пула кластеров этот пул кластеров не может автоматически обновиться до более новой дополнительной версии. Необходимо повторно создать до тех пор, пока функция обновления на месте не станет активной для малых версий пулов кластеров.
• После развертывания кластера в определенной версии пула кластеров этот кластер не может автоматически обновляться до более новой дополнительной или исправленной версии. Требуется повторить создание, пока функция обновления на месте не станет доступной для исправлений и незначительных версий кластеров.
• Во время создания нового кластера последняя версия развертывается или выбирается.
• Клиенты должны тестировать и проверять правильность работы приложений при использовании новой версии HDInsight в AKS.
• HDInsight в AKS сохраняет право изменять версию по умолчанию без предварительного уведомления. Если у вас есть зависимость версий, укажите HDInsight в версии AKS при создании кластеров.
• HDInsight в AKS может отказаться от версии компонента OSS, прежде чем отказаться от HDInsight в версии AKS, исходя из вышестоящей поддержки зависимостей с открытым кодом или AKS.