Поделиться через

Архивные заметки о выпуске Azure HDInsight на AKS

  • Статья

Важный

Azure HDInsight на AKS упразднено 31 января 2025 г. Узнайте больше с этим объявлением.

Необходимо перенести рабочие нагрузки в Microsoft Fabric или эквивалентный продукт Azure, чтобы избежать резкого завершения рабочих нагрузок.

Важный

Эта функция сейчас доступна в предварительной версии. Дополнительные условия использования для предварительных версий Microsoft Azure включают дополнительные юридические термины, применимые к функциям Azure, которые находятся в бета-версии, в предварительной версии или в противном случае еще не выпущены в общую доступность. Сведения об этой конкретной предварительной версии см. в Azure HDInsight в предварительной версии AKS. Для вопросов или предложений функций отправьте запрос на AskHDInsight с подробными сведениями и подписывайтесь на обновления в Azure HDInsight Community.

Azure HDInsight в AKS является одной из самых популярных служб среди корпоративных клиентов для аналитики с открытым кодом в Azure. Если вы хотите подписаться на заметки о выпуске, следите за выпусками этого репозитория GitHub.

Дата выпуска: 05 августа 2024 г.

Данный выпуск применяется к следующим

  • Версия пула кластеров: 1.2
  • Версия кластера: 1.2.1
  • ВЕРСИЯ AKS: 1.27

Новые возможности

аутентификация на основе MSI для SQL Пользователи теперь могут аутентифицировать внешнее хранилище метаданных Azure SQL DB с помощью MSI вместо использования проверки подлинности с паролем идентификатора пользователя. Эта функция помогает защитить подключение кластера к хранилищу метаданных.

Настраиваемые SKU виртуальных машин для головного узла, узла SSH Эта функция позволяет пользователям выбирать определенные SKU для головных узлов, рабочих узлов и узлов SSH, предлагая гибкость выбора в соответствии со случаем использования и потенциалом снижения общей стоимости владения (TCO).

Несколько MSI в кластере Пользователи могут настроить несколько MSI для операций администраторов кластера и для доступа к ресурсам, связанным с заданием. Эта функция позволяет пользователям разграничивать и управлять доступом к кластеру и данным, хранящимся в учетной записи для хранения данных. Например, один MSI для доступа к данным в учетной записи хранилища и отдельный MSI для операций кластера.

Обновлено

Действие скрипта действие скрипта теперь можно добавить с правами пользователя Sudo. Теперь пользователи могут установить несколько зависимостей, включая пользовательские JAR-модули, чтобы настроить кластеры по мере необходимости.

Управление библиотеками В этом выпуске в «Управление библиотеками» добавлена функция ярлыка репозитория Maven. Теперь пользователь может установить зависимости Maven непосредственно из репозиториев с открытым кодом.

Обновление Spark 3.4 приносит ряд новых функций.

  • Улучшения API
  • Усовершенствования структурированной потоковой передачи
  • Улучшенное удобство использования и опыт разработчика

Важный

Чтобы воспользоваться всеми этими новейшими функциями, необходимо создать новый пул кластеров с версией 1.2 и кластером версии 1.2.1.

Известные проблемы

  • Ограничение удостоверений рабочей нагрузки :
    • Известно ограничение при переходе на идентификацию рабочей нагрузки. Это ограничение вызвано тем, что операции FIC являются чувствительными к разрешениям. Пользователи не могут выполнить удаление кластера, удалив группу ресурсов. Запросы на удаление кластера должны активироваться приложением/ пользователем или субъектом с разрешениями FIC/delete. В случае неудачи при удалении FIC, удаление кластера высокого уровня также не удаётся.
    • Поддержка управляемых удостоверений пользователей (UAMI) – на каждое UAMI имеется ограничение в 20 FICs. В удостоверении можно создать только 20 федеративных учетных данных. В HDInsight в кластере AKS FIC (учетные данные федеративного удостоверения) и SA имеют сопоставление "один к одному", а для MSI можно создать только 20 SAS. Если вы хотите создать больше кластеров, вам необходимо предоставить различные MSI, чтобы преодолеть это ограничение.
    • Создание учетных данных федеративного удостоверения в настоящее время не поддерживается для управляемых удостоверений, назначенных пользователем, созданных в этих регионах

Версия операционной системы

  • Mariner OS 2.0

Версии рабочих нагрузок

Загруженность Версия
Трино 440
Flink 1.17.0
Apache Spark 3.4

поддерживаемые версии Java и Scala

Загруженность Ява Scala
Трино OpenJDK 21.0.2 - 
Flink OpenJDK 11.0.21 2.12.7
Искра Open JDK 1.8.0_345 2.12.15

Предварительная версия доступна в следующих регионах .

Если у вас есть дополнительные вопросы, обратитесь в службу поддержки Azure или перейдите на страницу параметров поддержки. Если у вас есть отзывы о продуктах, то напишите нам на aka.ms/askhdinsight.

Дата выпуска: 20 марта 2024 г.

данный выпуск применяется к следующим

  • Версия пула кластеров: 1.1
  • Версия кластера: 1.1.1
  • ВЕРСИЯ AKS: 1.27

Новые возможности

кластер режима приложения Apache Flink

Кластеры в режиме приложения предназначены для поддержки выделенных ресурсов для больших и длительных заданий. При наличии ресурсоемких или обширных задач обработки данных можно использовать кластер режима приложения. Этот режим позволяет выделить выделенные ресурсы для конкретных приложений Apache Flink, обеспечивая эффективное использование вычислительных ресурсов и памяти для эффективной обработки больших рабочих нагрузок.

Дополнительные сведения см. в разделе кластере режима приложений Apache Flink на HDInsight в AKS.

частные кластеры для HDInsight в AKS

С помощью частных кластеров и параметров исходящего кластера теперь можно управлять входящего трафика и исходящим трафиком из HDInsight в пулах и кластерах AKS.

  • Используйте брандмауэр Azure или группы безопасности сети (NSG) для управления исходящим трафиком, если вы решили использовать исходящий пул кластеров с подсистемой балансировки нагрузки.
  • Используйте пул исходящих кластеров с определяемой пользователем маршрутизацией для управления исходящим трафиком на уровне подсети.
  • Используйте функцию кластера Private AKS. Чтобы убедиться, что уровень управления AKS или сервер API имеет внутренние IP-адреса. Сетевой трафик между плоскостями управления AKS или сервером API и HDInsight в пулах узлов AKS (кластерах) остается только в частной сети.
  • Избегайте создания общедоступных IP-адресов для кластера. Используйте функцию частного входа на ваших кластерах.

Дополнительные сведения см. в разделе Управление сетевым трафиком из HDInsight в пулы кластеров AKS и кластер.

Обновление на месте

Обновите кластеры и пулы кластеров с помощью последних обновлений программного обеспечения. Это означает, что вы можете наслаждаться последними исправлениями пакета кластера, обновлениями системы безопасности и исправлениями AKS без повторного создания кластеров. Дополнительные сведения см. в статье Обновление HDInsight в кластерах AKS и пулах кластеров.

Важный

Чтобы воспользоваться всеми этими последними функциями, необходимо создать новый пул кластеров с версией 1.1 и кластером версии 1.1.1.

Известные проблемы

  • Ограничение удостоверений рабочих нагрузок:
    • Существует известное ограничение при переходе на удостоверение рабочей нагрузки. Это ограничение обусловлено характером операций FIC, чувствительных к разрешениям. Пользователи не могут выполнить удаление кластера, удалив группу ресурсов. Запросы на удаление кластера должны активироваться приложением/ пользователем или субъектом с разрешениями FIC/delete. В случае сбоя удаления FIC удаление кластера высокого уровня также завершается ошибкой.
    • Пользовательские управляемые удостоверения (UAMI) — на одно UAMI установлено ограничение в 20 FICs. На учетной записи можно создать только 20 федеративных учетных данных. В HDInsight в кластере AKS FIC (учетные данные федеративного удостоверения) и SA имеют сопоставление "один к одному", а для MSI можно создать только 20 SAS. Если вы хотите создать больше кластеров, необходимо предоставить другие версии MSI для преодоления ограничения.
    • Создание учетных данных федеративных удостоверений в настоящее время не поддерживается для управляемых удостоверений, созданных и назначенных пользователем в этих регионах .

Версия операционной системы

  • Mariner OS 2.0

версии рабочей нагрузки

Загруженность Версия
Трино 426
Flink 1.17.0
Apache Spark 3.3.1

поддерживаемые версии Java и Scala

Загруженность Ява Scala
Трино Open JDK 17.0.7 - 
Flink OpenJDK 11.0.21 2.12.7
Искра OpenJDK 1.8.0_345 2.12.15

Предварительная версия доступна в следующих регионах .

Если у вас есть дополнительные вопросы, обратитесь в службу поддержки Azure или перейдите на страницу параметров поддержки. Если у вас есть обратная связь по продукту, напишите нам в адрес aka.ms/askhdinsight.

Дата выпуска: 05 февраля 2024 г.

этот выпуск применяется к следующим

  • Версия пула кластеров: 1.1
  • Версия кластера: 1.1.0
  • ВЕРСИЯ AKS: 1.27

Совет

Чтобы создать новый кластер HDInsight в КЛАСТЕРе AKS в версии 1.1.0, необходимо создать новый пул кластеров с версией 1.1.

Новые возможности

  • Идентификация рабочей нагрузки поддерживается по умолчанию для пулов кластеров в версии 1.1.
  • Кластеры Trino поддерживают Trino 426 с выпуска 1.1.0
    • HDInsight в AKS теперь включает все изменения, внесённые до версии Trino 426, с несколькими заметными улучшениями, внесёнными сообществом. Узнайте больше о Трино здесь.
  • Фигура кластера Trino теперь поддерживает автомасштабирование на основе нагрузки с выпуска 1.1.0
    • Trino в HDInsight на AKS теперь поддерживает автомасштабирование на основе нагрузки, что делает кластер более экономичным в плане затрат. Дополнительные сведения об этом здесь.
  • Фигура кластера Trino добавляет упрощенную конфигурацию хранилища метаданных hive и каталогов
    • HDInsight на AKS упростил настройку внешнего хранилища метаданных Hive для кластера Trino. Теперь можно указать внешнее хранилище метаданных в config.properties и включить его для каждого каталога с одним параметром. Узнайте больше об улучшениях .
  • Конфигурация кластера Trino добавляет шардированный коннектор SQL
  • Кластеры Flink теперь поддерживают Flink 1.17.0 из HDInsight в выпуске AKS 1.1.0
    • HDInsight в AKS теперь поддерживает выпуск Flink 1.17.0 с существенными улучшениями для контрольных точек, графиков пламени уровня подзадач, согласования водяных знаков. Дополнительные сведения о выпуске Flink 1.17 см. здесь
  • Flink SQL Gateway теперь поддерживается в HDInsight начиная с выпуска AKS 1.1.0 с кластерами сеансов Flink.

Исправления ошибок & CVEs

  • Этот выпуск включает несколько критически важных исправлений CVE на платформе и компонентах с открытым кодом.
  • Фигура кластера Trino исключает системные таблицы из кэширования автоматически
  • Фигура кластера Trino улучшает обработку часовых поясов Power BI

Известные проблемы

  • Ограничения на удостоверения рабочей нагрузки :
    • Существует известное ограничение при переходе на удостоверение рабочей нагрузки. Это связано с чувствительным к разрешениям характером операций FIC. Пользователи не могут выполнить удаление кластера, удалив группу ресурсов. Запросы на удаление кластера должны активироваться приложением, пользователем или субъектом с разрешениями FIC/delete. В случае сбоя удаления FIC удаление кластера высокого уровня также не удастся.

Новые регионы

  • Восточная Азия

Версия операционной системы

  • Mariner OS 2.0

версии рабочей нагрузки

Загруженность Версия
Трино 426
Flink 1.17.0
Apache Spark 3.3.1

поддерживаемые версии Java и Scala

Загруженность Ява Scala
Трино OpenJDK 17.0.7 - 
Flink OpenJDK 11.0.21 2.12.7
Искра OpenJDK 1.8.0_345 2.12.15

Предварительная версия доступна в следующих регионах .

Если у вас есть дополнительные вопросы, обратитесь в службу поддержки Azure или перейдите на страницу с параметрами поддержки. Если у вас есть отзывы, касающиеся конкретного продукта, напишите нам по адресу aka.ms/askhdinsight.

Дальнейшие действия

Дата выпуска: 13 декабря 2023 г.

Этот релиз исправлений применяется к следующим

  • Версия пула кластеров: 1.0
  • Версия кластера: 1.0.6

Известные проблемы

  • поддержка пользовательского интерфейса арендаторов

    • В этом выпуске устранена проблема, из-за которой url-адреса веб-адресов компонента с открытым исходным кодом для HDInsight в кластерах AKS были недоступны. Чтобы применить это исправление, обратитесь в службу поддержки Azure, чтобы включить эту функцию в подписке или клиенте.

    Как применить хотфикс

    • Повторное создание кластера
      • Чтобы применить это исправление, существующие пользователи должны вновь создать кластер в уже имеющемся пуле кластеров.

Версия операционной системы

  • Mariner OS 2.0

версии рабочей нагрузки

Загруженность Версия
Трино 410
Flink 1.16
Apache Spark 3.3.1

поддерживаемые версии Java и Scala

Загруженность Ява Scala
Трино OpenJDK 17.0.7 - 
Flink Open JDK 11.0.21 2.12.7
Искра Open JDK 1.8.0_345 2.12.15

Предварительная версия доступна в следующих регионах .

Если у вас есть дополнительные вопросы, обратитесь в службу поддержки Azure или перейдите на страницу вариантов поддержки.