Поделиться через

Заметки о выпуске в Azure HDInsight в AKS в архивных заметках о выпуске

  • Статья

Примечание.

Мы отставим Azure HDInsight в AKS 31 января 2025 г. До 31 января 2025 г. необходимо перенести рабочие нагрузки в Microsoft Fabric или эквивалентный продукт Azure, чтобы избежать резкого прекращения рабочих нагрузок. Оставшиеся кластеры в подписке будут остановлены и удалены из узла.

До даты выхода на пенсию будет доступна только базовая поддержка.

Внимание

Эта функция в настоящее время доступна для предварительного ознакомления. Дополнительные условия использования для предварительных версий Microsoft Azure включают более юридические термины, применимые к функциям Azure, которые находятся в бета-версии, в предварительной версии или в противном случае еще не выпущены в общую доступность. Сведения об этой конкретной предварительной версии см. в статье Azure HDInsight в предварительной версии AKS. Для вопросов или предложений функций отправьте запрос на AskHDInsight с подробными сведениями и следуйте за нами для получения дополнительных обновлений в сообществе Azure HDInsight.

Azure HDInsight в AKS является одной из самых популярных служб среди корпоративных клиентов для аналитики с открытым кодом в Azure. Если вы хотите подписаться на заметки о выпуске, перейдите в этот репозиторий GitHub.

Дата выпуска: 05 августа 2024 г.

Этот выпуск применяется к следующему

  • Версия пула кластеров: 1.2
  • Версия кластера: 1.2.1
  • ВЕРСИЯ AKS: 1.27

Новые возможности

Пользователи проверки подлинности SQL на основе MSI теперь могут пройти проверку подлинности внешнего хранилища метаданных БАЗЫ данных SQL Azure с помощью MSI вместо проверки подлинности пароля пользователя. Эта функция помогает защитить подключение кластера к хранилищу метаданных.

Настраиваемые номера SKU виртуальных машин для головного узла, узел SSH Эта функция позволяет пользователям выбирать определенные номера SKU для головных узлов, рабочих узлов и узлов SSH, предлагая гибкость выбора в соответствии с вариантом использования и потенциалом снижения общей стоимости владения (TCO).

Несколько MSI в кластере пользователи могут настроить несколько MSI для операций администраторов кластера и для доступа к ресурсам, связанным с заданием. Эта функция позволяет пользователям демаршировать и управлять доступом к кластеру и данным, которые хранятся в учетной записи хранения. Например, один MSI для доступа к данным в учетной записи хранения и выделенный MSI для операций кластера.

Обновлено

Действие скрипта скрипта теперь можно добавить с разрешением пользователя Sudo. Теперь пользователи могут установить несколько зависимостей, включая пользовательские JAR-модули, чтобы настроить кластеры по мере необходимости.

Функция ярлыка репозитория "Управление библиотеками Maven", добавленная в управление библиотеками в этом выпуске. Теперь пользователь может установить зависимости Maven непосредственно из репозиториев с открытым кодом.

Обновление Spark 3.4 Spark 3.4 содержит ряд новых функций.

  • Улучшения API
  • Усовершенствования структурированной потоковой передачи
  • Улучшенная удобство использования и возможности разработчика

Внимание

Чтобы воспользоваться всеми этими новейшими функциями, необходимо создать новый пул кластеров с версией 1.2 и кластером версии 1.2.1.

Известные проблемы

  • Ограничение удостоверения рабочей нагрузки:
    • При переходе на удостоверение рабочей нагрузки существует известное ограничение . Это ограничение обусловлено характером операций FIC с учетом разрешений. Пользователи не могут выполнить удаление кластера, удалив группу ресурсов. Запросы на удаление кластера должны активироваться приложением/ пользователем или субъектом с разрешениями FIC/delete. В случае сбоя удаления FIC удаление кластера высокого уровня также завершается ошибкой.
    • Поддержка управляемых удостоверений пользователей (UAMI) — существует ограничение в 20 FICs на UAMI. В удостоверении можно создать только 20 федеративных учетных данных. В HDInsight в кластере AKS FIC (учетные данные федеративного удостоверения) и SA имеют сопоставление "один к одному", а для MSI можно создать только 20 SAS. Если вы хотите создать больше кластеров, необходимо предоставить различные MSIs для преодоления ограничения.
    • Создание учетных данных федеративного удостоверения в настоящее время не поддерживается для управляемых удостоверений, назначенных пользователем, созданных в этих регионах.

Версия операционной системы

  • Mariner OS 2.0

Версии рабочей нагрузки

Рабочая нагрузка Версия
Трино 440
Flink 1.17.0
Apache Spark 3.4

Поддерживаемые версии Java и Scala

Рабочая нагрузка Java Scala
Трино Открытие JDK 21.0.2 - 
Flink Открытие JDK 11.0.21 2.12.7
Spark Открытие JDK 1.8.0_345 2.12.15

Предварительная версия доступна в следующих регионах.

Если у вас есть дополнительные вопросы, обратитесь в службу поддержки Azure или перейдите на страницу параметров поддержки. Если у вас есть отзывы о продукте, напишите нам на aka.ms/askhdinsight.

Дата выпуска: 20 марта 2024 г.

Этот выпуск применяется к следующему

  • Версия пула кластеров: 1.1
  • Версия кластера: 1.1.1
  • ВЕРСИЯ AKS: 1.27

Новые возможности

Кластер режима приложения Apache Flink

Кластеры в режиме приложения предназначены для поддержки выделенных ресурсов для больших и длительных заданий. При наличии ресурсоемких или обширных задач обработки данных можно использовать кластер режима приложения. Этот режим позволяет выделить выделенные ресурсы для конкретных приложений Apache Flink, обеспечивая эффективное использование вычислительных ресурсов и памяти для эффективной обработки больших рабочих нагрузок.

Дополнительные сведения см. в разделе "Режим приложения Apache Flink" в HDInsight в AKS.

Частные кластеры для HDInsight в AKS

С помощью частных кластеров и параметров исходящего кластера теперь можно управлять входящего трафика и исходящим трафиком из HDInsight в пулах и кластерах AKS.

  • Используйте Брандмауэр Azure или группы безопасности сети (NSG) для управления исходящим трафиком при выборе исходящего пула кластеров с подсистемой балансировки нагрузки.
  • Используйте пул исходящих кластеров с определяемой пользователем маршрутизацией для управления исходящим трафиком на уровне подсети.
  • Используйте функцию кластера Private AKS. Чтобы убедиться, что уровень управления AKS или сервер API имеет внутренние IP-адреса. Сетевой трафик между плоскостями управления AKS или сервером API и HDInsight в пулах узлов AKS (кластерах) остается только в частной сети.
  • Избегайте создания общедоступных IP-адресов для кластера. Используйте функцию частного входящего трафика в кластерах.

Дополнительные сведения см. в разделе "Управление сетевым трафиком из HDInsight" в пулах и кластерах кластера AKS.

Обновление на месте

Обновите кластеры и пулы кластеров с помощью последних обновлений программного обеспечения. Это означает, что вы можете наслаждаться последними исправлениями пакета кластера, обновлениями системы безопасности и исправлениями AKS без повторного создания кластеров. Дополнительные сведения см. в статье Об обновлении HDInsight в кластерах AKS и пулах кластеров.

Внимание

Чтобы воспользоваться всеми этими новейшими функциями, необходимо создать новый пул кластеров с версией 1.1 и кластером версии 1.1.1.

Известные проблемы

  • Ограничение удостоверения рабочей нагрузки:
    • При переходе на удостоверение рабочей нагрузки существует известное ограничение . Это ограничение обусловлено характером операций FIC с учетом разрешений. Пользователи не могут выполнить удаление кластера, удалив группу ресурсов. Запросы на удаление кластера должны активироваться приложением/ пользователем или субъектом с разрешениями FIC/delete. В случае сбоя удаления FIC удаление кластера высокого уровня также завершается ошибкой.
    • Поддержка управляемых удостоверений пользователей (UAMI) — существует ограничение в 20 FICs на UAMI. В удостоверении можно создать только 20 федеративных учетных данных. В HDInsight в кластере AKS FIC (учетные данные федеративного удостоверения) и SA имеют сопоставление "один к одному", а для MSI можно создать только 20 SAS. Если вы хотите создать больше кластеров, необходимо предоставить различные MSIs для преодоления ограничения.
    • Создание учетных данных федеративного удостоверения в настоящее время не поддерживается для управляемых удостоверений, назначенных пользователем, созданных в этих регионах.

Версия операционной системы

  • Mariner OS 2.0

Версии рабочей нагрузки

Рабочая нагрузка Версия
Трино 426
Flink 1.17.0
Apache Spark 3.3.1

Поддерживаемые версии Java и Scala

Рабочая нагрузка Java Scala
Трино Открытие JDK 17.0.7 - 
Flink Открытие JDK 11.0.21 2.12.7
Spark Открытие JDK 1.8.0_345 2.12.15

Предварительная версия доступна в следующих регионах.

Если у вас есть дополнительные вопросы, обратитесь в службу поддержки Azure или перейдите на страницу параметров поддержки. Если у вас есть отзывы о продукте, напишите нам на aka.ms/askhdinsight.

Дата выпуска: 05 февраля 2024 г.

Этот выпуск применяется к следующему

  • Версия пула кластеров: 1.1
  • Версия кластера: 1.1.0
  • ВЕРСИЯ AKS: 1.27

Совет

Чтобы создать новый кластер HDInsight в КЛАСТЕРе AKS в версии 1.1.0, необходимо создать новый пул кластеров с версией 1.1.

Новые возможности

  • Удостоверение рабочей нагрузки поддерживается по умолчанию для пулов кластеров в версии 1.1
  • Кластеры Trino поддерживают Trino 426 с выпуска 1.1.0
    • HDInsight в AKS теперь включает все изменения до Trino 426 с несколькими заметными улучшениями, предоставляемыми сообществом. Дополнительные сведения о Trino см. здесь.
  • Фигура кластера Trino теперь поддерживает автомасштабирование на основе нагрузки с выпуска 1.1.0
    • Trino в HDInsight в AKS теперь поддерживает автомасштабирование на основе нагрузки, что делает кластер более экономичным. Дополнительные сведения см. здесь.
  • Фигура кластера Trino добавляет упрощенную конфигурацию хранилища метаданных hive и каталогов
    • HDInsight в AKS упрощает внешнюю конфигурацию хранилища метаданных Hive для кластера Trino. Теперь можно указать внешнее хранилище метаданных в config.properties и включить его для каждого каталога с одним параметром. Дополнительные сведения о усовершенствованиях см. здесь.
  • Фигура кластера Trino добавляет сегментированные соединители SQL
  • Кластеры Flink теперь поддерживают Flink 1.17.0 из HDInsight в выпуске AKS 1.1.0
    • HDInsight в AKS теперь поддерживает выпуск Flink 1.17.0 с значительными улучшениями для контрольных точек, графа пламени уровня подзадач, выравнивания водяного знака. Дополнительные сведения о выпуске Flink 1.17 здесь
  • Теперь шлюз Flink SQL поддерживается из HDInsight в выпуске AKS 1.1.0 с кластерами сеансов Flink

Исправления ошибок и CVEs

  • Этот выпуск включает несколько критически важных исправлений CVE на платформе и открытый код компонентов.
  • Фигура кластера Trino исключает системные таблицы из кэширования автоматически
  • Фигура кластера Trino улучшает обработку часовых поясов Power BI

Известные проблемы

  • Ограничение удостоверения рабочей нагрузки:
    • При переходе на удостоверение рабочей нагрузки существует известное ограничение . Это связано с характером операций FIC с учетом разрешений. Пользователи не могут выполнить удаление кластера, удалив группу ресурсов. Запросы на удаление кластера должны активироваться приложением/ пользователем или субъектом с разрешениями FIC/delete. В случае сбоя удаления FIC удаление кластера высокого уровня также завершится ошибкой.

Новые регионы

  • Восточная Азия

Версия операционной системы

  • Mariner OS 2.0

Версии рабочей нагрузки

Рабочая нагрузка Версия
Трино 426
Flink 1.17.0
Apache Spark 3.3.1

Поддерживаемые версии Java и Scala

Рабочая нагрузка Java Scala
Трино Открытие JDK 17.0.7 - 
Flink Открытие JDK 11.0.21 2.12.7
Spark Открытие JDK 1.8.0_345 2.12.15

Предварительная версия доступна в следующих регионах.

Если у вас есть дополнительные вопросы, обратитесь в службу поддержки Azure или перейдите на страницу параметров поддержки. Если у вас есть отзывы о продукте, напишите нам на aka.ms/askhdinsight.

Следующие шаги

Дата выпуска: 13 декабря 2023 г.

Этот выпуск исправлений применяется к следующему

  • Версия пула кластеров: 1.0
  • Версия кластера: 1.0.6

Известные проблемы

  • Поддержка пользовательского интерфейса безопасных клиентов

    • В этом выпуске устранена проблема, из-за которой url-адреса веб-адресов компонента открытый код для HDInsight в кластерах AKS недоступны. Чтобы применить это исправление, обратитесь к поддержка Azure, чтобы включить это в подписке или клиенте.

    Как применить исправление

    • Повторное создание кластера
      • Чтобы применить это исправление, существующие пользователи должны повторно создать кластер в существующем пуле кластеров.

Версия операционной системы

  • Mariner OS 2.0

Версии рабочей нагрузки

Рабочая нагрузка Версия
Трино 410
Flink 1.16
Apache Spark 3.3.1

Поддерживаемые версии Java и Scala

Рабочая нагрузка Java Scala
Трино Открытие JDK 17.0.7 - 
Flink Открытие JDK 11.0.21 2.12.7
Spark Открытие JDK 1.8.0_345 2.12.15

Предварительная версия доступна в следующих регионах.

Если у вас есть дополнительные вопросы, обратитесь в службу поддержки Azure или перейдите на страницу параметров поддержки.