Поделиться через


Заметки о выпуске Azure HDInsight в AKS

Примечание.

Мы отставим Azure HDInsight в AKS 31 января 2025 г. До 31 января 2025 г. необходимо перенести рабочие нагрузки в Microsoft Fabric или эквивалентный продукт Azure, чтобы избежать резкого прекращения рабочих нагрузок. Оставшиеся кластеры в подписке будут остановлены и удалены из узла.

До даты выхода на пенсию будет доступна только базовая поддержка.

Внимание

Эта функция в настоящее время доступна для предварительного ознакомления. Дополнительные условия использования для предварительных версий Microsoft Azure включают более юридические термины, применимые к функциям Azure, которые находятся в бета-версии, в предварительной версии или в противном случае еще не выпущены в общую доступность. Сведения об этой конкретной предварительной версии см. в статье Azure HDInsight в предварительной версии AKS. Для вопросов или предложений функций отправьте запрос на AskHDInsight с подробными сведениями и следуйте за нами для получения дополнительных обновлений в сообществе Azure HDInsight.

В этой статье содержатся сведения о последних обновлениях выпуска AZURE HDInsight в AKS. Дополнительные сведения о более ранних выпусках см . в заметках о выпуске AZURE HDInsight в архивных заметках о выпуске AKS. Если вы хотите подписаться на заметки о выпуске, перейдите в этот репозиторий GitHub.

Итоги

HDInsight в AKS — это современная, надежная, безопасная и полностью управляемая платформа как услуга (PaaS), которая работает на Служба Azure Kubernetes (AKS). HDInsight в AKS позволяет развертывать популярные рабочие нагрузки Open-Source Analytics, такие как Apache Spark™, Apache Flink®️ и Trino без затрат на управление контейнерами и мониторинг.

Вы можете создавать комплексные приложения больших данных, масштабируемые петабайты, охватывающие потоковую передачу через Apache Flink, проектирование данных и машинное обучение с помощью Apache Spark и мощного обработчика запросов Trino.

Все эти возможности в сочетании с HDInsight на сильном фокусе разработчика AKS позволяют предприятиям и цифровым языкам иметь глубокий технический опыт для создания и эксплуатации приложений, которые подходят для своих потребностей. HDInsight в AKS позволяет разработчикам получать доступ ко всем богатым конфигурациям, предоставляемым программным обеспечением с открытым исходным кодом, и расширяемостью, чтобы легко включить другие предложения экосистемы. Это предложение позволяет разработчикам тестировать и настраивать свои приложения, чтобы извлечь оптимальную производительность при оптимальной стоимости.

Примечание.

Сведения о hdInsight для управления версиями и поддержке AKS см. в схеме управления версиями.

Вы можете ознакомиться с новой страницей всех сведений о функциях, которые в настоящее время находятся в общедоступной предварительной версии для этого выпуска.

Внимание

HDInsight в AKS использует безопасные методики развертывания, которые включают постепенное развертывание региона. Для нового выпуска или новой версии в всех регионах может потребоваться до 10 рабочих дней.

Информация о выпуске

Дата выпуска: 05 сентября 2024 г.

Этот выпуск применяется к следующему

  • Версия пула кластеров: 1.2
  • Версия кластера: 1.2.1
  • ВЕРСИЯ AKS: 1.27

Обновлено

Последняя версия API выглядит следующим образом.

https://github.com/Azure/azure-rest-api-specs/blob/main/specification/hdinsight/resource-manager/Microsoft.HDInsight/HDInsightOnAks/preview/2024-05-01-preview/hdinsight.json.

Внимание

Чтобы воспользоваться всеми этими новейшими функциями, необходимо создать новый пул кластеров с версией 1.2 и кластером версии 1.2.1.

Известные проблемы

  • Ограничение удостоверения рабочей нагрузки:
    • При переходе на удостоверение рабочей нагрузки существует известное ограничение . Это ограничение обусловлено характером операций FIC с учетом разрешений. Пользователи не могут выполнить удаление кластера, удалив группу ресурсов. Запросы на удаление кластера должны активироваться приложением/ пользователем или субъектом с разрешениями FIC/delete. В случае сбоя удаления FIC удаление кластера высокого уровня также завершается ошибкой.
    • Поддержка управляемых удостоверений пользователей (UAMI) — существует ограничение в 20 FICs на UAMI. В удостоверении можно создать только 20 федеративных учетных данных. В HDInsight в кластере AKS FIC (учетные данные федеративного удостоверения) и SA имеют сопоставление "один к одному", а для MSI можно создать только 20 SAS. Если вы хотите создать больше кластеров, необходимо предоставить различные MSIs для преодоления ограничения.
    • Создание учетных данных федеративного удостоверения в настоящее время не поддерживается для управляемых удостоверений, назначенных пользователем, созданных в этих регионах.

Версия операционной системы

  • Mariner OS 2.0

Версии рабочей нагрузки

Рабочая нагрузка Версия
Трино 440
Flink 1.17.0
Apache Spark 3.4

Поддерживаемые версии Java и Scala

Рабочая нагрузка Java Scala
Трино Открытие JDK 21.0.2
Flink Открытие JDK 11.0.21 2.12.7
Spark Открытие JDK 1.8.0_345 2.12.15

Предварительная версия доступна в следующих регионах.

Если у вас есть дополнительные вопросы, обратитесь в службу поддержки Azure или перейдите на страницу параметров поддержки. Если у вас есть отзывы о продукте, напишите нам на aka.ms/askhdinsight.

Следующие шаги