Что нового в HDInsight на AKS? (предварительная версия)
Важный
Azure HDInsight на AKS снято с эксплуатации 31 января 2025 г. Узнайте больше об этом объявлении.
Необходимо перенести рабочие нагрузки в Microsoft Fabric или эквивалентный продукт Azure, чтобы избежать резкого завершения рабочих нагрузок.
Важный
Эта функция сейчас доступна в предварительной версии. Дополнительные условия использования для предварительных версий Microsoft Azure включают дополнительные юридические термины, применимые к функциям Azure, которые находятся в бета-версии, в предварительной версии или в противном случае еще не выпущены в общую доступность. Сведения об этой конкретной предварительной версии см. в Azure HDInsight в предварительной версии AKS. Для вопросов или предложений по функциям, пожалуйста, отправьте запрос на AskHDInsight с подробностями и подписывайтесь на обновления в Azure HDInsight Community.
В HDInsight на AKS все операции по управлению кластерами имеют встроенную поддержку управления службами на портале Azure для каждого отдельного кластера.
В HDInsight на AKS были введены два новых понятия:
- пулы кластеров используются для группировки кластеров и управления ими.
- кластеры используются для вычислений с открытым кодом, они размещаются в пуле кластеров.
Пулы кластеров
HDInsight на базе AKS работает в службе Azure Kubernetes (AKS). Ресурс верхнего уровня — это пул кластеров и управляет всеми кластерами, работающими в одном кластере AKS. При создании пула кластеров базовый кластер AKS создается одновременно для размещения всех кластеров в пуле. Пулы кластеров — это логическая группа кластеров, которая помогает создавать надежную совместимость между несколькими типами кластеров и позволяет предприятиям иметь кластеры в одной виртуальной сети. Пулы кластеров обеспечивают быстрый и экономичный доступ ко всем типам кластеров, созданным по требованию и в масштабе. Один пул кластеров соответствует одному кластеру в инфраструктуре AKS.
Кластеры
Кластеры — это отдельные вычислительные рабочие нагрузки с открытым исходным кодом, такие как Apache Spark, Apache Flink и Trino, которые можно быстро создавать в течение нескольких минут с предварительно настроенными конфигурациями и несколькими щелчками мыши. Хотя он работает в одном пуле кластеров, каждый кластер может иметь собственные конфигурации, такие как тип кластера, версия, размер виртуальной машины узла, количество узлов. Кластеры выполняются на отдельных вычислительных ресурсах с собственными DNS и конечными точками.
Функции в настоящее время в предварительной версии
В следующей таблице показаны функции HDInsight в AKS, которые в настоящее время находятся в предварительной версии. Предварительные версии функций отсортированы по алфавиту.
| Площадь | Функции |
|---|---|
| Основы | создание пула и кластеров с помощью портала, поддержки веб-безопасной оболочки (ssh), возможность выбора количества рабочих узлов во время создания кластера |
| Хранение | Поддержка хранения ADLS Gen2 |
| Хранилище метаданных | Поддержка внешнего хранилища метаданных для Trino, Spark и Flink, интеграция с HDInsight |
| Безопасность | Поддержка ARM RBAC, поддержка аутентификации на основе MSI, возможность предоставления пользователям доступа к кластеру |
| Ведение журнала и мониторинг | Агрегирование журналов в Azure log analyticsдля журналов серверов, метрик кластеров и служб с помощью Managed Prometheus и Grafana, поддержка метрик серверов в Azure Monitor, страница "Состояние службы" для мониторинга работоспособности службы |
| Автомасштабирование | Автомасштабирование по нагрузкеи автомасштабирование на основе расписания |
| Персонализация и конфигурация кластеров | Поддержка действий скриптов во время создания кластера, поддержка управления библиотекой , настройка параметров службы после создания кластера. |
| Трино | Поддержка каталогов Trino, поддержка интерфейса командной строки Trino , поддержка DBeaver для отправки запросов; добавление или удаление плагинов и соединителей , поддержка журналирования событий , поддержка статистики сканирования запросов для любого соединителя на панели управления Trino, поддержка панели Trino для мониторинга запросов, кэширование запросов , интеграция с Power BI, интеграция с Apache Superset , Redash, поддержка нескольких соединителей . |
| Flink | Поддержка собственного веб-интерфейса Flink, поддержка Flink с помощью HMS для DStream, отправка заданий в кластер с помощью REST API и портала Azure, запуск программ, упакованных в виде JAR-файлов, с помощью Flink CLI, поддержка постоянных точек сохранения, поддержка обновления параметров конфигурации при выполнении задания, подключение к нескольким службам Azure: Azure Cosmos DB, Azure Databricks, Azure Data Explorer, Azure Event Hubs, Azure IoT Hub, Azure Pipelines, Диспетчер оркестрации рабочих процессов Azure Data Factory, HDInsight Kafka, отправка заданий в кластер с помощью Flink CLI и CDC с Flink. |
| Искра | Jupyter Notebook, поддержка Delta lake 2.0, поддержка Zeppelin, поддержка ATS, поддержка интерфейса сервера журнала Yarn, отправка заданий с помощью SSH, отправка заданий с помощью пакета SDK и записной книжки машинного обучения |
План разработки функций
| Особенность | Предполагаемая временная шкала выпуска | Статус |
|---|---|---|
| Автомасштабирование — основанное на нагрузке — Trino | первый квартал 2024 года | Завершено |
| Автоматическое масштабирование с учетом нагрузки и перестановок для Spark | 2-й квартал 2024 года | В процессе |
| обновление без переустановки | второй квартал 2024 года | Завершено |
| Поддержка зарезервированного экземпляра | 2-й квартал 2024 года | В процессе |
| Проверка подлинности на основе MSI для хранилища метаданных (SQL) | 1-й квартал 2024 года | В процессе |
| Spark 3.4 | 2-й квартал 2024 года | В процессе |
| Трино 426 | 1 квартал 2024 года | Завершено |
| Ranger для RBAC | 2 квартал 2024 года | В процессе |
| Поддержка режима приложения для Flink | 1-й квартал 2024 года | Завершено |
| Flink 1.17 | первый квартал 2024 года | Завершено |
| Поддержка Spark ACID | 1 квартал 2024 года | В процессе |
| Настраиваемые номера SKU для Headnode, SSH | 2 квартал 2024 | В процессе |
| Поддержка шлюза SQL Flink | 1-й квартал 2024 года | Завершено |
| Частные кластеры для HDInsight на AKS | 1 квартал 2024 | Завершено |
| Поддержка Ranger для Spark SQL | 4-й квартал 2024 года | В процессе |
| Списки управления доступом Ranger на уровне хранилища | 4-й квартал 2024 года | В процессе |
| Поддержка One Lake в качестве основного контейнера | 2-й квартал 2024 года | В процессе |