Что такое HDInsight в AKS? (предварительная версия)

Важный

Azure HDInsight на AKS будет прекращено 31 января 2025 г. Узнайте больше о в этом объявлении.

Необходимо перенести рабочие нагрузки в Microsoft Fabric или эквивалентный продукт Azure, чтобы избежать резкого завершения рабочих нагрузок.

Важный

Эта функция сейчас доступна в предварительной версии. Дополнительные условия использования для предварительных версий Microsoft Azure включают дополнительные юридические термины, применимые к функциям Azure, которые находятся в бета-версии, в предварительной версии или в противном случае еще не выпущены в общую доступность. Сведения об этой конкретной предварительной версии Azure HDInsight на AKS см. в . Для вопросов или предложений функций отправьте запрос на AskHDInsight с подробными сведениями и следуйте за дополнительными обновлениями в Azure HDInsight Community.

HDInsight в AKS — это современная, надежная, безопасная и полностью управляемая платформа как услуга (PaaS), которая работает в службе Azure Kubernetes (AKS). HDInsight в AKS позволяет развертывать популярные аналитические задачи Open-Source, такие как Apache Spark™, Apache Flink®️ и Trino, без дополнительной нагрузки на управление и мониторинг контейнеров.

Вы можете создавать комплексные приложения больших данных петабайтов, охватывающие потоковую передачу через Apache Flink, инженерию данных и машинное обучение с помощью Apache Spark и мощного обработчика запросов Trino.

Все эти возможности в совокупности с HDInsight и сильной ориентацией AKS на разработчиков позволяют предприятиям и цифровым аборигенам с глубоким техническим опытом создавать и управлять приложениями, подходящими для их потребностей. HDInsight в AKS позволяет разработчикам получать доступ ко всем богатым конфигурациям, предоставляемым программным обеспечением с открытым исходным кодом, и расширяемостью, чтобы легко включить другие предложения экосистемы. Это предложение позволяет разработчикам тестировать и настраивать свои приложения, чтобы извлечь оптимальную производительность при оптимальной стоимости.

HDInsight в AKS интегрируется со всей экосистемой Azure, сокращая циклы реализации и повышая время для реализации ценности.

Техническая архитектура

HDInsight в AKS представляет концепцию пулов кластеров и кластеров, что позволяет реализовать полное значение озера данных. Пулы кластеров позволяют использовать несколько вычислительных рабочих нагрузок в одном озере данных, тем самым удаляя затраты на управление сетями и планирование ресурсов.

• пулы кластеров — это логическая группировка кластеров, которые помогают создавать надежную совместимость между несколькими типами кластеров и позволяют предприятиям иметь кластеры в одной виртуальной сети. Пулы кластеров обеспечивают быстрый и экономичный доступ ко всем типам кластеров, созданным по требованию и в масштабе. Один пул кластеров соответствует одному кластеру в инфраструктуре AKS.
• кластеры являются отдельными вычислительными рабочими нагрузками, такими как Apache Spark, Apache Flink и Trino, которые можно быстро создавать в течение нескольких минут с предварительно настроенными конфигурациями.

Пул можно создать с одним кластером или сочетанием типов кластеров, которые основаны на необходимости и могут настроить следующие параметры:

• Хранение
• Сеть
• Лесозаготовка
• Контроль

На следующей схеме показана логическая техническая архитектура компонентов, установленных в пуле кластеров по умолчанию. Кластеры изолированы с помощью пространств имен в кластерах AKS.

Модернизация облачной вычислительной платформы

Последняя версия HDInsight управляется с помощью AKS, что позволяет платформе быть более надежным и эффективно обрабатывать кластеры. Подготовка кластеров на HDInsight на AKS выполняется быстро и надежно, что упрощает управление кластерами и выполнять обновления на месте. Благодаря широкому выбору SKU и гибким моделям подписок, модернизации озера данных с помощью открытого кода, облачной и масштабируемой инфраструктуры в HDInsight в AKS можно удовлетворить все ваши потребности в аналитике.

Основные характеристики включают:

• Быстрое создание и масштабирование кластера.
• Простота обслуживания и периодических обновлений системы безопасности.
• Устойчивость кластера на основе современных облачных AKS.
• Встроенная поддержка современной проверки подлинности с помощью OAuth и идентификатора Microsoft Entra.
• Глубокая интеграция со службами Azure — Фабрика данных Azure (ADF), Power BI, Azure Monitor.

Подключение к HDInsight

HDInsight на AKS может бесперебойно работать с HDInsight. Вы можете извлечь преимущества из использования необходимых типов кластеров в гибридной модели. Взаимодействуйте с типами кластеров HDInsight, используя единое хранилище и мета-хранилище в обоих вариантах.

HDInsight предоставляет Apache Kafka®, Apache HBase® и другие аналитические рабочие нагрузки в форме предоставления Platform as a Service (PaaS).

схема подключения

Поддерживаются следующие сценарии:

• Подключение Apache Flink к Apache HBase
• Подключение Apache Flink к Apache Kafka
• Подключение Apache Spark к Apache HBase
• Подключение Apache Spark к Apache Kafka

Архитектура безопасности

HDInsight в AKS по умолчанию является безопасным. Она позволяет предприятиям защищать корпоративные ресурсы данных с помощью виртуальной сети Azure, шифрования и интеграции с идентификатором Microsoft Entra. Он также соответствует самым популярным отраслевым и государственным стандартам соответствия, поддерживающим стандарты Azure. С более чем 30 сертификациями, которые помогают защитить данные вместе с периодическими обновлениями, уведомлениями помощника по работоспособности служб, аналитикой работоспособности служб, а также лучшими стандартами безопасности Azure в классе. HDInsight в AKS предлагает несколько методов для решения потребностей корпоративной безопасности по умолчанию. Для получения дополнительной информации см. раздел о безопасности HDInsight на AKS.

схема

Доступность региона (общедоступная предварительная версия)

Азиатско-Тихоокеанский регион

• Восточная Австралия
• Центральная Индия
• Восточная Азия
• Восточная Япония
• Центральная Корея
• Юго-Восточная Азия

Европа

• Центральная Франция
• Северная Европа
• Восточная Норвегия
• Северная Швейцария
• Южная Часть Великобритании
• Западная Европа

Америки

• Южная Бразилия
• Центральная Канада
• Центральная часть США
• Восточная часть США
• Восточная часть США 2
• Восточная часть США 2 EUAP
• Южная часть США
• Западная часть США
• Западная часть США 2
• Западная часть США 3

Заметка

• Бренд и товарные знаки Trino принадлежат и управляются Trino Software Foundation. Никакое одобрение Trino Software Foundation не подразумевается использованием этих меток.
• Apache Spark, Spark и логотип Spark являются товарными знаками Apache Software Foundation (ASF).
• Apache, Apache Kafka, Kafka и логотип Kafka являются товарными знаками Apache Software Foundation (ASF).
• Apache, Apache Flink, Flink и логотип Flink являются товарными знаками Apache Software Foundation (ASF).
• Apache HBase, HBase и логотип HBase являются товарными знаками Apache Software Foundation (ASF).
• Apache®, Apache Spark™, Apache HBase®, Apache Kafka® и Apache Flink® являются зарегистрированными товарными знаками или товарными знаками Apache Software Foundation в США и/или других странах. Никакое одобрение Apache Software Foundation не подразумевается с помощью этих меток.