HDInsight в AKS — часто задаваемые вопросы
В этой статье рассматриваются некоторые распространенные вопросы об Azure HDInsight в AKS.
Важный
Azure HDInsight на AKS прекратил работу 31 января 2025 г. Узнайте больше в этом объявлении.
Необходимо перенести рабочие нагрузки в Microsoft Fabric или эквивалентный продукт Azure, чтобы избежать резкого завершения рабочих нагрузок.
Важный
Эта функция сейчас доступна в предварительной версии. Дополнительные условия использования для предварительных версий Microsoft Azure включают дополнительные юридические термины, применимые к функциям Azure, которые находятся в бета-версии, в предварительной версии или в противном случае еще не выпущены в общую доступность. Для получения информации об этой конкретной предварительной версии, см. информацию о предварительной версии Azure HDInsight на AKS. Для вопросов или предложений по функциям отправьте запрос на AskHDInsight с подробными сведениями и следите за обновлениями в Azure HDInsight Community.
Общее
Что такое HDInsight в AKS?
HDInsight в AKS — это новая версия HDInsight, которая предоставляет корпоративную готовую управляемую кластерную службу с новыми проектами аналитики с открытым исходным кодом, такими как Apache Flink (для потоковой передачи), Trino (для аналитики adhoc и бизнес-аналитики) и Apache Spark. Для получения дополнительной информации см. обзор.
Какие форматы кластера поддерживает HDInsight на AKS?
HDInsight в AKS поддерживает Trino, Apache Flink и Apache Spark для начала. Однако другие фигуры кластера, такие как Kafka, Hive и т. д., находятся на схеме развития.
Как приступить к работе с HDInsight в AKS?
Чтобы приступить к работе, посетите Azure Marketplace и найдите Azure HDInsight в службе AKS, затем обратитесь к разделу «Начало работы».
Что происходит с существующим HDInsight на виртуальной машине и кластерами, которые я выполняю сегодня?
В существующем HDInsight (HDInsight на виртуальной машине) нет изменений. Все существующие кластеры продолжают работать, и вы можете продолжать создавать и масштабировать новые кластеры HDInsight.
Какая операционная система поддерживается в HDInsight на базе AKS?
HDInsight в AKS основан на ОС Mariner. Дополнительные сведения см. в версии ОС .
В каких регионах доступны HDInsight в AKS?
Для получения списка поддерживаемых регионов см. раздел доступности региона .
Каковы затраты на развертывание HDInsight в кластере AKS?
Дополнительные сведения о ценах см. в статье HDInsight по ценам AKS.
Управление кластерами
Можно ли одновременно запускать несколько кластеров?
Да, можно одновременно запускать столько кластеров, сколько требуется для каждого пула кластеров. Однако убедитесь, что вы не ограничены квотой для вашей подписки. Максимальное число узлов, разрешенных в пуле кластера, составляет 250 (в общедоступной предварительной версии).
Можно ли установить или добавить дополнительные подключаемые модули или библиотеки на моем кластере?
Да, можно установить пользовательские плагины и библиотеки в зависимости от форм кластера.
- Для Trino см. Установить пользовательские подключаемые модули.
- Для Spark см. сведения об управлении библиотеками вSpark.
Можно ли использовать SSH в кластере?
Да, вы можете подключиться к вашему кластеру через SSH с помощью webssh и выполнять запросы, а также отправлять задания непосредственно оттуда.
Метастор
Можно ли использовать внешнее хранилище метаданных для подключения к моему кластеру?
Да, можно использовать внешнее хранилище метаданных. Однако мы поддерживаем только базу данных SQL Azure как внешнее пользовательское хранилище метаданных.
Можно ли совместно использовать хранилище метаданных в нескольких кластерах?
Да, вы можете использовать единое хранилище метаданных для нескольких HDInsight в Azure Kubernetes Service (AKS).
Какая версия хранилища метаданных Hive поддерживается?
Хранилище метаданных Hive версии 3.1.2
Нагрузки
Трино
Что такое Trino?
Trino — это подсистема федеративных и распределенных запросов SQL с открытым кодом, которая позволяет запрашивать данные, размещенные в разных источниках данных, без перемещения в центральное хранилище данных. Вы можете запросить данные с помощью ANSI SQL, вам не нужно учиться на новом языке. Для получения дополнительных сведений см. в обзоре Trino .
Какие все соединители поддерживаются?
HDInsight в AKS Trino поддерживает несколько соединителей. Дополнительные сведения см. в этом списке соединителей Trino. Мы продолжаем добавлять новые соединители как и когда новые соединители доступны в версии с открытым исходным кодом.
Можно ли добавить каталоги в существующий кластер?
Да, в существующий кластер можно добавить поддерживаемые каталоги. Дополнительные сведения см. в разделе Добавление каталогов в существующий кластер.
Apache Flink
Что такое Apache Flink?
Apache Flink — это лучший аналитический модуль с открытым исходным кодом для потоковой обработки и выполнения вычислений с отслеживанием состояния по несвязанным и привязанным потокам данных. Он может выполнять вычисления со скоростью оперативной памяти и в любом масштабе. Flink в HDInsight на AKS предлагает управляемый сервис Apache Flink с открытым исходным кодом. Дополнительные сведения см. в обзоре Flink.
Поддерживается ли режим сеанса и приложения в Apache Flink?
В HDInsight в AKS Flink в настоящее время поддерживает кластеры в сеансовом режиме.
Что такое управление состоянием серверной части и как это осуществляется в HDInsight на AKS?
Бэкенды определяют, где хранится состояние. При активации контрольных точек состояние сохраняется на контрольных точках для защиты от потери данных и обеспечения последовательного восстановления. Как состояние представляется внутри системы, а также как и где оно сохраняется при контрольных точках, зависит от выбранного диспетчера состояния. Дополнительные сведения см. в обзоре Flink
Apache Spark
Что такое Apache Spark?
Apache Spark — это платформа обработки данных, которая может быстро выполнять задачи обработки больших наборов данных, а также распределять задачи обработки данных на нескольких компьютерах или в тандеме с другими распределенными вычислительными средствами.
Какие API языка поддерживаются в Spark?
Azure HDInsight в AKS поддерживает Python и Scala.
Поддерживается ли внешнее хранилище метаданных в HDInsight в AKS Spark?
HDInsight в AKS поддерживает подключение к внешнему хранилищу метаданных. В настоящее время только база данных SQL Azure поддерживается как внешнее хранилище метаданных.
Каковы различные способы отправки заданий в HDInsight в AKS Spark?
Задания можно отправлять в HDInsight в AKS Spark с помощью Jupyter Notebook, Zeppelin Notebook, пакета SDK и терминала кластера. Дополнительные сведения см. в статье Отправка заданий и управление ими в кластере Spark в HDInsight в AKS