Novedades de HDInsight en AKS (Versión preliminar)
Importante
Azure HDInsight en AKS se retiró el 31 de enero de 2025. Obtenga más información con este anuncio.
Debe migrar las cargas de trabajo a microsoft Fabric o un producto equivalente de Azure para evitar la terminación repentina de las cargas de trabajo.
Importante
Esta característica está actualmente en versión preliminar. Los Términos de uso complementarios para las versiones preliminares de Microsoft Azure incluyen más términos legales que se aplican a las características de Azure que se encuentran en versión beta, en versión preliminar o, de lo contrario, aún no se han publicado en disponibilidad general. Para obtener información sobre esta versión preliminar específica, consulte información de la versión preliminar de Azure HDInsight en AKS. Para preguntas o sugerencias de características, envíe una solicitud en AskHDInsight con los detalles y síganos para obtener más actualizaciones sobre Azure HDInsight Community.
En HDInsight en AKS, todas las operaciones y administración de clústeres tienen compatibilidad nativa con administración de servicios en Azure Portal para clústeres individuales.
En HDInsight en AKS, se presentan dos nuevos conceptos:
- los grupos de clústeres se usan para agrupar y administrar clústeres.
- Clústeres se usan para computaciones de código abierto, se hospedan en una agrupación de clústeres.
Grupos de clústeres
HDInsight en AKS se ejecuta en Azure Kubernetes Service (AKS). El recurso de nivel superior es el grupo de clústeres y administra todos los clústeres que se ejecutan en el mismo clúster de AKS. Al crear un grupo de clústeres, se crea un clúster de AKS subyacente al mismo tiempo para hospedar todos los clústeres del grupo. Los grupos de clústeres son una agrupación lógica de clústeres, lo que ayuda a crear una interoperabilidad sólida en varios tipos de clúster y permite a las empresas tener los clústeres en la misma red virtual. Los grupos de clústeres proporcionan acceso rápido y rentable a todos los tipos de clúster creados a petición y a escala. Un grupo de clústeres corresponde a un clúster en la infraestructura de AKS.
Grupos
Los clústeres son cargas de trabajo de proceso de código abierto individuales, como Apache Spark, Apache Flink y Trino, que se pueden crear rápidamente en pocos minutos con configuraciones preestablecidas y pocos clics. Aunque se ejecuta en el mismo grupo de clústeres, cada clúster puede tener sus propias configuraciones, como el tipo de clúster, la versión, el tamaño de máquina virtual del nodo, el número de nodos. Los clústeres se ejecutan en recursos de proceso separados con su propio DNS y puntos de conexión.
Características actualmente en versión preliminar
En la siguiente lista de tablas se muestran las características de HDInsight en AKS que se encuentran actualmente en versión preliminar. Las características de vista previa se ordenan alfabéticamente.
| Área | Funciones |
|---|---|
| Fundamentos | Creación de Pool y clústeres mediante el portal, compatibilidad con el acceso seguro web (ssh), capacidad para elegir el número de nodos de trabajo durante la creación del clúster |
| Almacenamiento | ADLS Gen2 Storage soporte |
| Metastore | Compatibilidad con metastore externo para Trino, Spark y Flink, Integración con HDInsight |
| Seguridad | Compatibilidad con RBAC de ARM, compatibilidad con la autenticación basada en MSI, opción para proporcionar acceso al clúster a otros usuarios |
| Registro y supervisión | Agregación de registros en Azure log analytics, para registros de servidor, métricas de clúster y servicio a través de Managed Prometheus y Grafana, Compatibilidad con las métricas del servidor en Azure Monitor, página Estado del servicio para supervisar el estado del servicio |
| Escalado automático | Carga basada en , escalado automático, y programación basada en , escalado automático |
| Personalización y configuración de clústeres | Compatibilidad con acciones de script de durante la creación del clúster, compatibilidad con la administración de bibliotecas de , y configuración de los ajustes del servicio de después de la creación del clúster. |
| Trino | Compatibilidad con catálogos de Trino , compatibilidad con la CLI de Trino , compatibilidad con DBeaver para el envío de consultas, Agregar o quitar complementos y conectores , Compatibilidad con el registro de eventos de consulta , Compatibilidad con el análisis de estadísticas de consultas para cualquier conector en el panel de Trino, Compatibilidad con el panel de Trino para supervisar consultas, almacenamiento en caché de consultas , Integración con Power BI, Integración con Apache Superset , Redash, Compatibilidad con múltiples conectores |
| Flink | Compatibilidad con la interfaz de usuario web nativa de Flink, compatibilidad con Flink con HMS para DStream, Envío de trabajos al clúster mediante API REST y Azure Portal, Ejecución de programas empaquetados como archivos JAR a través de la CLI de Flink, Compatibilidad con puntos de guardado persistentes, Compatibilidad con la actualización de las opciones de configuración cuando se ejecuta el trabajo, Conexión a varios servicios de Azure: azure Cosmos DB, Azure Databricks, Azure Data Explorer, Azure Event Hubs, Azure IoT Hub, Azure Pipelines, Azure Data Factory Workflow Orchestration Manager, HDInsight Kafka, Submit jobs to the cluster using Flink CLI and CDC with Flink with Flink |
| Chispa | Jupyter Notebook, compatibilidad con Delta Lake 2.0, soporte técnico de Zeppelin, soporte técnico de ATS, compatibilidad con la interfaz del servidor de historial de Yarn, envío de trabajos mediante SSH, envío de trabajos mediante SDK y Notebook de Machine Learning |
Hoja de ruta de características
| Característica | Escala de tiempo de lanzamiento estimada | Estado |
|---|---|---|
| Escalado automático basado en carga de Trino | Q1 2024 | Completado |
| Escalado automático basado en la carga aleatoria para Spark | Q2 2024 | En curso |
| Actualización en el lugar | Q2 2024 | Completado |
| Soporte para instancias reservadas | Q2 2024 | En curso |
| Autenticación basada en MSI para Metastore (SQL) | Q1 2024 | En curso |
| Spark 3.4 | Segundo trimestre de 2024 | En curso |
| Trino 426 | 1er trimestre de 2024 | Completado |
| Ranger para RBAC | Segundo Trimestre de 2024 | En curso |
| Compatibilidad del modo de aplicación de para Flink | Q1 2024 | Completado |
| Flink 1.17 | Q1 2024 | Completado |
| Compatibilidad con Spark ACID | Q1 2024 | En curso |
| SKU configurables para Headnode, SSH | 2.º trimestre de 2024 | En curso |
| Soporte de la gateway SQL de Flink | Primer trimestre 2024 | Completado |
| Clústeres Privados para HDInsight en AKS | Q1 2024 | Completado |
| Compatibilidad de Ranger con Spark SQL | cuarto trimestre de 2024 | En curso |
| ACL de Ranger en la capa de almacenamiento | Cuarto trimestre de 2024 | En curso |
| Compatibilidad con One Lake como contenedor principal | segundo trimestre de 2024 | En curso |