Notas de versiones archivadas de Azure HDInsight en AKS
Importante
Azure HDInsight en AKS se retiró el 31 de enero de 2025. Obtenga más información con este anuncio.
Debe migrar las cargas de trabajo a microsoft Fabric o un producto equivalente de Azure para evitar la terminación repentina de las cargas de trabajo.
Importante
Esta característica está actualmente en versión preliminar. Los Términos de uso complementarios para las versiones preliminares de Microsoft Azure incluyen más términos legales que se aplican a las características de Azure que se encuentran en versión beta, en versión preliminar o, de lo contrario, aún no se han publicado en disponibilidad general. Para obtener información sobre esta versión preliminar específica, consulte Información sobre la versión preliminar de Azure HDInsight en AKS. Para preguntas o sugerencias de características, envíe una solicitud en AskHDInsight con los detalles y síganos para obtener más actualizaciones sobre Comunidad de Azure HDInsight.
Azure HDInsight en AKS es uno de los servicios más populares entre los clientes empresariales para el análisis de código abierto en Azure. Si desea suscribirse a las notas de la versión, siga las publicaciones en este repositorio de GitHub .
Fecha de lanzamiento: 05 de agosto de 2024
Esta versión se aplica a los siguientes
- Versión de la piscina de clústeres: 1.2
- Versión del clúster: 1.2.1
- Versión de AKS: 1.27
Nuevas características
autenticación de SQL basada en MSI Los usuarios ahora pueden autenticar el metastore externo de Azure SQL DB con MSI en lugar de utilizar la autenticación con contraseña de identificador de usuario. Esta característica ayuda a proteger aún más la conexión de clúster con Metastore.
SKU configurables de máquina virtual para nodo principal, nodo SSH Esta funcionalidad permite a los usuarios elegir SKU específicas para nodos principales, nodos de trabajo y nodos SSH, lo que ofrece la flexibilidad de seleccionar según el caso de uso y la posibilidad de reducir el costo total de propiedad (TCO).
varios MSI en el clúster Los usuarios pueden configurar múltiples MSI para las operaciones de administradores de clúster y para el acceso a recursos relacionados con tareas específicas. Esta característica permite a los usuarios delimitar y controlar el acceso al clúster y a los datos que se encuentra en la cuenta de almacenamiento. Por ejemplo, una MSI para el acceso a los datos de la cuenta de almacenamiento y una MSI dedicada para las operaciones del clúster.
Actualizado
Acción de script Acción de script ahora se puede agregar con el permiso de usuario de Sudo. Los usuarios ahora pueden instalar varias dependencias, incluidos los archivos jar personalizados, para personalizar los clústeres según sea necesario.
Administración de Bibliotecas Funcionalidad de acceso directo al repositorio de Maven añadida a la Administración de Bibliotecas en esta versión. El usuario ahora puede instalar dependencias de Maven directamente desde los repositorios de código abierto.
La actualización de Spark 3.4 trae una variedad de características nuevas.
- Mejoras de API
- Mejoras de streaming estructurado
- Mejora de la facilidad de uso y la experiencia del desarrollador
Importante
Para beneficiarse de todas estas características más recientes, debe crear un nuevo grupo de clústeres con la versión 1.2 y la versión 1.2.1 del clúster.
Problemas conocidos
- Limitación de la identidad de carga de trabajo :
- Hay una conocida limitación de al realizar la transición a identidad de carga de trabajo. Esta limitación se debe a la naturaleza sensible a los permisos de las operaciones FIC. Los usuarios no pueden realizar la eliminación de un clúster mediante la eliminación del grupo de recursos. Las solicitudes de eliminación de clústeres deben desencadenarse mediante la aplicación, el usuario o la entidad principal con permisos FIC/delete. En caso de que falle el borrado de FIC, también fallará el borrado del clúster de nivel superior.
- Soporte para las identidades administradas asignadas por el usuario (UAMI): hay un límite de 20 FIC por UAMI. Solo puede crear 20 credenciales federadas en una identidad. En HDInsight en el clúster de AKS, FIC (credencial de identidad federada) y SA tienen una asignación uno a uno y solo se pueden crear 20 SA en una MSI. Si desea crear más clústeres, debe proporcionar diferentes MSIs para superar la limitación.
- Actualmente, no se admite la creación de credenciales de identidad federada en las identidades administradas asignadas por el usuario, creadas en estas regiones .
Versión del sistema operativo
- Mariner OS 2.0
versiones de carga de trabajo
| Carga de trabajo | Versión |
|---|---|
| Trino | 440 |
| Flink | 1.17.0 |
| Apache Spark | 3.4 |
versiones de Java y Scala admitidas
| Carga de trabajo | Java | Scala |
|---|---|---|
| Trino | Abra JDK 21.0.2 | - |
| Flink | OpenJDK 11.0.21 | 2.12.7 |
| Chispa | OpenJDK 1.8.0_345 | 2.12.15 |
La versión preliminar está disponible en las siguientes regiones de .
Si tiene más preguntas, póngase en contacto con Soporte de Azure o consulte la página opciones de soporte técnico. Si tiene comentarios específicos del producto, escríbanos en aka.ms/askhdinsight.
Fecha de lanzamiento: 20 de marzo de 2024
Esta versión se aplica a los siguientes
- Versión del grupo de clústeres: 1.1
- Versión del clúster: 1.1.1
- Versión de AKS: 1.27
Nuevas características
clúster del modo de aplicación de Apache Flink
Los clústeres de modo de aplicación están diseñados para admitir recursos dedicados para trabajos grandes y de larga duración. Cuando tenga tareas de procesamiento de datos intensivas o extensas, puede usar el clúster de Modo de Aplicación . Este modo le permite asignar recursos dedicados para aplicaciones específicas de Apache Flink, lo que garantiza que tienen la potencia informática y la memoria necesarias para controlar cargas de trabajo grandes de forma eficaz.
Para más información, consulte clúster del modo de aplicación de Apache Flink en HDInsight en AKS.
Clústeres privados para HDInsight en AKS
Con los clústeres privados y la configuración del clúster de salida, ahora puede controlar el tráfico de entrada y salida desde HDInsight en grupos de clústeres de AKS.
- Utilice Azure Firewall o Grupos de Seguridad de Red (NSGs) para controlar el tráfico de salida, cuando opte por usar el grupo de clústeres de salida con el equilibrador de carga.
- Use el grupo de clústeres salientes con enrutamiento definido por el usuario para controlar el tráfico de salida en el nivel de subred.
- Uso de la característica de clúster de AKS privado: para asegurarse de que el plano de control de AKS o el servidor de API tenga direcciones IP internas. El tráfico de red entre el plano de control o el servidor de API de AKS y HDInsight en grupos de nodos (clústeres) de AKS permanece solo en la red privada.
- Evite crear direcciones IP públicas para el clúster. Use la característica de entrada privada en los clústeres.
Para obtener más información, consulte Control del tráfico de red de HDInsight en los grupos de clúster de AKS y clúster.
Actualización in situ
Actualice los clústeres y los grupos de clústeres con las actualizaciones de software más recientes. Esto significa que puede disfrutar de las revisiones más recientes del paquete de clúster, las actualizaciones de seguridad y las revisiones de AKS, sin volver a crear clústeres. Para obtener más información, consulte Actualice su HDInsight en clústeres de AKS y grupos de clústeres.
Importante
Para beneficiarse de todas estas características más recientes, debe crear un nuevo grupo de clústeres con la versión 1.1 y la versión del clúster 1.1.1.
Problemas conocidos
- limitación de identidad de carga de trabajo de :
- Hay una limitación conocida de al transicionar a la identidad laboral. Esta limitación se debe a la naturaleza sensible a los permisos de las operaciones FIC. Los usuarios no pueden realizar la eliminación de un clúster mediante la eliminación del grupo de recursos. Las solicitudes de eliminación de clústeres deben desencadenarse mediante la aplicación, el usuario o la entidad de seguridad con permisos FIC/delete. Si falla la eliminación de FIC, también fallará la eliminación del clúster de alto nivel.
- compatibilidad con identidades administradas asignadas por el usuario (UAMI): hay un límite de 20 FIC por UAMI. Solo puede crear 20 credenciales federadas en una identidad. En HDInsight en el clúster de AKS, FIC (credencial de identidad federada) y SA tienen una asignación uno a uno y solo se pueden crear 20 SA en una MSI. Si desea crear más clústeres, debe proporcionar diferentes MSIs para superar la limitación.
- Actualmente no se admite la creación de credenciales de identidad federada en identidades gestionadas asignadas por el usuario creadas en estas regiones
Versión del sistema operativo
- Mariner OS 2.0
versiones de carga de trabajo
| Carga de trabajo | Versión |
|---|---|
| Trino | 426 |
| Flink | 1.17.0 |
| Apache Spark | 3.3.1 |
versiones de Java y Scala admitidas
| Carga de trabajo | Java | Scala |
|---|---|---|
| Trino | Abra JDK 17.0.7 | - |
| Flink | OpenJDK 11.0.21 | 2.12.7 |
| Chispa | OpenJDK 1.8.0_345 | 2.12.15 |
La versión preliminar está disponible en las siguientes regiones de .
Si tiene más preguntas, póngase en contacto con el soporte técnico de Azure o consulte la página de opciones de soporte técnico . Si tiene comentarios específicos del producto, escríbanos a aka.ms/askhdinsight.
Fecha de lanzamiento: 05 de febrero de 2024
Esta versión se aplica a los siguientes
- Versión del grupo de clústeres: 1.1
- Versión del clúster: 1.1.0
- Versión de AKS: 1.27
Propina
Para crear un nuevo clúster de HDInsight en AKS en la versión 1.1.0, debe crear un nuevo grupo de clústeres con la versión 1.1.
Nuevas características
- Identidad de Carga de Trabajo se admite de forma predeterminada para los pools de clústeres en la versión 1.1
- Los clústeres de Trino admiten Trino 426 desde la versión 1.1.0
- HDInsight en AKS ahora incluye todos los cambios hasta Trino 426 con varias mejoras importantes proporcionadas por la comunidad. Obtenga más información sobre Trino aquí.
- La forma del clúster de Trino ahora admite la escalabilidad automática basada en carga de la versión 1.1.0
- La forma del clúster de Trino agrega una configuración simplificada para el metastore y los catálogos de Hive.
- HDInsight en AKS ha simplificado la configuración externa del Hive metastore para el clúster de Trino. Ahora puede especificar metastore externo en config.properties y habilitarlo para cada catálogo con un solo parámetro. Obtenga más información sobre las mejoras aquí.
- La forma del clúster de Trino agrega un conector sql particionado
- Los clústeres de Flink ahora admiten Flink 1.17.0 desde HDInsight en la versión de AKS 1.1.0
- HDInsight en AKS ahora admite la versión 1.17.0 de Flink, con importantes mejoras en los puntos de control, el gráfico de flamas a nivel de subtarea y la alineación de marcas de agua. Obtenga más información sobre la versión de Flink 1.17 aquí
- Flink SQL Gateway ahora es compatible desde HDInsight en la versión 1.1.0 de AKS con clústeres de sesión de Flink.
Correcciones de errores & CVEs
- Esta versión incluye varias correcciones de CVE críticas en toda la plataforma y componentes de código abierto.
- La forma del clúster de Trino excluye automáticamente el almacenamiento en caché de tablas del sistema
- La forma del clúster de Trino mejora el control de zonas horarias de la marca de tiempo de Power BI
Problemas conocidos
- Limitación de la identidad de carga de trabajo :
- Hay una limitación de conocida al realizar la transición a la identidad de la carga de trabajo. Esto se debe a la naturaleza sensible a los permisos de las operaciones FIC. Los usuarios no pueden realizar la eliminación de un clúster mediante la eliminación del grupo de recursos. Las solicitudes de eliminación de clústeres deben ser iniciadas por la aplicación, usuario o entidad de seguridad con permisos FIC/delete. En caso de que falle la eliminación del FIC, también fallará la eliminación del clúster de alto nivel.
Nuevas regiones
- Asia Oriental
Versión del sistema operativo
- Mariner OS 2.0
versiones de de carga de trabajo
| Carga de trabajo | Versión |
|---|---|
| Trino | 426 |
| Flink | 1.17.0 |
| Apache Spark | 3.3.1 |
versiones de Java y Scala admitidas
| Carga de trabajo | Java | Scala |
|---|---|---|
| Trino | Abra JDK 17.0.7 | - |
| Flink | Open JDK 11.0.21 | 2.12.7 |
| Chispa | Open JDK 1.8.0_345 | 2.12.15 |
La versión preliminar está disponible en las siguientes regiones de .
Si tiene más preguntas, póngase en contacto con el soporte técnico de Azure o consulte la página de opciones de soporte . Si tiene comentarios específicos del producto, escríbanos en aka.ms/askhdinsight.
Pasos siguientes
Fecha de lanzamiento: 13 de diciembre de 2023
Esta corrección rápida se aplica al siguiente
- Versión del conjunto de clústeres: 1.0
- Versión del clúster: 1.0.6
Problemas conocidos
Compatibilidad con la interfaz de usuario de arrendatarios seguros
- Esta versión soluciona un problema por el que las direcciones URL web del componente de código abierto para HDInsight en clústeres de AKS no eran accesibles. Para aplicar esta corrección, póngase en contacto con el soporte técnico de Azure para habilitarlo en su suscripción o inquilino.
Cómo aplicar el Hotfix
- Volver a crear el clúster
- Para aplicar esta revisión, los usuarios existentes deben volver a crear su clúster en un grupo de clústeres existente.
Versión del sistema operativo
- Mariner OS 2.0
versiones de carga de trabajo
| Carga de trabajo | Versión |
|---|---|
| Trino | 410 |
| Flink | 1.16 |
| Apache Spark | 3.3.1 |
versiones de Java y Scala admitidas
| Carga de trabajo | Java | Scala |
|---|---|---|
| Trino | Abra JDK 17.0.7 | - |
| Flink | OpenJDK 11.0.21 | 2.12.7 |
| Chispa | OpenJDK 1.8.0_345 | 2.12.15 |
La versión preliminar está disponible en las siguientes regiones de .
Si tiene más preguntas, póngase en contacto con el soporte técnico de Azure o consulte la página de opciones de soporte técnico .