Creación de un clúster de Apache Flink® en HDInsight en AKS con Azure Portal
Importante
Azure HDInsight en AKS se retiró el 31 de enero de 2025. Descubra más con este anuncio.
Debe migrar las cargas de trabajo a microsoft Fabric o un producto equivalente de Azure para evitar la terminación repentina de las cargas de trabajo.
Importante
Esta característica está actualmente en versión preliminar. Los Términos de uso complementarios para las versiones preliminares de Microsoft Azure incluyen más términos legales que se aplican a las características de Azure que se encuentran en versión beta, en versión preliminar o, de lo contrario, aún no se han publicado en disponibilidad general. Para obtener información sobre esta versión preliminar específica, consulte información de la versión preliminar de Azure HDInsight en AKS. Para preguntas o sugerencias de características, envíe una solicitud en AskHDInsight con los detalles y síganos para obtener más actualizaciones sobre la Comunidad de Azure HDInsight.
Complete los pasos siguientes para crear un clúster de Apache Flink en Azure Portal.
Prerrequisitos
Complete los requisitos previos en las secciones siguientes:
- Requisitos previos para la suscripción
- requisitos previos de recursos
- Crear un grupo de clústeres
Importante
- Para crear un clúster en un nuevo grupo de clústeres, asigne el rol MSI "Managed Identity Operator" de AKS en la identidad administrada asignada por el usuario creada como parte del requisito previo del recurso. En caso de que tenga permisos necesarios, este paso se automatiza durante la creación.
- La identidad administrada del grupo de agentes de AKS se crea durante la creación del grupo de clústeres. Puede identificar la identidad administrada del grupo de agentes de AKS por (nombre del grupo de clústeres)-agentpool. Siga estos pasos para asignar el rol.
Creación de un clúster de Apache Flink
Los clústeres de Flink se pueden crear una vez completada la implementación del grupo de clústeres, vamos a seguir los pasos en caso de que empiece a trabajar con un grupo de clústeres existente.
En el portal de Azure, escriba grupos de clústeres de HDInsight/HDInsight en AKS y seleccione Azure HDInsight en AKS para ir a la página de grupos de clústeres. En la página Grupos de clústeres de HDInsight en AKS, seleccione el grupo de clústeres en el que desea crear un nuevo clúster de Flink.
En la página grupo de clústeres específico, haga clic en + Nuevo clúster y proporcione la siguiente información:
Propiedad Descripción Suscripción Este campo se rellena automáticamente con la suscripción de Azure registrada para el grupo de clústeres. Grupo de recursos Este campo se rellena automáticamente y muestra el grupo de recursos en el grupo de clústeres. Región Este campo se rellena automáticamente y muestra la región seleccionada en el grupo de clústeres. Grupo de clústeres Este campo se rellena automáticamente y muestra el nombre del grupo de clústeres en el que se crea el clúster. Para crear un clúster en otro grupo, busque ese grupo de clústeres en el portal y haga clic en + Nuevo clúster. HDInsight en la versión del Pool de AKS Este campo se rellena automáticamente y muestra la versión del grupo de clústeres en la que se crea el clúster. HDInsight en la versión de AKS Seleccione la versión secundaria o de revisión de HDInsight en AKS del nuevo clúster. Tipo de clúster En la lista desplegable, seleccione Flink. Nombre del clúster Escriba el nombre del nuevo clúster. Identidad administrada asignada por el usuario En la lista desplegable, seleccione la identidad administrada que se va a usar con el clúster. Si es el propietario de la Managed Service Identity (MSI) y la MSI no tiene el rol de Operador de Identidades Gestionadas en el clúster, haga clic en el enlace debajo del cuadro para asignar el permiso necesario desde el grupo de agentes de AKS a la MSI. Si msi ya tiene los permisos correctos, no se muestra ningún vínculo. Consulte los requisitos previos para ver otras asignaciones de funciones necesarias para el MSI. Cuenta de almacenamiento En la lista desplegable, seleccione la cuenta de almacenamiento que se va a asociar al clúster de Flink y especifique el nombre del contenedor. A la identidad administrada se le otorga acceso a la cuenta de almacenamiento especificada mediante el rol "Propietario de datos de blobs de almacenamiento" en el momento de la creación del clúster. Red virtual Red virtual del clúster. Subred Subred virtual del clúster. Habilitación del catálogo de Hive para Flink SQL en.
Propiedad Descripción Uso del catálogo de Hive Habilite esta opción para usar un metastore de Hive externo. SQL Database para Hive En la lista desplegable, seleccione la instancia de SQL Database en la que se van a agregar tablas de hive-metastore. Nombre de usuario del administrador de SQL Escriba el nombre de usuario de administrador de SQL Server. Metastore usa esta cuenta para comunicarse con SQL Database. Almacén de claves En la lista desplegable, seleccione Key Vault, que contiene un secreto con contraseña para el nombre de usuario de administrador de SQL Server. Es necesario configurar una directiva de acceso con todos los permisos necesarios, como permisos de clave, permisos secretos y permisos de certificado en msi, que se usa para la creación del clúster. MSI necesita tener el rol de Administrador de Key Vault; agregue los permisos necesarios mediante IAM. Nombre del secreto de contraseña de SQL Introduzca el nombre del secreto del Key Vault donde se almacena la contraseña de la base de datos SQL. 
Nota
De forma predeterminada, usamos la cuenta de Storage para el catálogo de Hive igual que la cuenta de almacenamiento y el contenedor usados durante la creación del clúster.
Seleccione Siguiente: configuración para continuar.
En la página de configuración , proporcione la siguiente información:
Propiedad Descripción Tamaño del nodo Seleccione el tamaño del nodo que se va a usar para los nodos de Flink, tanto los nodos principal como los nodos de trabajo. Número de nodos Seleccione el número de nodos para el clúster de Flink; de forma predeterminada, los nodos principales son dos. El ajuste de tamaño de los nodos de trabajo ayuda a determinar las configuraciones del administrador de tareas para Flink. El administrador de trabajos y el servidor de historial están en nodos principales. En la sección configuración del servicio, proporcione la siguiente información:
Propiedad Descripción CPU del administrador de tareas Entero. Escriba el tamaño de las CPU del administrador de tareas (en núcleos). Memoria del administrador de tareas en MB Escriba el tamaño de memoria del administrador de tareas en MB. Min de 1800 MB. CPU del administrador de trabajos Entero. Escriba el número de CPU para el administrador de trabajos (en núcleos). Memoria del administrador de trabajos en MB Escriba el tamaño de memoria en MB. Mínimo de 1800 MB. CPU del servidor de historial Entero. Escriba el número de CPU para el administrador de trabajos (en núcleos). Memoria del servidor de historial en MB Escriba el tamaño de memoria en MB. Mínimo de 1800 MB. captura de pantalla de
Nota
- El servidor de historial se puede habilitar o deshabilitar según sea necesario.
- La escalabilidad automática basada en programación se admite en Flink. Puede programar el número de nodos de trabajo según sea necesario. Por ejemplo, está habilitado un escalado automático basado en programación con el número predeterminado de nodos de trabajo como 3. Y durante los días laborables de 9:00 UTC a 20:00 UTC, los nodos de trabajo están programados para ser 10. Más adelante en el día, debe establecerse de forma predeterminada en 3 nodos ( entre las 20:00 UTC al día siguiente 09:00 UTC ). Durante los fines de semana de 9:00 UTC a 20:00 UTC, los nodos de trabajo son 4.
En la sección Auto Scale & SSH, actualice lo siguiente:
Propiedad Descripción Escalado automático Tras la selección, podrá elegir la escalabilidad automática basada en programación para configurar la programación para las operaciones de escalado. Habilitación de SSH Tras la selección, puede optar por el número total de nodos SSH necesarios, que son los puntos de acceso de la CLI de Flink mediante Secure Shell. El número máximo de nodos SSH permitidos es 5. 
Haga clic en el botón Siguiente: Integración para continuar con la página siguiente.
En la página Integration, proporcione la siguiente información:
Propiedad Descripción Análisis de Registros Esta característica solo está disponible si el grupo de clústeres tiene asociado el área de trabajo de Log Analytics, una vez habilitados los registros que se van a recopilar se pueden seleccionar. Azure Prometheus Esta característica consiste en ver información y registros directamente en el clúster mediante el envío de métricas y registros al área de trabajo de Azure Monitor. captura de pantalla de
Haga clic en el botón Siguiente: Etiquetas para continuar con la página siguiente.
En la página etiquetas, proporcione la siguiente información:
Propiedad Descripción Nombre Opcional. Escriba un nombre como HDInsight en AKS para identificar fácilmente todos los recursos asociados a los recursos del clúster. Valor Puede dejar esto en blanco. Recurso Seleccione Todos los recursos seleccionados. Seleccione Siguiente: Revisar + crear para continuar.
En la página Revisar y crear, busque el mensaje Validación exitosa en la parte superior de la página y luego haga clic en Crear.
La implementación está en proceso, y se muestra la página en la que se crea el clúster. La creación del clúster tarda entre 5 y 10 minutos. Una vez creado el clúster, se muestra el "Se ha completado la implementación" mensaje. Si se aleja de la página, puede consultar sus notificaciones para conocer el estado actual.
Nota
Los nombres de proyecto de código abierto asociados, Apache, Apache Flink, y Flink son marcas comerciales de la Apache Software Foundation (ASF).