Clúster del modo de aplicación de Apache Flink en HDInsight en AKS
Importante
Azure HDInsight en AKS se retiró el 31 de enero de 2025. Aprenda más con el anuncio.
Debe migrar las cargas de trabajo a microsoft Fabric o un producto equivalente de Azure para evitar la terminación repentina de las cargas de trabajo.
Importante
Esta característica está actualmente en versión preliminar. Los Términos de uso complementarios para las versiones preliminares de Microsoft Azure incluyen más términos legales que se aplican a las características de Azure que se encuentran en versión beta, en versión preliminar o, de lo contrario, aún no se han publicado en disponibilidad general. Para obtener información sobre esta versión preliminar específica, consulte información de la versión preliminar de Azure HDInsight en AKS. Para preguntas o sugerencias de características, envíe una solicitud en AskHDInsight con los detalles y síganos para obtener más actualizaciones sobre Comunidad de Azure HDInsight.
HDInsight en AKS ahora ofrece un clúster de modo de aplicación de Flink. Este clúster le permite administrar el ciclo de vida del modo de aplicación Flink de clúster mediante Azure portal con una interfaz fácil de usar y las REST APIs de Administración de recursos de Azure. Los clústeres de modo de aplicación están diseñados para admitir trabajos de gran tamaño y de larga duración con recursos dedicados y controlar tareas de procesamiento de datos intensivas o extensas.
Este modo de implementación le permite asignar recursos dedicados para aplicaciones de Flink específicas, lo que garantiza que tienen suficiente potencia informática y memoria para controlar cargas de trabajo de gran tamaño de forma eficaz.
Ventajas
Implementación simplificada del clúster con Job jar.
API REST fácil de usar: HDInsight en AKS proporciona una API REST de ARM fácil de usar para administrar operaciones de trabajos en modo de aplicación, como actualizar, punto de guardado, cancelar, y eliminar.
Fácil de administrar actualizaciones de trabajos y administración de estado: la integración nativa de Azure Portal proporciona una experiencia sin problemas para actualizar trabajos y restaurarlos a su último estado guardado (punto de guardado). Esta funcionalidad garantiza la continuidad y la integridad de los datos a lo largo del ciclo de vida del trabajo.
Automatización de trabajos de Flink mediante Azure Pipelines u otras herramientas de CI/CD: Con HDInsight en AKS, los usuarios de Flink tienen acceso a la API REST de ARM fácil de usar y pueden integrar sin problemas las operaciones de trabajo de Flink en Azure Pipelines u otras herramientas de CI/CD.
Características clave
Detener e iniciar trabajos con puntos de guardado: los usuarios pueden detener e iniciar correctamente sus trabajos de AppMode de Flink desde su estado anterior (Savepoint). Los puntos de guardado garantizan que se conserve el progreso del trabajo, lo que permite reanudaciones sin problemas.
Actualizaciones de Tareas: el usuario puede actualizar la tarea de AppMode en ejecución después de actualizar el archivo jar en la cuenta de almacenamiento. Esta actualización toma automáticamente el punto de guardado e inicia la tarea de AppMode con un nuevo archivo jar.
Actualizaciones Sin Estado: realizar un reinicio completo para una tarea AppMode se simplifica a través de actualizaciones sin estado. Esta característica permite a los usuarios iniciar un reinicio limpio mediante el archivo jar de trabajo actualizado.
Savepoint Management: En cualquier momento, los usuarios pueden crear puntos de guardado para sus trabajos en ejecución. Estos puntos de guardado se pueden enumerar y usar para reiniciar el trabajo desde un punto de control específico según sea necesario.
Cancelar: cancela el trabajo de forma permanente.
Eliminar: Eliminar clúster de AppMode.
Creación de un clúster de aplicación de Flink
Prerrequisitos
Completar los requisitos previos en las secciones siguientes:
Agregue el archivo 'jar' de tareas en la cuenta de almacenamiento.
Antes de configurar un clúster del modo de aplicación de Flink, se requieren varios pasos preparatorios. Uno de estos pasos implica colocar el archivo JAR del trabajo en App Mode en la cuenta de almacenamiento del clúster.
Cree un directorio para el archivo JAR de trabajo del modo de aplicación:
Dentro de los contenedores dedicados, cree un directorio donde suba el archivo JAR del trabajo del Modo Aplicación. Este directorio actúa como ubicación para almacenar archivos JAR que desea incluir en la ruta de clases del clúster o trabajo de Flink.
Directorio de puntos de guardado (opcional)
Si los usuarios tienen la intención de tomar puntos de guardado durante la ejecución del trabajo, deben crear un directorio independiente dentro de la cuenta de almacenamiento para almacenar estos puntos de guardado. Este directorio solía usarse para almacenar metadatos y datos de punto de control para los puntos de guardado.
Estructura de directorios de ejemplo:
Creación de un clúster en modo de aplicación de Flink
Los clústeres de AppMode de Flink se pueden crear una vez completada la implementación del grupo de clústeres, vamos a seguir los pasos en caso de que empiece a trabajar con un grupo de clústeres existente.
En Azure Portal, escriba grupos de clústeres de HDInsight/HDInsight/HDInsight en AKS y seleccione Azure HDInsight en grupos de clústeres de AKS para ir a la página grupos de clústeres. En la página Grupos de clústeres de HDInsight en AKS, seleccione el grupo de clústeres en el que desea crear un nuevo clúster de Flink.
En la página grupo de clústeres específico, haga clic en + Nuevo clúster y proporcione la siguiente información:
Propiedad Descripción Suscripción Este campo se rellena automáticamente con la suscripción de Azure registrada para el Pool de Clústeres. Grupo de recursos Este campo se rellena automáticamente y muestra el grupo de recursos en el conjunto de clústeres. Región Este campo rellena automáticamente y muestra la región seleccionada en el grupo de clústeres. Grupo de clústeres Este campo se rellena automáticamente y muestra el nombre del grupo de clústeres en el que el clúster se está creando ahora. Para crear un clúster en otro grupo, busque el grupo de clústeres en el portal y haga clic en + Nuevo clúster. HDInsight en la versión del grupo de AKS Este campo rellena automáticamente y muestra la versión del grupo de clústeres en la que se crea el clúster. HDInsight en la versión de AKS Seleccione la versión menor o de revisión de HDInsight para AKS del nuevo clúster. Tipo de clúster En la lista desplegable, seleccione Flink. Nombre del clúster Escriba el nombre del nuevo clúster. Identidad administrada asignada por el usuario En la lista desplegable, seleccione la identidad administrada que se va a usar con el clúster. Si es el propietario de Managed Service Identity (MSI) y el MSI no tiene el rol de Operador de Identidad Administrada en el clúster, haga clic en el vínculo situado debajo del cuadro para asignar el permiso necesario desde la MSI del grupo de agentes de AKS. Si msi ya tiene los permisos correctos, no se muestra ningún vínculo. Consulte los requisitos previos para otras asignaciones de funciones necesarias para el MSI. Cuenta de almacenamiento En la lista desplegable, seleccione la cuenta de almacenamiento que se va a asociar al clúster de Flink y especifique el nombre del contenedor. A la identidad administrada se le concede acceso a la cuenta de almacenamiento especificada mediante el rol "Propietario de datos de blob de almacenamiento" al crear el clúster. Red virtual Red virtual del clúster. Subred Subred virtual del clúster. Habilitación del catálogo de Hive para Flink SQL:
Propiedad Descripción Uso del catálogo de Hive Habilite esta opción para usar un metastore de Hive externo. Base de Datos SQL para Hive En la lista desplegable, seleccione la instancia de SQL Database en la que se van a agregar tablas de hive-metastore. Nombre de usuario del administrador de SQL Escriba el nombre de usuario de administrador de SQL Server. Metastore usa esta cuenta para comunicarse con SQL Database. Bóveda de claves En la lista desplegable, seleccione Key Vault, que contiene un secreto con contraseña para el nombre de usuario de administrador de SQL Server. Debe configurar una directiva de acceso con todos los permisos necesarios, como permisos de clave, permisos secretos y permisos de certificado en msi, que se usa para la creación del clúster. Msi necesita un rol de administrador de Key Vault. Agregue los permisos necesarios mediante IAM. Nombre del secreto de contraseña de SQL Escriba el nombre del secreto del Key Vault donde se almacena la contraseña de la base de datos SQL. 
Nota
De forma predeterminada, usamos la cuenta de almacenamiento para el catálogo de Hive igual que la cuenta de almacenamiento y el contenedor usados durante la creación del clúster.
Seleccione Siguiente: Configuración para continuar.
En la página Configuración, proporcione la siguiente información:
Propiedad Descripción Tamaño del nodo Seleccione el tamaño del nodo que se va a usar para los nodos de Flink, tanto los nodos principal como los nodos de trabajo. Número de nodos Seleccione el número de nodos para el clúster de Flink; de forma predeterminada, los nodos principales son dos. El ajuste de tamaño de los nodos de trabajo ayuda a determinar las configuraciones del administrador de tareas para Flink. El administrador de trabajos y los servidores de historial están en nodos principales. En la sección Implementación, elija Tipo de implementación como Modo de aplicación proporcione la siguiente información:
Propiedad Descripción Ruta de acceso JAR Proporcione la ruta de acceso de ABFS (Storage) para el archivo jar del trabajo. Por ejemplo, abfs://flink@teststorage.dfs.core.windows.net/appmode/job.jarClase de entrada (opcional) Clase principal para el clúster del modo de aplicación. Por ejemplo: com.microsoft.testjob Argumentos (opcional) El argumento para la clase principal de tu trabajo. Nombre del punto de guardado Nombre del punto de guardado antiguo, que desea usar para iniciar el trabajo Modo de actualización Seleccione la opción Actualizar predeterminada. Esta opción se usa cuando se está produciendo la actualización de la versión principal para el clúster. Hay tres opciones disponibles. UPDATE: Se usa cuando un usuario quiere recuperar desde el último punto de guardado después de la actualización. STATELESS_UPDATE: Se usa cuando un usuario quiere un nuevo reinicio del trabajo después de la actualización. LAST_STATE_UPDATE: Se usa cuando un usuario quiere recuperar el trabajo del último punto de control después de la actualización Configuración del trabajo de Flink Agregue más configuración necesaria para el trabajo de Flink. Seleccione "Agregación de registro de trabajos". Active la casilla si desea cargar el registro de trabajo en el almacenamiento remoto. Ayuda a depurar los problemas del trabajo. La ubicación predeterminada del registro de trabajos es "StorageAccount/Container/DeploymentId/logs". Puede cambiar el directorio de registro predeterminado configurando "pipeline.remote.log.dir". El intervalo predeterminado para la recopilación de registros es de 600 segundos. El usuario puede cambiar configurando "pipeline.log.aggregation.interval".
En la sección Configuración del servicio, proporcione la siguiente información:
Propiedad Descripción CPU del administrador de tareas Entero. Escriba el tamaño de las CPU del administrador de tareas (en núcleos). Memoria del administrador de tareas en MB Escriba el tamaño de memoria del administrador de tareas en MB. Min de 1800 MB. CPU del administrador de trabajos Entero. Escriba el número de CPU para el administrador de trabajos (en núcleos). Memoria del administrador de trabajos en MB Escriba el tamaño de memoria en MB. Mínimo de 1800 MB. CPU del servidor de historial Entero. Escriba el número de CPU para el administrador de trabajos (en núcleos). Memoria del servidor de historial en MB Escriba el tamaño de memoria en MB. Mínimo de 1800 MB. 
Haga clic en el botón Siguiente: Integración para continuar con la página siguiente.
En la página Integración, proporcione la siguiente información:
Propiedad Descripción Analítica de registros Esta característica solo está disponible si se puede seleccionar el área de trabajo de Log Analytics asociada al grupo de clústeres, una vez habilitados los registros que se van a recopilar. Azure Prometheus Esta característica consiste en ver información y registros directamente en el clúster mediante el envío de métricas y registros al área de trabajo de Azure Monitor. 
Haga clic en el botón Siguiente: Etiquetas para continuar con la página siguiente.
En la página Etiquetas, proporcione la siguiente información:
Propiedad Descripción Nombre Opcional. Escriba un nombre como HDInsight en AKS para identificar fácilmente todos los recursos asociados a los recursos del clúster. Valor Puede dejar esto en blanco. Recurso Seleccione Todos los recursos seleccionados. Seleccione Siguiente: Revisar y crear para continuar.
En la página Revisar y crear, busque el mensaje de Validación exitosa en la parte superior de la página y, a continuación, haga clic en Crear.
En la página Implementación en proceso se muestra el clúster que se crea. La creación del clúster tarda entre 5 y 10 minutos. Una vez creado el clúster, se muestra el mensaje "Su implementación está completa". Si se aleja de la página, puede comprobar el estado actual de sus notificaciones.
Gestionar trabajo de aplicación desde el portal
HDInsight AKS proporciona maneras de administrar trabajos de Flink. Puede volver a iniciar un trabajo fallido. Reinicie el trabajo desde el portal.
Para ejecutar el trabajo de Flink desde el portal, vaya a:
Portal > HDInsight en la piscina de clústeres de AKS >, la configuración del clúster de Flink >, trabajos de Flink >.
Detener: el proceso de parada no requería ningún parámetro. El usuario puede detener el trabajo seleccionando la acción. Una vez detenido el trabajo, el estado del trabajo en el portal se detendrá.
Inicio: inicia el trabajo desde el punto de guardado. Para iniciar el trabajo, seleccione el trabajo detenido e inícielo.
Actualización: la actualización ayuda a reiniciar trabajos con código de trabajo actualizado. Los usuarios deben actualizar el archivo jar de trabajo más reciente en la ubicación de almacenamiento y actualizar el trabajo desde el portal. Esta acción detiene el trabajo con savepoint e inicia de nuevo con el archivo jar más reciente.
Stateless Update: 'Stateless' es similar a una actualización, pero implica un nuevo reinicio del trabajo con el código más reciente. Una vez que se actualiza el trabajo, el estado del trabajo en el portal aparece como En ejecución.
Savepoint: tome el punto de guardado para el trabajo de Flink.
Cancelar: terminar el trabajo.
Eliminar: elimine el clúster de AppMode.
Ver detalles del trabajo: para ver los detalles del trabajo, el usuario puede hacer clic en el nombre del trabajo, lo que proporciona información sobre el trabajo y el resultado de la última acción.
Para cualquier acción con error, esta vista json proporciona excepciones detalladas y motivos para el error.