Administración de configuración de Apache Flink® en HDInsight en AKS

Importante

Azure HDInsight en AKS se retiró el 31 de enero de 2025. Obtenga más información con este anuncio.

Debe migrar las cargas de trabajo a microsoft Fabric o un producto equivalente de Azure para evitar la terminación repentina de las cargas de trabajo.

Importante

Esta característica está actualmente en versión preliminar. Los Términos de uso complementarios para las versiones preliminares de Microsoft Azure incluyen más términos legales que se aplican a las características de Azure que se encuentran en versión beta, en versión preliminar o, de lo contrario, aún no se han publicado en disponibilidad general. Para obtener información sobre esta versión preliminar específica, consulte información de la versión preliminar de Azure HDInsight en AKS. Para preguntas o sugerencias de características, envíe una solicitud en AskHDInsight con los detalles y siganos para obtener más actualizaciones sobre comunidad de Azure HDInsight.

HDInsight en AKS proporciona un conjunto de configuraciones predeterminadas de Apache Flink para la mayoría de las propiedades y algunas basadas en perfiles de aplicación comunes. Sin embargo, si necesita ajustar las propiedades de configuración de Flink para mejorar el rendimiento de ciertas aplicaciones que utilizan configuraciones de estado, paralelismo o memoria, puede cambiar la configuración de trabajo de Flink mediante la Sección de Trabajos de Flink en HDInsight en el clúster de AKS.

1. Vaya a Configuración > trabajos de Flink > Haga clic en Actualizar.

   

2. Haga clic en + Agregar una fila para editar la configuración.

   

   Aquí se cambia el intervalo de punto de control en nivel de clúster.

3. Actualice los cambios haciendo clic en Aceptar y, a continuación, Guardar.

4. Una vez guardadas, las nuevas configuraciones se actualizan en unos minutos (~5 minutos).

5. Configuraciones, que se pueden actualizar mediante los ajustes de gestión de configuraciones.

   processMemory size:

6. La configuración predeterminada para el tamaño de memoria del proceso de o del administrador de trabajos y el administrador de tareas sería la memoria configurada por el usuario durante la creación del clúster.

7. Este tamaño se puede configurar mediante la propiedad de configuración siguiente. Para cambiar la memoria del proceso del administrador de tareas, use esta configuración.

   taskmanager.memory.process.size : <value>

   Ejemplo: taskmanager.memory.process.size : 2000mb

8. Para el gestor de trabajos

   jobmanager.memory.process.size : <value>

   Nota

   La memoria de proceso configurable máxima es igual a la memoria configurada para jobmanager/taskmanager.

Intervalo de punto de control

El intervalo de punto de control determina la frecuencia con la que Flink desencadena un punto de control. Se define en milisegundos y se puede establecer mediante la siguiente propiedad de configuración.

execution.checkpoint.interval: <value>

El valor predeterminado es de 60 000 milisegundos (1 minuto), este valor se puede cambiar según sea necesario.

Sistema de gestión de estado

El sistema de gestión del estado determina cómo Flink administra y conserva el estado de tu aplicación. Afecta al modo en que se almacenan los puntos de control. Puede configurar el backend de estado mediante la siguiente propiedad:

state.backend: <value>

De forma predeterminada, los clústeres de Apache Flink en HDInsight en AKS usan Rocks DB.

Ruta de almacenamiento del punto de control

De forma predeterminada, se permiten puntos de control persistentes almacenando los puntos de control en abfs almacenamiento según lo configurado por el usuario. Aunque se produzca un error en el trabajo, dado que los puntos de control se conservan, se puede reiniciar fácilmente con el punto de control más reciente.

state.checkpoints.dir: <path> Reemplazar <path> por la ruta de acceso deseada donde se almacenan los puntos de control.

De forma predeterminada, se almacena en la cuenta de almacenamiento (ABFS), configurada por el usuario. Este valor se puede cambiar a cualquier ruta de acceso deseada siempre que los pods de Flink puedan acceder a él.

Número máximo de puntos de control simultáneos

Puede limitar el número máximo de puntos de control simultáneos estableciendo la siguiente propiedad: checkpoint.max-concurrent-checkpoints: <value>

Reemplace <value> por el número máximo deseado de puntos de control simultáneos. Por ejemplo, 1 para permitir solo un punto de control a la vez.

Número máximo de puntos de control retenidos

Puede limitar el número máximo de puntos de control que se conservarán estableciendo la siguiente propiedad: state.checkpoints.num-retained: <value> Reemplazar <value> por el número máximo deseado. De forma predeterminada, conservamos el máximo de cinco puntos de control.

Ruta de almacenamiento de Savepoint

Por defecto, permitimos puntos de guardado persistentes almacenándolos en el almacenamiento abfs, como lo configura el usuario. Si el usuario quiere detener y más adelante iniciar el trabajo con un punto de guardado determinado, puede configurar esta ubicación. state.checkpoints.dir: <path> Reemplazar <path> por la ruta de acceso deseada donde se almacenan los puntos de guardado. De forma predeterminada, se almacena en la cuenta de almacenamiento, configurada por el usuario. Ofrecemos soporte para ABFS. Este valor se puede cambiar a cualquier ruta deseada siempre que los pods de Flink puedan acceder a esta.

Alta disponibilidad del administrador de trabajos

En HDInsight en AKS, Flink usa Kubernetes como back-end. Incluso si el Gestor de Tareas falla en algún momento debido a cualquier problema conocido o desconocido, el pod se reinicia en unos segundos. Por lo tanto, incluso si el trabajo se reinicia debido a este problema, el trabajo se recupera de nuevo del punto de control más reciente.

Preguntas más frecuentes

¿Por qué se produce un error intermitente en el trabajo? Aunque los trabajos fallen abruptamente, si los puntos de control se producen continuamente, el trabajo se reinicia automáticamente desde el punto de control más reciente.

¿Cambiar la estrategia de trabajo en medio? Hay casos de uso en los que el trabajo debe modificarse durante la producción debido a algún error de nivel de trabajo. Durante ese tiempo, el usuario puede detener el trabajo, lo que automáticamente tomaría un punto de guardado y lo guardaría en la ubicación correspondiente.

1. Haga clic en savepoint y espere a que se complete savepoint.

   

2. Después de finalizar el punto de guardado, haga clic en iniciar y aparecerá la pestaña Iniciar trabajo. Seleccione el nombre del punto de guardado en la lista desplegable. Edite las configuraciones si es necesario. Y haga clic en Aceptar.

   

Dado que se proporciona un savepoint en el trabajo, Flink sabe desde dónde debe empezar a procesar los datos.

Referencia

• Configuraciones de Apache Flink
• Apache, Apache Kafka, Kafka, Apache Flink, Flink y los nombres de los proyectos de código abierto asociados son marcas comerciales de la Apache Software Foundation (ASF).