Gestion de la configuration Apache Flink® dans HDInsight sur AKS

Important

Azure HDInsight sur AKS a été mis hors service le 31 janvier 2025. En savoir plus avec cette annonce.

Vous devez migrer vos charges de travail vers Microsoft Fabric ou un produit Azure équivalent pour éviter l’arrêt brusque de vos charges de travail.

Important

Cette fonctionnalité est actuellement en préversion. Les Conditions d’utilisation supplémentaires pour les préversions Microsoft Azure incluent des termes juridiques supplémentaires qui s’appliquent aux fonctionnalités Azure en version bêta, en préversion ou qui ne sont pas encore publiées en disponibilité générale. Pour plus d’informations sur cette préversion spécifique, consultez les informations sur la version préliminaire d'Azure HDInsight sur AKS. Pour des questions ou des suggestions de fonctionnalités, envoyez une demande sur AskHDInsight avec les détails et suivez-nous pour plus de mises à jour sur Communauté Azure HDInsight.

HDInsight sur AKS fournit un ensemble de configurations par défaut d’Apache Flink pour la plupart des propriétés et quelques-uns en fonction des profils d’application courants. Toutefois, si vous devez ajuster les propriétés de configuration Flink pour améliorer les performances de certaines applications avec l’utilisation de l’état, le parallélisme ou les paramètres de mémoire, vous pouvez modifier la configuration du travail Flink à l’aide de la section Travaux Flink dans HDInsight sur le cluster AKS.

1. Accédez aux paramètres > Flink Jobs > cliquez sur Mettre à jour.

   capture d’écran

2. Cliquez sur + Ajouter une ligne pour modifier la configuration.

   

   Ici, l’intervalle de point de contrôle est modifié au niveau du cluster .

3. Mettez à jour les modifications en cliquant sur OK, puis Enregistrer.

4. Une fois enregistrées, les nouvelles configurations sont mises à jour en quelques minutes (environ 5 minutes).

5. Configurations, qui peuvent être mises à jour à l’aide des paramètres de gestion de la configuration.

   processMemory size:

6. Les paramètres par défaut de la taille de mémoire du processus pour le gestionnaire de travaux et le gestionnaire de tâches sont la mémoire configurée par l’utilisateur lors de la création du cluster.

7. Cette taille peut être configurée à l’aide de la propriété de configuration ci-dessous. Pour modifier la mémoire du processus du gestionnaire de tâches, utilisez cette configuration.

   taskmanager.memory.process.size : <value>

   Exemple : taskmanager.memory.process.size : 2000mb

8. Pour le gestionnaire de travaux

   jobmanager.memory.process.size : <value>

   Note

   La mémoire de processus configurable maximale est égale à la mémoire configurée pour jobmanager/taskmanager.

Intervalle de point de contrôle

L’intervalle de point de contrôle détermine la fréquence à laquelle Flink déclenche un point de contrôle. Défini en millisecondes et peut être défini à l’aide de la propriété de configuration suivante

execution.checkpoint.interval: <value>

Le paramètre par défaut est de 60 000 millisecondes (1 min), cette valeur peut être modifiée comme vous le souhaitez.

Back-end d’état

Le système de gestion de l'état détermine comment Flink gère et conserve l'état de votre application. Cela impacte la façon dont les points de contrôle sont stockés. Vous pouvez configurer le serveur principal d’état à l’aide de la propriété suivante :

state.backend: <value>

Par défaut, les clusters Apache Flink dans HDInsight sur AKS utilisent la base de données Rocks.

Chemin d’accès au stockage de point de contrôle

Nous autorisons les points de contrôle persistants par défaut en stockant les points de contrôle dans le stockage abfs tel que configuré par l’utilisateur. Même si le travail échoue, étant donné que les points de contrôle sont conservés, il peut être facilement démarré avec le dernier point de contrôle.

state.checkpoints.dir: <path> remplacer <path> par le chemin souhaité où les points de contrôle sont stockés.

Par défaut, stocké dans le compte de stockage (ABFS), configuré par l’utilisateur. Cette valeur peut être modifiée en n’importe quel chemin souhaité tant que les pods Flink peuvent y accéder.

Nombre maximal de points de contrôle simultanés

Vous pouvez limiter le nombre maximal de points de contrôle simultanés en définissant la propriété suivante : checkpoint.max-concurrent-checkpoints: <value>

Remplacez <value> par le nombre maximal de points de contrôle simultanés souhaité. Par exemple, 1 pour autoriser un seul point de contrôle à la fois.

Nombre maximal de points de contrôle conservés

Vous pouvez limiter le nombre maximal de points de contrôle à conserver en définissant la propriété suivante : state.checkpoints.num-retained: <value> Remplacer <value> par le nombre maximal souhaité. Par défaut, nous conservons au maximum cinq points de contrôle.

Chemin d’accès du stockage Savepoint

Nous autorisons par défaut les savepoints persistants en les stockant dans le stockage abfs (tel que configuré par l’utilisateur). Si l’utilisateur souhaite arrêter et démarrer ultérieurement le travail avec un point d’enregistrement particulier, il peut configurer cet emplacement. state.checkpoints.dir : <path> remplacer <path> par le chemin souhaité où les points d’enregistrement sont stockés. Par défaut, stocké dans le compte de stockage, configuré par l’utilisateur. (Nous prenons en charge le système ABFS). Cette valeur peut être modifiée en n’importe quel chemin souhaité tant que les pods Flink peuvent y accéder.

Haute disponibilité du gestionnaire de travaux

Dans HDInsight sur AKS, Flink utilise Kubernetes comme back-end. Même si le Gestionnaire de travaux échoue à un moment donné à cause d'un problème éventuel, qu'il soit connu ou inconnu, le pod est redémarré en quelques secondes. Par conséquent, même si le travail redémarre en raison de ce problème, le travail est récupéré à partir du dernier point de contrôle.

FAQ

Pourquoi l'échec du travail se produit-il ? Même si les travaux échouent brusquement, si les points de contrôle se produisent en continu, le travail est redémarré par défaut à partir du dernier point de contrôle.

Modifier la stratégie de travail entre les deux ? Il y a des cas où il faut modifier le travail pendant la production en raison d'un bug au niveau du travail. Pendant cette période, l’utilisateur peut arrêter la tâche, ce qui prend automatiquement une sauvegarde et l’enregistre à l’emplacement prévu.

1. Cliquez sur savepoint et attendez que savepoint soit terminée.

   

2. Une fois le point d’enregistrement terminé, cliquez sur le bouton Démarrer et l’onglet Démarrer le travail va s'afficher. Sélectionnez le nom du point d’enregistrement dans la liste déroulante. Modifiez les configurations si nécessaire. Cliquez sur OK.

   

Étant donné que le point d’enregistrement est fourni dans le travail, le Flink sait à partir de où commencer à traiter les données.

Référence

• configurations Apache Flink
• Apache, Apache Kafka, Kafka, Apache Flink, Flink et les noms de projet open source associés sont marques déposées de la Apache Software Foundation (ASF).