Apache Flink® Configuratiebeheer in HDInsight op AKS

Belangrijk

Azure HDInsight op AKS is op 31 januari 2025 buiten gebruik gesteld. Krijg meer informatie dankzij deze aankondiging.

U moet uw workloads migreren naar Microsoft Fabric- of een gelijkwaardig Azure-product om plotselinge beëindiging van uw workloads te voorkomen.

Belangrijk

Deze functie is momenteel beschikbaar als preview-versie. De aanvullende gebruiksvoorwaarden voor Microsoft Azure Previews meer juridische voorwaarden bevatten die van toepassing zijn op Azure-functies die bèta, in preview of anderszins nog niet in algemene beschikbaarheid zijn vrijgegeven. Zie Azure HDInsight in AKS preview-informatievoor meer informatie over deze specifieke preview. Voor vragen of suggesties voor functies dient u een aanvraag in op AskHDInsight- met de details en volgt u ons voor meer updates over Azure HDInsight Community-.

HDInsight in AKS biedt een set standaardconfiguraties van Apache Flink voor de meeste eigenschappen en enkele op basis van algemene toepassingsprofielen. Als u echter de configuratie-eigenschappen van Flink moet aanpassen om de prestaties voor bepaalde toepassingen met statusgebruik, parallellisme of geheugeninstellingen te verbeteren, kunt u de configuratie van Flink-taken wijzigen met behulp van de sectie Flink Jobs in HDInsight in AKS-cluster.

1. Ga naar Instellingen > Flink Jobs > Klik op Bijwerken.

   

2. Klik op + Een rij toevoegen om de configuratie te bewerken.

   

   Hier wordt het controlepuntinterval gewijzigd op clusterniveau.

3. Werk de wijzigingen bij door op OK te klikken en opslaan.

4. Zodra deze zijn opgeslagen, worden de nieuwe configuraties in een paar minuten bijgewerkt (~5 minuten).

5. Configuraties, die kunnen worden bijgewerkt met configuratiebeheerinstellingen.

   processMemory size:

6. De standaardinstellingen voor de geheugengrootte van de jobbeheer en taakbeheer zijn het geheugen dat door de gebruiker is geconfigureerd tijdens het aanmaken van het cluster.

7. Deze grootte kan worden geconfigureerd met behulp van de onderstaande configuratie-eigenschap. Gebruik deze configuratie om het geheugen van het taakbeheerproces te wijzigen.

   taskmanager.memory.process.size : <value>

   Voorbeeld: taskmanager.memory.process.size : 2000mb

8. Voor functiebeheerder

   jobmanager.memory.process.size : <value>

   Notitie

   Het maximale configureerbare procesgeheugen is gelijk aan het geheugen dat is geconfigureerd voor jobmanager/taskmanager.

Controlepuntinterval

Het controlepuntinterval bepaalt hoe vaak Flink een controlepunt activeert. Gedefinieerd in milliseconden en kan worden ingesteld met behulp van de volgende configuratie-eigenschap

execution.checkpoint.interval: <value>

De standaardinstelling is 60.000 milliseconden (1 min). Deze waarde kan naar wens worden gewijzigd.

State-backend

De statusback-end bepaalt hoe Flink de status van uw toepassing beheert en persistent maakt. Dit heeft invloed op de wijze waarop controlepunten zijn opgeslagen. U kunt de `statusbackend` configureren met behulp van de volgende eigenschap:

state.backend: <value>

Apache Flink-clusters in HDInsight op AKS maken standaard gebruik van Rocks DB.

Opslagpad van controlepunt

Permanente controlepunten worden standaard toegestaan door de controlepunten op te slaan in abfs opslag zoals geconfigureerd door de gebruiker. Zelfs als de taak mislukt, omdat de controlepunten behouden blijven, kan deze eenvoudig worden gestart met het laatste controlepunt.

state.checkpoints.dir: <path> Vervang <path> door het gewenste pad waar de controlepunten zijn opgeslagen.

Standaard, opgeslagen in het opslagaccount (ABFS), geconfigureerd door de gebruiker. Deze waarde kan naar elk gewenst pad worden gewijzigd zolang de Flink-pods er toegang toe hebben.

Maximum aantal gelijktijdige controlepunten

U kunt het maximum aantal gelijktijdige controlepunten beperken door de volgende eigenschap in te stellen: checkpoint.max-concurrent-checkpoints: <value>

Vervang <value> door het gewenste maximum aantal gelijktijdige controlepunten. Bijvoorbeeld 1 om slechts één controlepunt tegelijk toe te staan.

Maximaal bewaarde controlepunten

U kunt het maximum aantal controlepunten beperken dat moet worden bewaard door de volgende eigenschap in te stellen: state.checkpoints.num-retained: <value> Vervang <value> door het gewenste maximumaantal. Standaard behouden we maximaal vijf controlepunten.

Opslaglocatie van het savepoint

We staan permanente opslagpunten standaard toe door de savepoints op te slaan in abfs-opslag (zoals geconfigureerd door de gebruiker). Als de gebruiker de taak met een bepaald opslagpunt wil stoppen en later wil starten, kan deze locatie worden geconfigureerd. state.checkpoints.dir: <path> Vervang <path> door het gewenste pad waar de savepoints zijn opgeslagen. Standaard opgeslagen in het opslagaccount, geconfigureerd door de gebruiker. (ABFS wordt ondersteund). Deze waarde kan worden gewijzigd in elk gewenst pad zolang de Flink pods er toegang toe hebben.

Hoge beschikbaarheid van Job Manager

In HDInsight op AKS gebruikt Flink Kubernetes als back-end. Zelfs als de Job Manager mislukt vanwege een bekend/onbekend probleem, wordt de pod binnen een paar seconden opnieuw opgestart. Zelfs als de taak opnieuw wordt opgestart vanwege dit probleem, wordt de taak hersteld vanaf het meest recente controlepunt .

FAQ

Waarom mislukt de taak ertussen? Zelfs als de taken plotseling mislukken, als de controlepunten continu plaatsvinden, wordt de taak standaard opnieuw gestart vanaf het meest recente controlepunt.

De taakstrategie daartussen wijzigen? Er zijn use cases, waarbij de taak moet worden gewijzigd tijdens de productie vanwege een fout op taakniveau. Gedurende die tijd kan de gebruiker de taak stoppen, waardoor automatisch een opslagpunt wordt gemaakt en opgeslagen op de opslagpuntlocatie.

1. Klik op savepoint en wacht totdat savepoint is voltooid.

   

2. Nadat het savepoint is voltooid, klikt u op Start en wordt het tabblad Start Taak weergegeven. Selecteer de naam van het savepoint in de vervolgkeuzelijst. Bewerk indien nodig configuraties. Klik op OK-.

   

Omdat een savepoint is opgegeven in de taak, weet Flink waar het verwerken van de gegevens moet beginnen.

Referentie

• Apache Flink Configurations
• Apache, Apache Kafka, Kafka, Apache Flink, Flink en bijbehorende opensource-projectnamen zijn handelsmerken van de Apache Software Foundation (ASF).