Správa konfigurace Apache Flink® ve službě HDInsight v AKS

Důležitý

Azure HDInsight v AKS byl vyřazen 31. ledna 2025. Další informace se dozvíte z tohoto oznámení .

Abyste se vyhnuli náhlému ukončení úloh, musíte migrovat úlohy do Microsoft Fabric nebo ekvivalentního produktu Azure.

Důležitý

Tato funkce je aktuálně ve verzi Preview. doplňkové podmínky použití pro verze preview Microsoft Azure obsahují další právní podmínky, které se vztahují na funkce Azure, jež jsou v beta, verzi preview či jinak ještě nebyly uvolněny k obecnému použití. Informace o této konkrétní verzi Preview najdete v tématu Azure HDInsight na AKS. Pokud máte dotazy nebo návrhy funkcí, odešlete prosím žádost na AskHDInsight s podrobnostmi a sledujte nás pro další aktualizace na komunitě Azure HDInsight.

HDInsight v AKS poskytuje sadu výchozích konfigurací Apache Flinku pro většinu vlastností a několik z nich na základě běžných profilů aplikací. Pokud ale potřebujete upravit vlastnosti konfigurace Flink, aby se zlepšil výkon některých aplikací s nastavením využití stavu, paralelismu nebo paměti, můžete změnit konfiguraci úlohy Flink pomocí oddílu úloh Flink v HDInsight v clusteru AKS.

1. Přejděte na Nastavení. > Úlohy Flink. > Klikněte na Aktualizovat.

   

2. Kliknutím na + Přidat řádek upravit konfiguraci.

   

   Tady se interval kontrolního bodu změní na úrovni clusteru .

3. Aktualizujte změny kliknutím na OK a Uložit.

4. Po uložení se nové konfigurace aktualizují během několika minut (přibližně 5 minut).

5. Konfigurace, které je možné aktualizovat pomocí nastavení správy konfigurace.

   processMemory size:

6. Výchozí nastavení pro velikost paměti procesu nebo správce úloh a správce úloh by byla paměť nakonfigurovaná uživatelem během vytváření clusteru.

7. Tuto velikost lze nakonfigurovat pomocí následující vlastnosti konfigurace. Pokud chcete změnit paměť procesu správce úloh, použijte tuto konfiguraci.

   taskmanager.memory.process.size : <value>

   Příklad: taskmanager.memory.process.size : 2000mb

8. Pro správce úloh

   jobmanager.memory.process.size : <value>

   Poznámka

   Maximální konfigurovatelná paměť procesu je rovna paměti nakonfigurované pro jobmanager/taskmanager.

Interval kontrolního bodu

Interval kontrolního bodu určuje, jak často Flink aktivuje kontrolní bod. Definované v milisekundách a lze je nastavit pomocí následující vlastnosti konfigurace.

execution.checkpoint.interval: <value>

Výchozí nastavení je 60 000 milisekund (1 minuta), tuto hodnotu je možné podle potřeby změnit.

Stavový backend

Stavové úložiště určuje, jak Flink spravuje a uchovává stav vaší aplikace. Ovlivňuje způsob ukládání kontrolních bodů. Back-end úložiště stavu můžete nakonfigurovat pomocí následující vlastnosti:

state.backend: <value>

Ve výchozím nastavení clustery Apache Flink ve službě HDInsight v AKS používají rocks DB.

Cesta k úložišti kontrolního bodu

Trvalé kontrolní body ve výchozím nastavení povolíme uložením kontrolních bodů do úložiště abfs nakonfigurovaným uživatelem. I když úloha selže, protože kontrolní body jsou trvalé, můžete ji snadno spustit s nejnovějším kontrolním bodem.

state.checkpoints.dir: <path> Nahradit <path> požadovanou cestou, kam jsou kontrolní body uložené.

Ve výchozím nastavení je uložený v účtu úložiště (ABFS), který uživatel nakonfiguroval. Tuto hodnotu je možné změnit na libovolnou požadovanou cestu, pokud k ní budou mít přístup pody Flink.

Maximální počet souběžných kontrolních bodů

Maximální počet souběžných kontrolních bodů můžete omezit nastavením následující vlastnosti: checkpoint.max-concurrent-checkpoints: <value>

Nahraďte <value> požadovaným maximálním počtem souběžných kontrolních bodů. Například 1 umožňuje najednou jenom jeden kontrolní bod.

Maximální zachované kontrolní body

Maximální počet kontrolních bodů, které se mají zachovat, můžete omezit nastavením následující vlastnosti: state.checkpoints.num-retained: <value> Nahradit <value> požadovaným maximálním číslem. Ve výchozím nastavení uchováváme maximálně pět kontrolních bodů.

Cesta k úložišti služby Savepoint

Ve výchozím nastavení povolíme trvalé ukládání bodů uložení do úložiště abfs (nakonfigurované uživatelem). Pokud chce uživatel úlohu zastavit a později spustit s konkrétním bodem uložení, může toto umístění nakonfigurovat. state.checkpoints.dir: <path> Nahraďte <path> požadovanou cestou, kam jsou uloženy savepointy. Ve výchozím nastavení, uložené v účtu úložiště, konfigurovaném uživatelem. (Podporujeme ABFS). Tuto hodnotu je možné změnit na libovolnou požadovanou cestu, pokud k ní budou mít přístup pody Flink.

Vysoká dostupnost správce úloh

Ve službě HDInsight v AKS používá Flink jako back-end Kubernetes. I když správce úloh selže v důsledku nějakého známého či neznámého problému, pod se během několika sekund restartuje. Proto i v případě restartování úlohy z důvodu tohoto problému se úloha obnoví zpět z nejnovějšího kontrolního bodu.

FAQ

Proč mezi tím dochází k selhání úlohy? I když úlohy náhle selžou, pokud se kontrolní body provádějí nepřetržitě, úloha se ve výchozím nastavení restartuje z nejnovějšího kontrolního bodu.

Chcete změnit strategii během procesu? Existují případy použití, kdy je potřeba upravit úlohu v produkčním prostředí kvůli určité chybě na úrovni úlohy. Během této doby může uživatel úlohu zastavit, což by automaticky vytvořilo bod uložení a uložilo ho na příslušné místo.

1. Klikněte na savepoint a počkejte na dokončení savepoint.

   

2. Po dokončení bodu uložení klikněte na tlačítko Spustit a zobrazí se karta Spustit úlohu. V rozevíracím seznamu vyberte název bodu uložení. V případě potřeby upravte všechny konfigurace. A klikněte na OK.

   

Vzhledem k tomu, že je v úloze k dispozici savepoint, Flink ví, odkud má začít zpracovávat data.

Odkaz

• Konfigurace Apache Flink
• Názvy projektů Apache, Apache Kafka, Kafka, Apache Flink, Flink a názvy přidružených open-source projektů jsou ochranné známkyApache Software Foundation (ASF).