Zarządzanie konfiguracją platformy Apache Flink® w usłudze HDInsight na AKS

Ważny

Usługa Azure HDInsight w usłudze AKS została wycofana 31 stycznia 2025 r. Dowiedz się więcej w tym ogłoszeniu.

Aby uniknąć nagłego kończenia obciążeń, należy przeprowadzić migrację obciążeń do usługi Microsoft Fabric lub równoważnego produktu platformy Azure.

Ważny

Ta funkcja jest obecnie dostępna w wersji zapoznawczej. Dodatkowe warunki użytkowania dla zapoznawczych wersji Microsoft Azure zawierają dodatkowe postanowienia prawne mające zastosowanie do funkcji Azure, które są w wersji beta, w wersji zapoznawczej lub w inny sposób nie są jeszcze dostępne ogólnie. Aby uzyskać informacje na temat tej konkretnej wersji zapoznawczej, zobacz Azure HDInsight w usłudze AKS w wersji zapoznawczej informacji. W przypadku pytań lub sugestii dotyczących funkcji, prosimy o przesłanie żądania w serwisie AskHDInsight oraz śledzenie nas, aby uzyskać więcej aktualizacji o Społeczności Azure HDInsight.

Usługa HDInsight w usłudze AKS udostępnia zestaw domyślnych konfiguracji narzędzia Apache Flink dla większości właściwości i kilka opartych na typowych profilach aplikacji. Jeśli jednak konieczne jest dostosowanie właściwości konfiguracji Flink w celu zwiększenia wydajności dla niektórych aplikacji korzystających ze stanem, równoległością lub ustawieniami pamięci, można zmienić konfigurację zadania Flink, korzystając z sekcji Zadania Flink w usłudze HDInsight w klastrze AKS.

1. Przejdź do ustawień > Flink Jobs, > Kliknij "Aktualizuj".

   

2. Kliknij pozycję + Dodaj wiersz, aby edytować konfigurację.

   

   W tym miejscu interwał punktu kontrolnego jest zmieniany na poziomie klastra .

3. Zaktualizuj zmiany, klikając pozycję OK, a następnie Zapisz.

4. Po zapisaniu nowe konfiguracje zostaną zaktualizowane w ciągu kilku minut (ok. 5 minut).

5. Konfiguracje, które można zaktualizować przy użyciu ustawień zarządzania konfiguracją.

   processMemory size:

6. Domyślne ustawienia rozmiaru pamięci dla menedżera zadań i menedżera procesów to pamięć skonfigurowana przez użytkownika podczas tworzenia klastra.

7. Ten rozmiar można skonfigurować przy użyciu poniższej właściwości konfiguracji. Aby zmienić pamięć procesu menedżera zadań, użyj tej konfiguracji.

   taskmanager.memory.process.size : <value>

   Przykład: taskmanager.memory.process.size : 2000mb

8. Menedżer zadań

   jobmanager.memory.process.size : <value>

   Notatka

   Maksymalna konfigurowalna pamięć procesu jest równa pamięci skonfigurowanej dla jobmanager/taskmanager.

Interwał punktu kontrolnego

Interwał punktu kontrolnego określa, jak często Flink wyzwala punkt kontrolny. Zdefiniowane w milisekundach i można ustawić przy użyciu następującej właściwości konfiguracji

execution.checkpoint.interval: <value>

Ustawienie domyślne to 60 000 milisekund (1 minuta), tę wartość można zmienić zgodnie z potrzebami.

Zaplecze stanu

Zaplecze stanu określa, jak Flink zarządza i utrzymuje stan aplikacji. Ma to wpływ na sposób przechowywania punktów kontrolnych. Zaplecze stanu można skonfigurować za pomocą następującej właściwości:

state.backend: <value>

Domyślnie klastry Apache Flink w usłudze HDInsight w usłudze AKS używają bazy danych Rocks DB.

Ścieżka magazynu punktu kontrolnego

Domyślnie zezwalamy na trwałe punkty kontrolne przez przechowywanie punktów kontrolnych w magazynie abfs skonfigurowanym przez użytkownika. Nawet jeśli zadanie zakończy się niepowodzeniem, dzięki utrwalonym punktom kontrolnym można je łatwo rozpocząć od najnowszego punktu kontrolnego.

state.checkpoints.dir: <path> zastąp <path> żądaną ścieżką, w której przechowywane są punkty kontrolne.

Domyślnie przechowywane na koncie magazynu (ABFS) skonfigurowanym przez użytkownika. Tę wartość można zmienić na dowolną żądaną ścieżkę, o ile zasobniki Flink mogą uzyskać do niej dostęp.

Maksymalna liczba współbieżnych punktów kontrolnych

Maksymalną liczbę współbieżnych punktów kontrolnych można ograniczyć, ustawiając następującą właściwość: checkpoint.max-concurrent-checkpoints: <value>

Zastąp <value> żądaną maksymalną liczbą współbieżnych punktów kontrolnych. Na przykład 1, aby zezwolić tylko na jeden punkt kontrolny w danym momencie.

Maksymalna liczba zachowanych punktów kontrolnych

Maksymalną liczbę punktów kontrolnych można ograniczyć, ustawiając następującą właściwość: state.checkpoints.num-retained: <value> zastąp <value> żądaną maksymalną liczbą. Domyślnie zachowujemy maksymalnie pięć punktów kontrolnych.

Ścieżka usługi SavePoint Storage

Domyślnie zezwalamy na trwałe punkty zapisywania przez przechowywanie punktów zapisu w magazynie abfs (zgodnie z konfiguracją użytkownika). Jeśli użytkownik chce zatrzymać i później uruchomić zadanie z określonym punktem zapisywania, może skonfigurować tę lokalizację. state.checkpoints.dir: <path> Zastąp <path> żądaną ścieżką, w której przechowywane są punkty zapisywania. Domyślnie przechowywane na koncie magazynu, skonfigurowane przez użytkownika. (Obsługujemy system ABFS). Tę wartość można zmienić na dowolną żądaną ścieżkę, o ile zasobniki Flink mogą uzyskać do niej dostęp.

Wysoka dostępność menedżera zadań

W HDInsight na AKS, Flink używa Kubernetes jako zaplecza. Nawet jeśli menedżer zadań ulegnie awarii z powodu jakiegoś znanego lub nieznanego problemu, zasobnik zostanie uruchomiony ponownie w ciągu kilku sekund. W związku z tym, nawet jeśli zadanie zostanie uruchomione ponownie z powodu tego problemu, zadanie zostanie odzyskane z najnowszego punktu kontrolnego.

FAQ

Dlaczego zadanie czasami kończy się niepowodzeniem? Nawet jeśli zadania kończą się nagle niepowodzeniem, jeśli punkty kontrolne są wykonywane w sposób ciągły, zadanie jest domyślnie uruchamiane ponownie z najnowszego punktu kontrolnego.

Czy zmienić strategię pracy w trakcie? Istnieją przypadki użycia, w których zadanie musi zostać zmodyfikowane w środowisku produkcyjnym z powodu błędu na poziomie zadania. W tym czasie użytkownik może zatrzymać zadanie, co automatycznie utworzy punkt zapisu i zapisze go w lokalizacji punktu zapisu.

1. Kliknij savepoint i poczekaj na ukończenie savepoint.

   

2. Po zakończeniu zapisywania punktu kliknij przycisk Start, a karta Uruchom zadanie zostanie wyświetlona. Wybierz nazwę punktu zapisu z listy rozwijanej. W razie potrzeby zmodyfikuj wszelkie konfiguracje. Kliknij OK.

   

Ponieważ punkt zapisywania jest udostępniany w zadaniu, Flink wie, skąd rozpocząć przetwarzanie danych.

Odniesienie

• Konfiguracje Apache Flink
• Nazwy projektów Apache, Apache Kafka, Apache Flink, Flink oraz nazwy innych powiązanych projektów są znakami towarowymi należącymi do Apache Software Foundation (ASF).