Zarządzanie konfiguracją platformy Apache Flink® w usłudze HDInsight w usłudze AKS

Uwaga

Wycofamy usługę Azure HDInsight w usłudze AKS 31 stycznia 2025 r. Przed 31 stycznia 2025 r. należy przeprowadzić migrację obciążeń do usługi Microsoft Fabric lub równoważnego produktu platformy Azure, aby uniknąć nagłego zakończenia obciążeń. Pozostałe klastry w ramach subskrypcji zostaną zatrzymane i usunięte z hosta.

Tylko podstawowa pomoc techniczna będzie dostępna do daty wycofania.

Ważne

Ta funkcja jest aktualnie dostępna jako funkcja podglądu. Dodatkowe warunki użytkowania dla wersji zapoznawczych platformy Microsoft Azure obejmują więcej warunków prawnych, które dotyczą funkcji platformy Azure, które znajdują się w wersji beta, w wersji zapoznawczej lub w inny sposób nie zostały jeszcze wydane w wersji ogólnodostępnej. Aby uzyskać informacje o tej konkretnej wersji zapoznawczej, zobacz Informacje o wersji zapoznawczej usługi Azure HDInsight w usłudze AKS. W przypadku pytań lub sugestii dotyczących funkcji prześlij żądanie w usłudze AskHDInsight , aby uzyskać szczegółowe informacje i postępuj zgodnie z nami, aby uzyskać więcej aktualizacji w społeczności usługi Azure HDInsight.

Usługa HDInsight w usłudze AKS udostępnia zestaw domyślnych konfiguracji narzędzia Apache Flink dla większości właściwości i kilka opartych na typowych profilach aplikacji. Jeśli jednak konieczne jest dostosowanie właściwości konfiguracji linku Flink w celu zwiększenia wydajności niektórych aplikacji z użyciem stanu, równoległością lub ustawieniami pamięci, można zmienić konfigurację zadania Flink przy użyciu sekcji Zadania Flink w usłudze HDInsight w klastrze usługi AKS.

1. Przejdź do pozycji Ustawienia > zadania > kliknij pozycję Aktualizuj.

   

2. Kliknij pozycję + Dodaj wiersz , aby edytować konfigurację.

   

   W tym miejscu interwał punktu kontrolnego jest zmieniany na poziomie klastra.

3. Zaktualizuj zmiany, klikając przycisk OK , a następnie pozycję Zapisz.

4. Po zapisaniu nowe konfiguracje zostaną zaktualizowane w ciągu kilku minut (ok. 5 minut).

5. Konfiguracje, które można zaktualizować przy użyciu ustawień zarządzania konfiguracją.

   processMemory size:

6. Domyślne ustawienia rozmiaru pamięci procesu lub menedżera zadań i menedżera zadań to pamięć skonfigurowana przez użytkownika podczas tworzenia klastra.

7. Ten rozmiar można skonfigurować przy użyciu poniższej właściwości konfiguracji. Aby zmienić pamięć procesu menedżera zadań, użyj tej konfiguracji.

   taskmanager.memory.process.size : <value>

   Przykład: taskmanager.memory.process.size : 2000mb

8. Menedżer zadań

   jobmanager.memory.process.size : <value>

   Uwaga

   Maksymalna konfigurowalna pamięć procesu jest równa pamięci skonfigurowanej dla programu jobmanager/taskmanager.

Interwał punktu kontrolnego

Interwał punktu kontrolnego określa, jak często Flink wyzwala punkt kontrolny. Zdefiniowane w milisekundach i można ustawić przy użyciu następującej właściwości konfiguracji

execution.checkpoint.interval: <value>

Ustawienie domyślne to 60 000 milisekund (1 minuta), tę wartość można zmienić zgodnie z potrzebami.

Zaplecze stanu

Zaplecze stanu określa, jak link Flink zarządza i utrzymuje stan aplikacji. Ma to wpływ na sposób przechowywania punktów kontrolnych. Zaplecze stanu można skonfigurować przy użyciu następującej właściwości:

state.backend: <value>

Domyślnie klastry Apache Flink w usłudze HDInsight w usłudze AKS używają bazy danych Rocks DB.

Ścieżka magazynu punktu kontrolnego

Domyślnie zezwalamy na trwałe punkty kontrolne, przechowując punkty kontrolne w abfs magazynie zgodnie z konfiguracją użytkownika. Nawet jeśli zadanie zakończy się niepowodzeniem, ponieważ punkty kontrolne są utrwalane, można łatwo rozpocząć pracę z najnowszym punktem kontrolnym.

state.checkpoints.dir: <path> Zastąp <path> ciąg żądaną ścieżką, w której przechowywane są punkty kontrolne.

Domyślnie przechowywane na koncie magazynu (ABFS) skonfigurowanym przez użytkownika. Tę wartość można zmienić na dowolną żądaną ścieżkę, o ile zasobniki Flink mogą uzyskać do niej dostęp.

Maksymalna liczba współbieżnych punktów kontrolnych

Maksymalną liczbę współbieżnych punktów kontrolnych można ograniczyć, ustawiając następującą właściwość: checkpoint.max-concurrent-checkpoints: <value>

Zastąp <value> element żądaną maksymalną liczbą współbieżnych punktów kontrolnych. Na przykład 1, aby zezwolić tylko na jeden punkt kontrolny w danym momencie.

Maksymalna liczba zachowanych punktów kontrolnych

Maksymalną liczbę punktów kontrolnych można ograniczyć, ustawiając następującą właściwość: state.checkpoints.num-retained: <value> Zastąp element <value> żądaną maksymalną liczbą. Domyślnie zachowujemy maksymalnie pięć punktów kontrolnych.

Ścieżka usługi SavePoint Storage

Domyślnie zezwalamy na trwałe punkty zapisywania przez przechowywanie punktów zapisu w abfs magazynie (zgodnie z konfiguracją użytkownika). Jeśli użytkownik chce zatrzymać i później uruchomić zadanie z określonym punktem zapisywania, może skonfigurować tę lokalizację. state.checkpoints.dir: <path> zastąp <path> żądaną ścieżką, w której przechowywane są punkty zapisywania. Domyślnie przechowywane na koncie magazynu skonfigurowane przez użytkownika. (Obsługujemy system ABFS). Tę wartość można zmienić na dowolną żądaną ścieżkę, o ile zasobniki Flink mogą uzyskać do niej dostęp.

Wysoka dostępność menedżera zadań

W usłudze HDInsight w usłudze AKS narzędzie Flink używa platformy Kubernetes jako zaplecza. Nawet jeśli menedżer zadań ulegnie awarii między z powodu dowolnego znanego/nieznanego problemu, zasobnik zostanie uruchomiony ponownie w ciągu kilku sekund. W związku z tym, nawet jeśli zadanie zostanie uruchomione ponownie z powodu tego problemu, zadanie zostanie odzyskane z najnowszego punktu kontrolnego.

Często zadawane pytania

Dlaczego niepowodzenie zadania występuje między? Nawet jeśli zadania kończą się nagle niepowodzeniem, jeśli punkty kontrolne są wykonywane w sposób ciągły, zadanie jest domyślnie uruchamiane ponownie z najnowszego punktu kontrolnego.

Czy zmienić strategię zadania między? Istnieją przypadki użycia, w których zadanie musi zostać zmodyfikowane w środowisku produkcyjnym z powodu błędu na poziomie zadania. W tym czasie użytkownik może zatrzymać zadanie, co automatycznie zabierze punkt zapisu i zapisze je w lokalizacji punktu zapisu.

1. savepoint Kliknij i poczekaj na savepoint ukończenie.

   

2. Po zakończeniu zapisywania punktu kliknij przycisk Start, a karta Uruchom zadanie zostanie wyświetlona. Wybierz nazwę punktu zapisu z listy rozwijanej. W razie potrzeby zmodyfikuj wszelkie konfiguracje. A następnie kliknij przycisk OK.

   

Ponieważ punkt zapisywania jest udostępniany w zadaniu, Flink wie, skąd rozpocząć przetwarzanie danych.

Odwołanie

• Konfiguracje linku Apache Flink
• Apache, Apache Kafka, Kafka, Apache Flink, Flink i skojarzone nazwy projektów typu open source są znakami towarowymi platformy Apache Software Foundation (ASF).