Klaster trybu aplikacji Apache Flink w usłudze HDInsight na platformie AKS
Ważny
Usługa Azure HDInsight w usłudze AKS została wycofana 31 stycznia 2025 r. Dowiedz się więcej z tym ogłoszeniem .
Aby uniknąć nagłego kończenia obciążeń, należy przeprowadzić migrację obciążeń do usługi Microsoft Fabric lub równoważnego produktu platformy Azure.
Ważny
Ta funkcja jest obecnie dostępna w wersji zapoznawczej. Uzupełniające warunki użytkowania dla wersji zapoznawczych Microsoft Azure zawierają więcej warunków prawnych dotyczących funkcji platformy Azure, które są w wersji beta, w wersji zapoznawczej lub w inny sposób jeszcze niedostępne w ogólnej sprzedaży. Aby uzyskać informacje na temat tej konkretnej wersji zapoznawczej, zobacz informacje o wersji zapoznawczej Azure HDInsight w usłudze AKS. W przypadku pytań lub sugestii dotyczących funkcji, prześlij żądanie na AskHDInsight wraz ze szczegółami i śledź nas, aby uzyskać więcej aktualizacji na temat społeczności Azure HDInsight.
Usługa HDInsight na platformie AKS oferuje teraz klaster w trybie aplikacyjnym Flink. Ten klaster umożliwia zarządzanie cyklem życia trybu aplikacji Flink klastra przy użyciu portalu Azure z łatwym w użyciu interfejsem i interfejsami API REST Azure Resource Management. Klastry trybu aplikacji są przeznaczone do obsługi dużych i długotrwałych zadań z dedykowanymi zasobami oraz obsługi zadań przetwarzania danych intensywnie korzystających z zasobów lub rozbudowanych.
Ten tryb wdrażania umożliwia przypisywanie dedykowanych zasobów dla określonych aplikacji Flink, zapewniając, że mają wystarczającą moc obliczeniową i pamięć do wydajnego obsługi dużych obciążeń.
Zalety
Uproszczone wdrażanie klastra przy użyciu pliku Jar zadań.
Przyjazny dla użytkownika interfejs API REST: usługa HDInsight na platformie AKS zapewnia przyjazne interfejsy REST API ARM do zarządzania operacjami zadań w trybie aplikacji, takimi jak aktualizacja, punkt kontrolny, anulowanie, usunięcie.
Łatwe zarządzanie aktualizacjami zadań i zarządzanie stanem: natywna integracja witryny Azure Portal zapewnia bezproblemowe środowisko aktualizowania zadań i przywracania ich do ostatniego zapisanego stanu (savepoint). Ta funkcja zapewnia ciągłość i integralność danych w całym cyklu życia zadania.
Automatyzowanie zadań Flink przy użyciu Azure Pipelines lub innych narzędzi CI/CD: korzystając z HDInsight na AKS, użytkownicy Flink mają dostęp do przyjaznego dla użytkownika ARM REST API, co pozwala bezproblemowo zintegrować operacje związane z zadaniami Flink z Azure Pipelines lub innymi narzędziami CI/CD.
Kluczowe funkcje
Zatrzymywanie i uruchamianie zadań przy użyciu punktów zapisywania: użytkownicy mogą bezpiecznie zatrzymywać i uruchamiać zadania Flink AppMode z poprzedniego stanu (Savepoint). Punkty zapisywania zapewniają zachowanie postępu zadania, umożliwiając bezproblemowe wznawianie.
Aktualizacje zadań: Użytkownik może zaktualizować uruchomione zadanie AppMode po zaktualizowaniu pliku jar na koncie magazynowym. Ta aktualizacja automatycznie pobiera punkt zapisu i uruchamia zadanie AppMode przy użyciu nowej wersji pliku jar.
Aktualizacje bezstanowe: Przeprowadzanie nowego uruchomienia zadania AppMode jest uproszczone dzięki aktualizacjom bezstanowym. Ta funkcja umożliwia użytkownikom zainicjowanie czystego ponownego uruchomienia przy użyciu zaktualizowanego pliku jar zadania.
Zarządzanie programem Savepoint: w danym momencie użytkownicy mogą tworzyć punkty zapisywania dla uruchomionych zadań. Te punkty zapisów można wyświetlać i używać ich do ponownego uruchomienia zadania od konkretnego punktu kontrolnego w razie potrzeby.
Anuluj: anuluje zadanie trwale.
Usuń: Usuń klaster AppMode.
Jak utworzyć klaster aplikacji Flink
Warunki wstępne
Spełnij wymagania wstępne w następujących sekcjach:
Dodaj plik jar zadania na koncie magazynu.
Przed skonfigurowaniem klastra trybu aplikacji Flink wymagane jest wykonanie kilku czynności przygotowawczych. Jednym z tych kroków jest umieszczenie pliku JAR zadania w trybie aplikacji na koncie magazynu klastra.
Utwórz katalog dla pliku JAR zadania trybu aplikacji:
Wewnątrz dedykowanych kontenerów utwórz folder, do którego przekazujesz plik JAR zadania trybu aplikacji. Ten katalog służy jako lokalizacja przechowywania plików JAR, które mają zostać uwzględnione w ścieżce klas klastra lub zadania Flink.
Katalog Savepoints (opcjonalnie):
Jeśli użytkownicy zamierzają robić zrzuty podczas wykonywania zadania, utwórz oddzielny katalog na koncie pamięci masowej do przechowywania tych zrzutów. Ten katalog służył do przechowywania danych punktu kontrolnego i metadanych dla punktów zapisywania.
Przykładowa struktura katalogów:
Tworzenie klastra trybu aplikacji Flink
Klastry Flink AppMode można utworzyć po ukończeniu wdrażania puli klastrów, przyjrzyjmy się krokom, w przypadku, gdy rozpoczynasz pracę z istniejącą pulą klastrów.
W witrynie Azure Portal wpisz pule klastrów usługi HDInsight/HDInsight/HDInsight w usłudze AKS i wybierz pozycję Azure HDInsight w pulach klastrów usługi AKS, aby przejść do strony pul klastrów. Na stronie Pule klastrów usługi HDInsight w usłudze AKS wybierz pulę klastrów, w której chcesz utworzyć nowy klaster Flink.
Na określonej stronie puli klastrów kliknij pozycję + Nowy klaster i podaj następujące informacje:
Własność Opis Subskrypcja To pole zostało automatycznie wypełnione subskrypcją platformy Azure zarejestrowaną dla puli klastrów. Grupa zasobów To pole automatycznie się wypełnia i wyświetla grupę zasobów w puli klastrów. Region To pole jest wypełniane automatycznie i pokazuje region wybrany w puli klastrów. Pula klastrów Pole to jest automatycznie wypełniane i pokazuje nazwę puli klastra, na której klaster jest tworzony. Aby utworzyć klaster w innej puli, znajdź pulę klastrów w portalu i kliknij pozycję + Nowy klaster. Wersja puli usługi HDInsight w usłudze AKS To pole jest wypełniane automatycznie i pokazuje wersję puli klastrów, w której klaster jest teraz tworzony. HDInsight na wersji AKS Wybierz wersję pomocniczą lub poprawkową usługi HDInsight w usłudze AKS nowego klastra. Typ klastra Z listy rozwijanej wybierz pozycję Flink. Nazwa klastra Wprowadź nazwę nowego klastra. Zarządzana tożsamość przypisana użytkownikowi Z listy rozwijanej wybierz tożsamość zarządzaną, która ma być używana z klastrem. Jeśli jesteś właścicielem tożsamości usługi zarządzanej (MSI) i tożsamość usługi zarządzanej nie ma przypisanej roli Operatora Tożsamości Zarządzanej w klastrze, kliknij link poniżej ramki, aby przypisać wymagane uprawnienia z MSI puli agentów AKS. Jeśli MSI ma już odpowiednie uprawnienia, nie jest wyświetlany link. Zobacz wymagania wstępne dotyczące innych przypisań ról wymaganych dla MSI. Konto magazynu Z listy rozwijanej wybierz konto przechowywania do skojarzenia z klastrem Flink i określ nazwę kontenera. Tożsamość zarządzana ma dodatkowo przyznany dostęp do określonego konta magazynu przy użyciu roli "Storage Blob Data Owner" podczas tworzenia klastra. Sieć wirtualna Sieć wirtualna klastra. Podsieć Podsieć wirtualna klastra. Włączanie katalogu Hive dla języka Flink SQL:
Własność Opis Korzystanie z wykazu programu Hive Włącz tę opcję, aby użyć zewnętrznego magazynu metadanych Hive. Baza danych SQL dla Hive Z listy rozwijanej wybierz bazę danych SQL Database, w której chcesz dodać tabele hive-metastore. Nazwa użytkownika administratora SQL Wprowadź nazwę użytkownika administratora programu SQL Server. To konto jest używane przez Metastore do komunikowania się z bazą danych SQL. Skarbiec kluczy Z listy rozwijanej wybierz Key Vault zawierający tajemnicę z hasłem dla nazwy użytkownika administratora SQL Server. Należy skonfigurować zasady dostępu, zawierające wszystkie wymagane uprawnienia, takie jak uprawnienia dotyczące kluczy, sekretów i certyfikatów, dla tożsamości usługi zarządzanej (MSI), które są używane do tworzenia klastra. MSI wymaga roli Administratora Key Vault. Dodaj wymagane uprawnienia za pomocą IAM. Nazwa tajnego klucza hasła SQL Wprowadź tajną nazwę z usługi Key Vault, gdzie przechowywane jest hasło bazy danych SQL. 
Notatka
Domyślnie używamy konta magazynowego dla katalogu programu Hive, takiego samego jak konto magazynowe i kontener używany podczas tworzenia klastra.
Wybierz pozycję Dalej: Konfiguracja, aby kontynuować.
Na stronie Konfiguracja podaj następujące informacje:
Własność Opis Rozmiar węzła Wybierz rozmiar węzła do użycia dla węzłów Flink, zarówno głównych, jak i roboczych. Liczba węzłów Wybierz liczbę węzłów dla klastra Flink; domyślnie węzły główne to dwa. Rozmiarowanie węzłów roboczych pomaga określić konfiguracje menedżera zadań dla Flink. Serwery menedżera zadań i historii znajdują się w węzłach głównych. W sekcji Wdrażanie wybierz typ wdrożenia jako Tryb aplikacji podaj następujące informacje:
Własność Opis Ścieżka jar Nadaj ścieżkę pliku ABFS (Storage) dla pliku jar zadania. Na przykład abfs://flink@teststorage.dfs.core.windows.net/appmode/job.jarKlasa wejściowa (opcjonalnie) Klasa główna klastra trybu aplikacji. Na przykład: com.microsoft.testjob Argumenty (opcjonalnie) Argument dla klasy głównej pracy. Nazwa punktu zapisywania Nazwa starego punktu przywracania, którego chcesz użyć do startu zadania Tryb uaktualniania Wybierz domyślną opcję uaktualnienia. Ta opcja używana podczas uaktualniania wersji głównej dla klastra. Dostępne są trzy opcje. UPDATE: Używane, gdy użytkownik chce odzyskać dane z ostatniego punktu zapisu po dokonaniu uaktualnienia. STATELESS_UPDATE: Używane, gdy użytkownik chce ponownie uruchomić zadanie po uaktualnieniu. LAST_STATE_UPDATE: Używane, gdy użytkownik chce odzyskać zadanie z ostatniego punktu kontrolnego po uaktualnieniu Konfiguracja zadania Flink Dodaj więcej konfiguracji wymaganych dla zadania Flink. Wybierz pozycję "Agregacja dziennika zadań". Zaznacz pole wyboru, jeśli chcesz przekazać dziennik zadań do magazynu zdalnego. Ułatwia debugowanie problemów z zadaniem. Domyślną lokalizacją dziennika zadań jest "StorageAccount/Container/DeploymentId/logs". Domyślny katalog dziennika można zmienić, konfigurując "pipeline.remote.log.dir". Domyślny interwał zbierania dzienników wynosi 600 s. Użytkownik może zmienić, konfigurując "pipeline.log.aggregation.interval".
W sekcji Konfiguracja usługi podaj następujące informacje:
Własność Opis Użycie CPU w menedżerze zadań Liczba całkowita. Wprowadź rozmiar procesorów menedżera zadań (w rdzeniach). Pamięć menedżera zadań w MB Wprowadź rozmiar pamięci menedżera zadań w MB. Minimalna wartość 1800 MB. CPU menedżera zadań Liczba całkowita. Wprowadź liczbę procesorów DLA menedżera zadań (w rdzeniach). Pamięć menedżera zadań w MB Wprowadź rozmiar pamięci w MB. Co najmniej 1800 MB. CPU serwera historii Liczba całkowita. Wprowadź liczbę procesorów DLA menedżera zadań (w rdzeniach). Pamięć serwera historii w MB Wprowadź rozmiar pamięci w MB. Co najmniej 1800 MB. 
Kliknij przycisk Dalej: Integracja, aby przejść do następnej strony.
Na stronie Integracja podaj następujące informacje:
Własność Opis Analiza dzienników Ta funkcja jest dostępna tylko wtedy, gdy pulę klastrów połączoną z przestrzenią roboczą analizy dzienników można włączyć, a następnie wybrać logi do zbierania. Azure Prometheus Ta funkcja polega na wyświetlaniu szczegółowych informacji i dzienników bezpośrednio w klastrze przez wysyłanie metryk i dzienników do obszaru roboczego usługi Azure Monitor. 
Kliknij przycisk Dalej: Tagi, aby przejść do następnej strony.
Na stronie Tagi podaj następujące informacje:
Własność Opis Nazwa Fakultatywny. Wprowadź nazwę, taką jak usługa HDInsight w usłudze AKS, aby łatwo zidentyfikować wszystkie zasoby skojarzone z zasobami klastra. Wartość Możesz pozostawić to pole puste. Zasób Wybierz pozycję Wszystkie zasoby. Wybierz Dalej: Przejrzyj i utwórz, aby kontynuować.
Na stronie Recenzja + Tworzenie poszukaj komunikatu Weryfikacja zakończyła się pomyślnie w górnej części strony, a następnie kliknij Utwórz.
Na stronie procesu wdrażania wyświetli się informacja o tym, który klaster jest tworzony. Utworzenie klastra trwa od 5 do 10 minut. Po utworzeniu klastra zostanie wyświetlony komunikat "Wdrożenie zostało ukończone". Jeśli odejdziesz od strony, możesz sprawdzić powiadomienia pod kątem bieżącego stanu.
Zarządzanie zadaniem aplikacji z poziomu portalu
Usługa HDInsight AKS umożliwia zarządzanie zadaniami Flink. Możesz ponownie uruchomić zadanie, które zakończyło się niepowodzeniem. Uruchom ponownie zadanie z portalu.
Aby uruchomić zadanie Flink z portalu, przejdź do:
Portal > HDInsight w puli klastrów usługi AKS > Flink Cluster > Settings > Flink Jobs (Zadania flinkowania klastra usługi AKS).
Zatrzymaj: zadanie zatrzymania nie wymaga żadnych parametrów. Użytkownik może zatrzymać zadanie, wybierając akcję. Po zatrzymaniu zadania, stan zadania na portalu zostanie ustawiony na ZATRZYMANE.
Start: uruchamia zadanie z punktu zapisywania. Aby uruchomić zadanie, wybierz zatrzymane zadanie i uruchom je.
Aktualizacja: aktualizacja ułatwia ponowne uruchamianie zadań przy użyciu zaktualizowanego kodu zadania. Użytkownicy muszą zaktualizować plik JAR związany z najnowszym zadaniem w lokalizacji magazynu i zaktualizować zadanie z portalu. Ta akcja zatrzymuje zadanie z punktem zapisywania i uruchamia się ponownie przy użyciu najnowszego pliku jar.
Aktualizacja bezstanowa: Bezstanowa jest jak aktualizacja, ale obejmuje ponowne uruchomienie zadania z najnowszym kodem. Po zaktualizowaniu zadania stan zadania w portalu będzie wyświetlany jako Uruchomione.
Punkt kontrolny: Stwórz punkt kontrolny dla zadania Flink.
Anuluj: zakończ zadanie.
Usuń: Usuń klaster AppMode.
Wyświetl szczegóły zadania: aby wyświetlić szczegóły zadania, użytkownik może kliknąć nazwę zadania, podaje szczegółowe informacje o zadaniu i ostatnim wyniku akcji.
W przypadku każdej akcji, która zakończyła się niepowodzeniem, ten widok json zawiera szczegółowe wyjątki i przyczyny niepowodzenia.