Cluster s režimem aplikací Apache Flink ve službě HDInsight v AKS
Důležitý
Azure HDInsight na AKS byl ukončen 31. ledna 2025. Zjistěte více prostřednictvím tohoto oznámení.
Abyste se vyhnuli náhlému ukončení úloh, musíte migrovat úlohy do Microsoft Fabric nebo ekvivalentního produktu Azure.
Důležitý
Tato funkce je aktuálně ve verzi Preview. doplňkové podmínky použití pro verze Preview Microsoft Azure obsahují další právní podmínky, které se vztahují na funkce Azure, které jsou v beta verzi, ve verzi Preview nebo ještě nebyly vydány v běžné dostupnosti. Informace o této konkrétní verzi Preview najdete v tématu Azure HDInsight ve službě AKS ve verzi Preview. Pokud máte dotazy nebo návrhy funkcí, odešlete prosím žádost o AskHDInsight s podrobnostmi a sledujte nás o dalších aktualizacích komunity Azure HDInsight.
HDInsight v AKS teď nabízí cluster režimu aplikace Flink. Tento cluster umožňuje spravovat životní cyklus režimu aplikace Flink pomocí portálu Azure, který má snadno použitelný rozhraní, a REST API pro správu prostředků Azure. Clustery v režimu aplikací jsou navržené tak, aby podporovaly velké a dlouhotrvající úlohy s vyhrazenými prostředky a zpracovávaly úlohy náročné na prostředky nebo rozsáhlé úlohy zpracování dat.
Tento režim nasazení umožňuje přiřadit vyhrazené prostředky pro konkrétní aplikace Flink a zajistit tak, aby měly dostatek výpočetního výkonu a paměti pro efektivní zpracování velkých úloh.
Výhody
Zjednodušené nasazení clusteru pomocí JAR souboru pro úlohy.
Uživatelsky přívětivé REST API: HDInsight na AKS poskytuje REST API ARM, které je uživatelsky přívětivé a slouží ke správě operací úloh v režimu aplikace, jako jsou aktualizace, úložné body, zrušení, smazání.
Snadná správa aktualizací úloh a správy stavu: Nativní integrace webu Azure Portal poskytuje bezproblémové prostředí pro aktualizaci úloh a jejich obnovení do posledního uloženého stavu (savepoint). Tato funkce zajišťuje kontinuitu a integritu dat v průběhu životního cyklu úlohy.
Automatizace úloh Flink pomocí Azure Pipelines nebo jiných nástrojů CI/CD: Pomocí SLUŽBY HDInsight v AKS mají uživatelé Flink přístup k uživatelsky přívětivým rozhraním ARM REST API, můžete bezproblémově integrovat operace úloh Flink do kanálu Azure nebo jiných nástrojů CI/CD.
Klíčové funkce
zastavit a spustit úlohy s uložením: Uživatelé mohou řádně zastavit a spustit úlohy Flink AppMode z předchozího stavu (Savepoint). Body ukládání zajišťují zachování průběhu úlohy a umožňují bezproblémové obnovení.
aktualizace úloh: Uživatel může aktualizovat spuštěnou úlohu AppMode po aktualizaci souboru JAR v účtu úložiště. Tato aktualizace automaticky převezme bod uložení a spustí úlohu AppMode s novým souborem JAR.
bezstavové aktualizace: Provádění restartu úlohy AppMode je zjednodušeno prostřednictvím bezstavových aktualizací. Tato funkce umožňuje uživatelům zahájit čistý restart pomocí aktualizovaného JAR souboru úlohy.
Správa služby SavePoint: V každém okamžiku mohou uživatelé vytvářet body ukládání pro své spuštěné úlohy. Tyto body ukládání je možné uvést a použít k restartování úlohy z konkrétního kontrolního bodu podle potřeby.
Zrušit: Zruší úlohu trvale.
Odstranění: Odstranění clusteru AppMode.
Vytvoření clusteru aplikací Flink
Požadavky
Splňte předpoklady v následujících částech:
Přidejte JAR úloh do Účtu úložiště
Před nastavením clusteru s režimem aplikace Flink je potřeba provést několik přípravných kroků. Jedním z těchto kroků je umístění souboru JAR pro úlohu App Mode do účtu úložiště clusteru.
Vytvořte adresář pro soubor JAR úlohy režimu aplikace:
Uvnitř vyhrazených kontejnerů vytvořte adresář, do kterého nahrajete soubor JAR úlohy režimu aplikace. Tento adresář slouží jako umístění pro ukládání souborů JAR, které chcete zahrnout do classpathu Flink clusteru nebo úlohy.
Adresář savepoints (volitelné):
Pokud mají uživatelé v úmyslu provádět ukládání bodů během provádění úlohy, vytvořte v účtu úložiště samostatný adresář pro ukládání těchto bodů ukládání. Tento adresář slouží k ukládání dat kontrolních bodů a metadat pro body ukládání.
Příklad adresářové struktury:
Vytvoření clusteru s režimem aplikace Flink
Po dokončení nasazování fondu clusterů je možné vytvořit clustery Flink AppMode. Pokud začínáte se stávajícím fondem clusterů, je dobré si projít následující kroky.
V Azure portálu zadejte HDInsight cluster pools/HDInsight/HDInsight on AKS a vyberte Azure HDInsight na AKS cluster pools, čímž přejdete na stránku fondů clusterů. Na stránce s fondy clusterů HDInsight pro AKS vyberte ten fond clusterů, ve kterém chcete vytvořit nový cluster Flink.
Na stránce konkrétního fondu clusteru klikněte na + Nový cluster a zadejte následující informace:
Vlastnost Popis Předplatné Toto pole se automaticky vyplňuje předplatným Azure, které bylo zaregistrováno pro klastrový fond. Skupina prostředků Toto pole se automaticky naplní a zobrazí skupinu prostředků ve fondu clusteru. Oblast Toto pole se automaticky naplní a zobrazí oblast vybranou ve fondu clusterů. Fond clusterů Toto pole se automaticky naplní a zobrazí název fondu clusteru, na kterém se cluster právě vytváří. Pokud chcete vytvořit cluster v jiném fondu, najděte fond clusterů na portálu a klikněte na + Nový cluster. HDInsight ve verzi AKS Pool Toto pole se automaticky naplní a zobrazí verzi fondu clusteru, na které se cluster právě vytváří. HDInsight na verzi AKS Vyberte podverzi nebo verzi opravy služby HDInsight na AKS v novém clusteru. Typ clusteru V rozevíracím seznamu vyberte Flink. Název clusteru Zadejte název nového clusteru. Spravovaná identita přiřazená uživatelem V rozevíracím seznamu vyberte spravovanou identitu, která se má použít s clusterem. Pokud jste vlastníkem spravované identity služby (MSI), a tato MSI nemá v clusteru roli Operátora spravované identity, klikněte na odkaz pod políčkem a přiřaďte potřebná oprávnění z MSI fondu agentů AKS. Pokud už MSI má správná oprávnění, nezobrazí se žádný odkaz. Viz požadavky pro jiná přiřazení rolí vyžadovaná pro MSI. Účet úložiště V rozevíracím seznamu vyberte účet úložiště, který chcete přidružit ke clusteru Flink, a zadejte název kontejneru. Spravované identitě je dále udělen přístup ke stanovenému účtu úložiště pomocí role Vlastník úložiště dat objektů blob během vytváření clusteru. Virtuální síť Virtuální síť pro cluster. Podsíť Virtuální podsíť pro cluster. Povolení katalogu Hive pro Flink SQL:
Vlastnost Popis Použití katalogu Hive Chcete-li použít externí metastore Hive, povolte tuto možnost. SQL databáze pro Hive V rozevíracím seznamu vyberte databázi SQL, do které chcete přidat tabulky hive-metastore. Uživatelské jméno správce SQL Zadejte uživatelské jméno správce SQL Serveru. Tento účet používá metastor ke komunikaci s databází SQL. Úložiště klíčů V rozevíracím seznamu vyberte službu Key Vault, která obsahuje tajný kód s heslem pro uživatelské jméno správce SQL Serveru. Musíte nastavit zásadu přístupu se všemi požadovanými oprávněními, jako jsou oprávnění ke klíči, oprávnění k tajným klíčům a oprávnění k certifikátu MSI, která se používají k vytvoření clusteru. MSI potřebuje roli správce služby Key Vault. Přidejte požadovaná oprávnění pomocí IAM. Název tajného kódu hesla SQL Zadejte název tajného klíče ze služby Key Vault, kde je uloženo heslo databáze SQL. 
Poznámka
Ve výchozím nastavení používáme účet úložiště pro katalog Hive stejně jako účet úložiště a kontejner použitý při vytváření clusteru.
Vyberte Další: Konfigurace, abyste mohli pokračovat.
Na stránce Konfigurace zadejte následující informace:
Vlastnost Popis Velikost uzlu Vyberte velikost uzlu, která se má použít pro uzly Flink, jak hlavní, tak pracovní uzly. Počet uzlů Vyberte počet uzlů pro cluster Flink; ve výchozím nastavení jsou hlavní uzly dva. Určení velikosti pracovních uzlů pomáhá určit konfigurace správce úloh pro Flink. Správce úloh a servery historie se nacházejí na hlavních uzlech. V části Nasazení zvolte typ nasazení jako režim aplikace zadejte následující informace:
Vlastnost Popis Cesta JAR Zadejte cestu ABFS (Storage) pro soubor JAR vaší úlohy. Například abfs://flink@teststorage.dfs.core.windows.net/appmode/job.jarTřída vstupu (volitelné) Hlavní třída clusteru v režimu aplikace Příklad: com.microsoft.testjob Argumenty (volitelné) Argument pro hlavní třídu vaší úlohy Uložit název bodu Název starého bodu uložení, který chcete použít ke spuštění úlohy Režim aktualizace Vyberte výchozí možnost aktualizace. Tato možnost se používá při upgradu hlavní verze pro cluster. K dispozici jsou tři možnosti. UPDATE: Používá se, když se uživatel chce po upgradu vrátit k poslednímu bodu obnovení. STATELESS_UPDATE: Používá se, když uživatel po upgradu chce znovu restartovat úlohu. LAST_STATE_UPDATE: Používá se, když uživatel chce obnovit úlohu z posledního kontrolního bodu po upgradu. Konfigurace úlohy Flink Přidejte více požadovaných konfigurací pro úlohu Flink. Vyberte Agregaci protokolu úloh. Pokud chcete nahrát protokol úloh do vzdáleného úložiště, zaškrtněte políčko. Pomáhá ladit problémy s úlohami. Výchozí umístění pro protokol úloh je StorageAccount/Container/DeploymentId/logs. Výchozí adresář protokolu můžete změnit tak, že nakonfigurujete "pipeline.remote.log.dir". Výchozí interval pro shromažďování protokolů je 600 sekund. Uživatel může změnit konfigurací pipeline.log.aggregation.interval.
V části Konfigurace služby zadejte následující informace:
Vlastnost Popis Procesor správce úloh Celé číslo. Zadejte velikost procesorů správce úloh (v jádrech). Paměť správce úloh v MB Zadejte velikost paměti správce úloh v MB. Min. 1 800 MB. Procesor správce úloh Celé číslo. Zadejte počet procesorů pro správce úloh (v jádrech). Paměť správce úloh v MB Zadejte velikost paměti v MB. Minimálně 1 800 MB. CPU serveru historie Celé číslo. Zadejte počet procesorů pro správce úloh (v jádrech). Paměť historie serveru v MB Zadejte velikost paměti v MB. Minimálně 1 800 MB. 
Kliknutím na tlačítko Další: Integrace pokračujte na další stránku.
Na stránce Integrace zadejte následující informace:
Vlastnost Popis Analýza logů Tato funkce je dostupná jenom v případě, že je možné vybrat pracovní prostor log analytics přidružený k fondu clusterů, jakmile povolíte shromažďování protokolů. Azure Prometheus Tato funkce vám umožňuje přímo v clusteru zobrazit přehledy a protokoly tím, že odesíláte metriky a protokoly do pracovního prostoru Azure Monitoru. 
Kliknutím na tlačítko Další: Tagy pokračujte na další stránku.
Na stránce Značky zadejte následující informace:
Vlastnost Popis Jméno Volitelný. Zadejte název, jako je HDInsight v AKS, abyste mohli snadno identifikovat všechny prostředky přidružené k prostředkům clusteru. Hodnota Toto pole můžete nechat prázdné. Zdroj Vyberte všechny vybrané prostředky. Vyberte Další: Zkontrolovat a vytvořit pro pokračování.
Na stránce Zkontrolovat a vytvořit vyhledejte zprávu Ověření bylo úspěšné v horní části stránky a potom klikněte na Vytvořit.
Na stránce Nasazení v procesu se zobrazuje, který cluster je vytvořen. Vytvoření clusteru trvá 5 až 10 minut. Po vytvoření clusteru se zobrazí zpráva "Vaše nasazení je dokončeno". Pokud přejdete mimo stránku, můžete zkontrolovat aktuální stav oznámení.
Správa úlohy aplikace na portálu
HDInsight AKS poskytuje způsoby správy úloh Flink. Neúspěšnou úlohu můžete znovu spustit. Restartujte úlohu z portálu.
Pokud chcete spustit úlohu Flink z portálu, přejděte na:
Portál > HDInsight ve fondu clusterů AKS > nastavení clusteru Flink > úlohy Flink >.
Stop: Úloha zastavení nepožadovala žádné parametry. Uživatel může úlohu zastavit výběrem akce. Po zastavení úlohy se stav úlohy na portálu zastaví.
Zahájení: Spustí úlohu z aplikace SavePoint. Pokud chcete úlohu spustit, vyberte zastavenou úlohu a spusťte ji.
Aktualizace: Aktualizace pomáhá restartovat úlohy s aktualizovaným kódem úlohy. Uživatelé musí aktualizovat soubor JAR úlohy v úložném místě a úlohu aktualizovat z portálu. Tato akce zastaví úlohu s savepointem a spustí se znovu s nejnovějším souborem JAR.
Stateless Update: Stateless je jako aktualizace, ale zahrnuje nový restart úlohy s nejnovějším kódem. Po aktualizaci úlohy se stav úlohy na portálu zobrazí jako Spuštěno.
Savepoint: Převezměte bod uložení pro úlohu Flink.
Zrušit: Ukončete úlohu.
Odstranění: Odstraňte cluster AppMode.
Zobrazit podrobnosti o úloze: Pro zobrazení podrobností o úloze může uživatel kliknout na název úlohy. Tím se zobrazí podrobnosti o úloze a výsledek poslední akce.
U jakékoli neúspěšné akce poskytuje toto zobrazení JSON podrobné výjimky a důvody selhání.