Sdílet prostřednictvím

Vytvoření clusteru Apache Flink® ve službě HDInsight v AKS pomocí webu Azure Portal

  • Článek

Důležitý

Azure HDInsight v AKS byl vyřazen 31. ledna 2025. Další informace s tímto oznámením.

Abyste se vyhnuli náhlému ukončení úloh, musíte migrovat úlohy do Microsoft Fabric nebo ekvivalentního produktu Azure.

Důležitý

Tato funkce je aktuálně ve verzi Preview. doplňkové podmínky použití pro předběžné verze Microsoft Azure obsahují další právní podmínky, které se vztahují na funkce Azure, které jsou v beta verzi, v předběžné verzi nebo ještě nebyly vydány k obecnému zpřístupnění. Pro informace o tomto konkrétním Preview si prohlédněte Azure HDInsight v AKS Preview. Pokud máte dotazy nebo návrhy funkcí, odešlete prosím žádost na AskHDInsight s podrobnostmi a sledujte nás pro další aktualizace na komunitě Azure HDInsight.

Provedením následujících kroků vytvořte cluster Apache Flink na webu Azure Portal.

Požadavky

Dokončete požadavky v následujících částech:

Důležitý

  • Pro vytvoření clusteru v novém fondu clusterů přiřaďte roli MSI "Managed Identity Operator" (Operátor spravované identity) AKS pro spravovanou identitu přiřazenou uživatelem vytvořenou v rámci požadavků na prostředek. V případě, že máte požadovaná oprávnění, se tento krok během vytváření automatizuje.
  • Spravovaná identita agentpoolu AKS se vytvoří během vytváření clusterového fondu. Spravovanou identitu fondu agentů AKS můžete identifikovat jako (název poolu clusteru)-agentpool. Podle těchto kroků přiřaďte roli.

Clustery Flink lze vytvořit po dokončení nasazení fondu clusterů. Pokud začínáte pracovat se stávajícím fondem clusterů, projdeme si kroky.

  1. Na webu Azure Portal zadejte fondy clusterů HDInsight, HDInsight nebo HDInsight ve službě AKS a výběrem azure HDInsight ve fondech clusterů AKS přejděte na stránku fondů clusterů. Na stránce fondů clusterů HDInsight na AKS vyberte fond clusterů, ve kterém chcete vytvořit nový Flink cluster.

    diagram zobrazující panel hledání na webu Azure Portal

  2. Na stránce konkrétního fondu clusterů klikněte na + Nový cluster a zadejte následující informace:

    Vlastnost Popis
    Předplatné Toto pole je automaticky předvyplněno předplatným Azure, které bylo zaregistrováno pro fond klastrů.
    Skupina prostředků Toto pole je automaticky vyplněné a zobrazuje skupinu prostředků v clusterovém fondu.
    Oblast Toto pole je automaticky vyplněné a zobrazuje oblast vybranou ve fondu clusterů.
    Fond clusterů Toto pole je automaticky vyplněné a zobrazuje název fondu clusteru, na kterém se cluster právě vytváří. Pokud chcete vytvořit cluster v jiném fondu, najděte tento fond clusteru na portálu a klikněte na + Nový cluster.
    HdInsight ve verzi fondu AKS Toto pole je automaticky vyplněné a zobrazuje verzi fondu clusterů, na které se cluster právě vytváří.
    HDInsight pro AKS verzi Vyberte podverzi nebo opravnou verzi HDInsight na AKS nového clusteru.
    Typ clusteru V rozevíracím seznamu vyberte Flink.
    Název clusteru Zadejte název nového clusteru.
    Spravovaná identita přiřazená uživatelem V rozevíracím seznamu vyberte spravovanou identitu, která se má použít s clusterem. Pokud jste vlastníkem spravované identitní služby (MSI) a MSI nemá v clusteru roli spravovaného identitního operátora, kliknutím na odkaz pod polem přiřaďte potřebná oprávnění pro MSI fondu agentů AKS. Pokud už MSI má správná oprávnění, nezobrazí se žádný odkaz. Podívejte se na požadavky pro další přiřazení rolí nezbytné pro MSI.
    Účet úložiště V rozevíracím seznamu vyberte účet úložiště, který chcete přidružit ke clusteru Flink, a zadejte název kontejneru. Spravovaná identita má dále udělen přístup k zadanému účtu úložiště pomocí role Vlastník datových objektů Blob v úložišti při vytváření clusteru.
    Virtuální síť Virtuální síť pro cluster.
    Podsíť Virtuální podsíť pro cluster.

  3. Povolení katalogu Hive pro Flink SQL

    Vlastnost Popis
    Použití katalogu Hive Tuto možnost povolte, pokud chcete použít externí metastore Hive.
    SQL databáze pro Hive V rozevíracím seznamu vyberte databázi SQL, do které chcete přidat tabulky hive-metastore.
    Uživatelské jméno správce SQL Zadejte uživatelské jméno správce SQL Serveru. Tento účet používá metastor ke komunikaci s databází SQL.
    Úložiště klíčů V rozevíracím seznamu vyberte službu Key Vault, která obsahuje tajný kód s heslem pro uživatelské jméno správce SQL Serveru. Musíte nastavit zásadu přístupu se všemi požadovanými oprávněními, jako jsou oprávnění ke klíči, oprávnění k tajným klíčům a oprávnění k certifikátu MSI, která se používají k vytvoření clusteru. MSI potřebuje roli správce služby Key Vault a přidat požadovaná oprávnění pomocí IAM.
    Název tajného kódu hesla SQL Zadejte název tajného klíče ze služby Key Vault, kde je uloženo heslo databáze SQL.

    Snímek obrazovky zobrazující základní kartu .

    Poznámka

    Ve výchozím nastavení používáme účet Storage pro katalog Hive stejně jako účet úložiště a kontejner použitý při vytváření clusteru.

  4. Vyberte Další: Pokračujte v konfiguraci.

  5. Na stránce Konfigurace zadejte následující informace:

    Majetek Popis
    Velikost uzlu Vyberte velikost uzlu, která se má použít pro uzly Flink, jak hlavní, tak pracovní uzly.
    Počet uzlů Vyberte počet uzlů pro cluster Flink; ve výchozím nastavení jsou hlavní uzly dva. Určení velikosti pracovních uzlů pomáhá určit konfigurace správce úloh pro Flink. Správce úloh a server historie jsou na hlavních uzlech.

  6. V části Konfigurace služby zadejte následující informace:

    Vlastnost Popis
    Procesor správce úloh Celé číslo. Zadejte velikost procesorů správce úloh (v jádrech).
    Paměť správce úloh v MB Zadejte velikost paměti správce úloh v MB. Min. 1800 MB.
    Procesor správce úloh Celé číslo. Zadejte počet procesorů pro správce úloh (v jádrech).
    Paměť správce úloh v MB Zadejte velikost paměti v MB. Minimálně 1800 MB.
    Procesor serveru historie Celé číslo. Zadejte počet procesorů pro správce úloh (v jádrech).
    Paměť historie serveru v MB Zadejte velikost paměti v MB. Minimálně 1800 MB.

    snímek obrazovky zobrazuje kartu konfigurace

    Poznámka

    • Server historie je možné podle potřeby povolit nebo zakázat.
    • Automatické škálování na základě plánu se podporuje v Flinku. Podle potřeby můžete naplánovat počet pracovních uzlů. Povolí se například automatické škálování na základě plánu s výchozím počtem pracovních uzlů jako 3. Během pracovních dnů od 9:00 UTC do 20:00 UTC je naplánováno mít 10 pracovních uzlů. Později v den musí být ve výchozím nastavení nastaveno na 3 uzly (od 20:00 UTC do následujícího dne 09:00 UTC). Během víkendů od 9:00 UTC do 20:00 UTC jsou pracovní uzly 4.

  7. V části Automatické škálování & SSH aktualizujte následující:

    Vlastnost Popis
    Automatické škálování Po výběru byste mohli zvolit automatické škálování na základě plánu a nakonfigurovat plán pro operace škálování.
    Povolení SSH Po výběru můžete zvolit celkový počet požadovaných uzlů SSH, což jsou přístupové body pro rozhraní příkazového řádku Flink pomocí Secure Shellu. Maximální povolený počet uzlů SSH je 5.

    Snímek obrazovky zobrazující konfiguraci služby automatického škálování

    Snímek obrazovky zobrazující pravidla automatického škálování

  8. Kliknutím na tlačítko Další: Integrace pokračujte na další stránku.

  9. Na stránce integrace zadejte následující informace:

    Nemovitost / Majetek (depending on context) Popis
    Analýza logů Tato funkce je dostupná jenom v případě, že fond clusterů má přidružený pracovní prostor pro Log Analytics. Jakmile je povoleno shromažďování protokolů, lze vybrat, které protokoly se mají shromažďovat.
    Azure Prometheus Tato funkce slouží k zobrazení analýz a protokolů přímo ve vašem clusteru tím, že odesílá metriky a protokoly do pracovního prostoru Azure Monitor.

    snímek obrazovky s kartou Integrace

  10. Kliknutím na tlačítko Další: Značky pokračujte na další stránku.

  11. Na stránce Značky zadejte následující informace:

    Vlastnost Popis
    Jméno Volitelný. Zadejte název, jako je HDInsight v AKS, abyste mohli snadno identifikovat všechny prostředky přidružené k prostředkům clusteru.
    Hodnota Toto pole můžete nechat prázdné.
    Zdroj Vyberte všechny vybrané prostředky.

  12. Vyberte Další: Zkontrolovat a vytvořit.

  13. Na stránce Zkontrolovat a vytvořit vyhledejte zprávu Ověření bylo úspěšné v horní části stránky a pak klikněte na Vytvořit.

Na stránce je zobrazen proces nasazení, při kterém se vytváří cluster. Vytvoření clusteru trvá 5 až 10 minut. Po vytvoření clusteru se zobrazí zpráva "Vaše nasazení je dokončeno." Pokud přejdete mimo stránku, můžete zkontrolovat aktuální stav oznámení.

Poznámka

Názvy projektů Apache, Apache Flink, Flink a projektů open source spojené s nimi jsou ochranné známky Apache Software Foundation (ASF).