Dela via


Skapa ett Apache Flink-kluster® i HDInsight på AKS med Azure-portalen

Viktig

Azure HDInsight på AKS drogs tillbaka den 31 januari 2025. Läs mer med det här meddelandet.

Du måste migrera dina arbetsbelastningar till Microsoft Fabric- eller en motsvarande Azure-produkt för att undvika plötsliga uppsägningar av dina arbetsbelastningar.

Viktig

Den här funktionen är för närvarande i förhandsversion. De kompletterande användningsvillkoren för Förhandsversioner av Microsoft Azure innehåller fler juridiska villkor som gäller för Azure-funktioner som är i betaversion, förhandsversion eller på annat sätt ännu inte har släppts i allmän tillgänglighet. Information om den här specifika förhandsversionen finns i Azure HDInsight på AKS-förhandsversionsinformation. För frågor eller funktionsförslag ska du skicka in en begäran till AskHDInsight med informationen och följ oss för fler uppdateringar om Azure HDInsight Community.

Slutför följande steg för att skapa ett Apache Flink-kluster på Azure-portalen.

Förutsättningar

Slutför förutsättningarna i följande avsnitt:

Viktig

  • Om du vill skapa ett kluster i en ny klusterpool tilldelar du rollen "Hanterad identitetsoperatör" till AKS-agentpoolens MSI för den användartilldelade hanterade identitet som skapades som en del av resursens förkrav. Om du har nödvändiga behörigheter automatiseras det här steget när du skapar.
  • AKS-agentpoolens hanterade identitet skapas när klusterpoolen skapas. Du kan identifiera den hanterade identiteten för AKS-agentpoolen genom (klusterpoolens namn)-agentpool. Följ dessa steg för att tilldela rollen.

Flink-kluster kan skapas när distributionen av klusterpoolen har slutförts. Låt oss gå igenom stegen om du kommer igång med en befintlig klusterpool

  1. I Azure-portalen skriver du HDInsight-klusterpooler/HDInsight/HDInsight på AKS och väljer Azure HDInsight på AKS-klusterpooler för att navigera till sidan för klusterpooler. På sidan HDInsight på AKS-klusterpooler väljer du den klusterpool där du vill skapa ett nytt Flink-kluster.

    diagram som visar sökfältet i Azure-portalen.

  2. På sidan för den specifika klusterpoolen klickar du på + Nytt kluster och anger följande information:

    Egenskap Beskrivning
    Abonnemang Det här fältet fylls i automatiskt med den Azure-prenumeration som registrerades för klusterpoolen.
    Resursgrupp Det här fältet fylls i automatiskt och visar resursgruppen i klusterpoolen.
    Region Det här fältet fylls i automatiskt och visar den region som valts i klusterpoolen.
    Klusterpool Det här fältet fylls i automatiskt och visar klusterpoolens namn som klustret nu skapas på. Om du vill skapa ett kluster i en annan pool letar du reda på klusterpoolen i portalen och klickar på + Nytt kluster.
    HDInsight på AKS-poolversion Det här fältet fylls i automatiskt och visar den klusterpoolversion som klustret nu skapas på.
    HDInsight på AKS-version Välj den lägre versionen eller korrigeringsversionen av HDInsight på AKS för det nya klustret.
    Klustertyp I listrutan väljer du Flink.
    Klusternamn Ange namnet på det nya klustret.
    Användartilldelad hanterad identitet I listrutan väljer du den hanterade identitet som ska användas med klustret. Om du är ägare till den hanterade tjänstidentiteten (MSI) och MSI inte har rollen Hanterad identitetsoperator i klustret klickar du på länken under rutan för att tilldela den behörighet som krävs från MSI för AKS-agentpoolen. Om MSI redan har rätt behörigheter visas ingen länk. Se krav för andra rolltilldelningar som krävs för MSI.
    Lagringskonto I listrutan väljer du det lagringskonto som ska associeras med Flink-klustret och anger containernamnet. Den hanterade identiteten beviljas ytterligare åtkomst till det angivna lagringskontot med hjälp av rollen "Lagringsblobdataägare" när klustret skapas.
    Virtuellt nätverk Det virtuella nätverket för klustret.
    Undernät Det virtuella undernätet för klustret.
  3. Aktivera Hive-katalog för Flink SQL.

    Egenskap Beskrivning
    Använd Hive-katalog Aktivera det här alternativet om du vill använda ett externt Hive-metaarkiv.
    SQL-databas för Hive I listrutan väljer du den SQL Database där du vill lägga till hive-metaarkivtabeller.
    ANVÄNDARNAMN för SQL-administratör Ange användarnamnet för SQL Server-administratören. Det här kontot används av metaarkivet för att kommunicera med SQL-databasen.
    Nyckelvalv I listrutan väljer du Key Vault, som innehåller en hemlighet med lösenord för SQL Server Admin-användarnamn. Du måste konfigurera en åtkomstprincip med alla nödvändiga behörigheter, till exempel nyckelbehörigheter, hemliga behörigheter och certifikatbehörigheter till MSI, som används för att skapa klustret. MSI behöver rollen Key Vault-administratör och lägger till de behörigheter som krävs med hjälp av IAM.
    Namn på SQL-lösenordshemlighet Ange det hemliga namnet från Key Vault där SQL-databaslösenordet lagras.

    Skärmbild som visar fliken Grundläggande.

    Not

    Som standard använder vi Storage-kontot för Hive-katalogen på samma sätt som lagringskontot och containern som användes när klustret skapades.

  4. Välj nästa konfiguration för att fortsätta.

  5. På sidan Konfiguration anger du följande information:

    Egenskap Beskrivning
    Nodstorlek Välj den nodstorlek som ska användas för Flink-noderna både huvud- och arbetsnoder.
    Antal noder Välj antalet noder för Flink-klustret. som standard är huvudnoder två. Storleken på arbetarnoderna hjälper till att bestämma konfigurationerna för uppgiftschefen i Flink. Jobbhanteraren och historikservern finns på huvudnoder.
  6. I avsnittet Service Configuration anger du följande information:

    Egenskap Beskrivning
    Aktivitetshanterarens CPU Heltal. Ange storleken på Aktivitetshanterarens processorer (i kärnor).
    Minne för Aktivitetshanteraren i MB Ange minnesstorleken för Aktivitetshanteraren i MB. Min på 1 800 MB.
    CPU för Job Manager Heltal. Ange antalet processorer för Jobbhanteraren (i kärnor).
    Jobbhanterarens minne i MB Ange minnesstorleken i MB. Minst 1 800 MB.
    Processor för historikserver Heltal. Ange antalet processorer för Jobbhanteraren (i kärnor).
    Historikserverminne i MB Ange minnesstorleken i MB. Minst 1 800 MB.

    skärmbild som visar fliken Konfigurationer.

    Obs

    • Historikservern kan aktiveras/inaktiveras efter behov.
    • Schemabaserad autoskalning stöds i Flink. Du kan schemalägga antalet arbetsnoder efter behov. Till exempel aktiveras en schemabaserad autoskalning med standardantalet arbetsnoder som 3. Och under vardagar från 9:00 UTC till 20:00 UTC schemaläggs arbetsnoderna till 10. Senare på dagen måste standardvärdet vara 3 noder ( mellan 20:00 UTC och nästa dag 09:00 UTC ). Under helger från 9:00 UTC till 20:00 UTC är arbetsnoderna 4.
  7. Uppdatera följande i avsnittet Automatisk skalning & SSH:

    Egenskap Beskrivning
    Automatisk skalning När du väljer kan du välja den schemabaserade autoskalningen för att konfigurera schemat för skalningsåtgärder.
    Aktivera SSH När du väljer kan du välja det totala antalet SSH-noder som krävs, vilket är åtkomstpunkterna för Flink CLI med secure shell. Maximalt antal tillåtna SSH-noder är 5.

    Skärmbild som visar konfigurationen för autoskalningstjänsten.

    Skärmbild som visar regler för automatisk skalning.

  8. Klicka på knappen Nästa: Integrering för att fortsätta till nästa sida.

  9. På sidan Integration anger du följande information:

    Egenskap Beskrivning
    Log Analytics Den här funktionen är endast tillgänglig om klusterpoolen har en associerad log analytics-arbetsyta. När den är aktiverad kan de loggar som ska samlas in väljas.
    Azure Prometheus Den här funktionen är att visa insikter och loggar direkt i klustret genom att skicka mått och loggar till Azure Monitor-arbetsytan.

    skärmbild som visar fliken Integreringar.

  10. Klicka på knappen Nästa: Taggar för att fortsätta till nästa sida.

  11. På sidan Taggar anger du följande information:

    Egenskap Beskrivning
    Namn Valfri. Ange ett namn som HDInsight på AKS för att enkelt identifiera alla resurser som är associerade med dina klusterresurser.
    Värde Du kan lämna det tomt.
    Resurs Välj Alla resurser har valts.
  12. Välj Nästa: Granska + skapa för att fortsätta.

  13. På sidan Granska + skapa letar du efter meddelandet Validering lyckades överst på sidan och sedan klickar du på Skapa.

Implementeringen pågår och sidan visas där klustret skapas. Det tar 5–10 minuter att skapa klustret. När klustret har skapats visas "Distributionen är klar" meddelande. Om du navigerar bort från sidan kan du kontrollera om dina meddelanden har aktuell status.

Obs

Apache, Apache Flink, Flink och associerade projektnamn med öppen källkod är varumärken av Apache Software Foundation (ASF).