Dela via


Skapa Spark-kluster i HDInsight på AKS (förhandsversion)

Viktig

Azure HDInsight på AKS drogs tillbaka den 31 januari 2025. Lär dig mer genom det här meddelandet.

Du måste migrera dina arbetsbelastningar till Microsoft Fabric- eller en motsvarande Azure-produkt för att undvika plötsliga uppsägningar av dina arbetsbelastningar.

Viktig

Den här funktionen är för närvarande i förhandsversion. De kompletterande användningsvillkoren för Förhandsversioner av Microsoft Azure innehåller fler juridiska villkor som gäller för Azure-funktioner som är i betaversion, förhandsversion eller på annat sätt ännu inte har släppts i allmän tillgänglighet. Information om den här specifika förhandsversionen finns i Azure HDInsight på AKS-förhandsversionsinformation. För frågor eller funktionsförslag, skicka en begäran på AskHDInsight med detaljerna och följ oss för fler uppdateringar i Azure HDInsight Community.

När prenumerationskrav och resurskrav steg har slutförts och du har distribuerat en klusterpool fortsätter du att använda Azure-portalen för att skapa ett Spark-kluster. Du kan använda Azure-portalen för att skapa ett Apache Spark-kluster i klusterpoolen. Du kan sedan skapa en Jupyter Notebook och använda den för att köra Spark SQL-frågor mot Apache Hive-tabeller.

  1. I Azure-portalen skriver du klusterpooler och väljer klusterpooler för att gå till sidan klusterpooler. På sidan klusterpooler väljer du den klusterpool där du kan lägga till ett nytt Spark-kluster.

  2. På sidan för den specifika klusterpoolen klickar du på + Nytt kluster.

    Skärmbild som visar hur du skapar ett nytt Spark-kluster.

    Det här steget öppnar sidan skapa kluster.

    Skärmbild som visar grundläggande sida för att skapa kluster.

    Egenskap Beskrivning
    Abonnemang Det Azure-abonnemang som har registrerats för användning med HDInsight på AKS i avsnittet Förutsättningar kommer att vara förifyllt
    Resursgrupp Samma resursgrupp som klusterpoolen fylls i i förväg
    Region Samma region som klusterpoolen och den virtuella kommer att fyllas i i förväg
    Klusterpool Namnet på klusterpoolen fylls i i förväg
    HDInsight-poolversion Klusterpoolversionen förifylls från valet för poolskapandet
    HDInsight på AKS-version Ange HDI på AKS-versionen
    Klustertyp I listrutan väljer du Spark
    Klusterversion Välj vilken version av avbildningsversionen som ska användas
    Klusternamn Ange namnet på det nya klustret
    Användartilldelad hanterad identitet Välj den användartilldelade hanterade identiteten som ska fungera som en anslutningssträng med lagringen
    Lagringskonto Välj det förskapade lagringskontot som ska användas som primär lagring för klustret
    Containernamn Välj containernamnet (unikt) om det skapas i förväg eller skapar en ny container
    Hive-katalog (valfritt) Välj det i förväg skapade Hive-metaarkivet (Azure SQL DB)
    SQL-databas för Hive I listrutan väljer du den SQL Database där du vill lägga till hive-metaarkivtabeller.
    ANVÄNDARNAMN för SQL-administratör Ange användarnamnet för SQL-administratören
    Nyckelvalv I listrutan väljer du Key Vault, som innehåller en hemlighet med lösenord för SQL-administratörens användarnamn
    Namn på SQL-lösenordshemlighet Ange det hemliga namnet från Key Vault där SQL DB-lösenordet lagras

    Not

    • För närvarande stöder HDInsight endast MS SQL Server-databaser.
    • På grund av Hive-begränsning stöds inte "-" (bindestreck) i metaarkivdatabasens namn.
  3. Välj Nästa: Konfiguration + prissättning för att fortsätta.

    Skärmbild som visar prisflik 1.

    Skärmbild som visar prisflik 2.

    Skärmbild som visar fliken ssh.

    Egenskap Beskrivning
    Nodstorlek Välj den nodstorlek som ska användas för Spark-noderna
    Antal arbetsnoder Välj antalet noder för Spark-kluster. Av dessa är tre noder reserverade för koordinator- och systemtjänster, återstående noder är dedikerade till Spark-arbetare, en arbetare per nod. I ett kluster med fem noder finns det till exempel två arbetare
    Automatisk skalning Klicka på växlingsknappen för att aktivera autoskalning
    Autoskalningstyp Välj från antingen belastningsbaserad eller schemabaserad autoskalning
    Smidig timeout för avaktivering Ange en respitfri timeout för avaktivering
    Antal standardarbetarnoder Välj antalet noder för autoskalning
    Tidszon Välj tidszonen
    Regler för autoskalning Välj dag, starttid, sluttid, antal arbetsnoder
    Aktivera SSH Om det är aktiverat kan du definiera prefix och antal SSH-noder
  4. Klicka på Nästa: Integreringar för att aktivera och välja Log Analytics för loggning.

    Azure Prometheus för övervakning och mått kan aktiveras när klustret har skapats.

    Skärmbild som visar fliken Integrering.

  5. Klicka på Nästa: Taggar för att gå vidare till nästa sida.

    Skärmbild som visar fliken Taggar.

  6. På sidan Taggar anger du eventuella taggar som du vill lägga till i resursen.

    Egenskap Beskrivning
    Namn Valfri. Ange ett namn som HDInsight på AKS Private Preview för att enkelt identifiera alla resurser som är associerade med dina resurser
    Värde Lämna det här tomt
    Resurs Välj Alla resurser har valts
  7. Klicka på Nästa: Granska och skapa.

  8. På sidan Granska + skapaletar du efter meddelandet Validering lyckades överst på sidan och klickar sedan på Skapa.

  9. Distribution pågår sidan visas som klustret skapas. Det tar 5–10 minuter att skapa klustret. När klustret har skapats visas meddelandet Din distribution är klar. Om du navigerar bort från sidan kan du kontrollera statusen för dina meddelanden.

  10. Gå till -klusteröversiktssidan. Du kan se slutpunktslänkar där.

    Skärmbild som visar klusteröversiktssidan.