Dela via

Viktig information om Azure HDInsight på AKS-arkiverad

  • Artikel

Kommentar

Vi drar tillbaka Azure HDInsight på AKS den 31 januari 2025. Före den 31 januari 2025 måste du migrera dina arbetsbelastningar till Microsoft Fabric eller en motsvarande Azure-produkt för att undvika plötsliga uppsägningar av dina arbetsbelastningar. Återstående kluster i din prenumeration stoppas och tas bort från värden.

Endast grundläggande stöd kommer att vara tillgängligt fram till datumet för pensionering.

Viktigt!

Den här funktionen finns i förhandsgranskning. De kompletterande användningsvillkoren för Förhandsversioner av Microsoft Azure innehåller fler juridiska villkor som gäller för Azure-funktioner som är i betaversion, förhandsversion eller på annat sätt ännu inte har släppts i allmän tillgänglighet. Information om den här specifika förhandsversionen finns i Azure HDInsight på AKS-förhandsversionsinformation. Om du vill ha frågor eller funktionsförslag skickar du en begäran på AskHDInsight med informationen och följer oss för fler uppdateringar i Azure HDInsight Community.

Azure HDInsight på AKS är en av de mest populära tjänsterna bland företagskunder för analys med öppen källkod i Azure. Om du vill prenumerera på viktig information kan du titta på versioner på den här GitHub-lagringsplatsen.

Utgivningsdatum: 05 aug 2024

Den här versionen gäller för följande

  • Klusterpoolversion: 1.2
  • Klusterversion: 1.2.1
  • AKS-version: 1.27

Nya funktioner

MSI-baserad SQL-autentisering Användare kan nu autentisera externt Azure SQL DB-metaarkiv med MSI i stället för lösenordsautentisering för användar-ID. Den här funktionen hjälper till att ytterligare skydda klusteranslutningen med Metastore.

Konfigurerbara VM-SKU:er för huvudnod, SSH-nod Den här funktionen gör det möjligt för användare att välja specifika SKU:er för huvudnoder, arbetsnoder och SSH-noder, vilket ger flexibiliteten att välja enligt användningsfallet och möjligheten att sänka den totala ägandekostnaden (TCO).

Flera MSI i klustret Användare kan konfigurera flera MSI för klusteradministratörsåtgärder och för jobbrelaterad resursåtkomst. Med den här funktionen kan användare avgränsa och styra åtkomsten till klustret och data som finns i lagringskontot. Till exempel en MSI för åtkomst till data i lagringskontot och dedikerad MSI för klusteråtgärder.

Uppdaterad

Skriptåtgärd Skriptåtgärd kan nu läggas till med Sudo-användarbehörighet. Användare kan nu installera flera beroenden, inklusive anpassade jar-filer för att anpassa klustren efter behov.

Genvägsfunktionen Bibliotekshantering Maven-lagringsplats har lagts till i bibliotekshantering i den här versionen. Användaren kan nu installera Maven-beroenden direkt från lagringsplatser med öppen källkod.

Spark 3.4 Spark 3.4-uppdateringen innehåller en rad nya funktioner

  • API-förbättringar
  • Förbättringar av strukturerad strömning
  • Förbättrad användbarhet och utvecklarupplevelse

Viktigt!

För att kunna dra nytta av alla dessa senaste funktioner måste du skapa en ny klusterpool med 1.2 och klusterversion 1.2.1

Kända problem

  • Identitetsbegränsning för arbetsbelastning:
    • Det finns en känd begränsning när du övergår till arbetsbelastningsidentitet. Den här begränsningen beror på FIC-åtgärdernas behörighetskänsliga karaktär. Användare kan inte ta bort ett kluster genom att ta bort resursgruppen. Begäranden om borttagning av kluster måste utlösas av programmet/användaren/huvudkontot med FIC-/borttagningsbehörigheter. Om FIC-borttagningen misslyckas misslyckas även borttagningen av högnivåkluster.
    • Stöd för användartilldelade hanterade identiteter (UAMI) – Det finns en gräns på 20 FIC per UAMI. Du kan bara skapa 20 federerade autentiseringsuppgifter för en identitet. I HDInsight i AKS-kluster har FIC (Federerad identitetsautentisering) och SA en-till-en-mappning och endast 20 SA:er kan skapas mot en MSI. Om du vill skapa fler kluster måste du ange olika MSI:er för att övervinna begränsningen.
    • Skapande av federerade identitetsautentiseringsuppgifter stöds för närvarande inte för användartilldelade hanterade identiteter som skapats i dessa regioner

Operativsystemversion

  • Mariner OS 2.0

Arbetsbelastningsversioner

Arbetsbelastning Version
Trino 440
Flink 1.17.0
Apache Spark 3.4

Java- och Scala-versioner som stöds

Arbetsbelastning Java Scala
Trino Öppna JDK 21.0.2 - 
Flink Öppna JDK 11.0.21 2.12.7
Spark Öppna JDK 1.8.0_345 2.12.15

Förhandsversionen är tillgänglig i följande regioner.

Om du har fler frågor kan du kontakta Azure Support eller gå till sidan Supportalternativ . Om du har produktspecifik feedback kan du skriva till oss på aka.ms/askhdinsight.

Utgivningsdatum: 20 mars 2024

Den här versionen gäller för följande

  • Klusterpoolversion: 1.1
  • Klusterversion: 1.1.1
  • AKS-version: 1.27

Nya funktioner

Apache Flink-programlägeskluster

Programlägeskluster är utformade för att stödja dedikerade resurser för stora och långvariga jobb. När du har resursintensiva eller omfattande databearbetningsuppgifter kan du använda kluster för programläge. Med det här läget kan du allokera dedikerade resurser för specifika Apache Flink-program, vilket säkerställer att de har den databehandlingskraft och det minne som krävs för att hantera stora arbetsbelastningar effektivt.

Mer information finns i Apache Flink Application Mode-kluster på HDInsight på AKS.

Privata kluster för HDInsight på AKS

Med privata kluster och inställningar för utgående kluster kan du nu styra inkommande och utgående trafik från HDInsight på AKS-klusterpooler och kluster.

  • Använd Azure Firewall eller nätverkssäkerhetsgrupper (NSG: er) för att styra utgående trafik när du väljer att använda utgående klusterpool med lastbalanserare.
  • Använd Utgående klusterpool med användardefinierad routning för att styra utgående trafik på undernätsnivå.
  • Använd funktionen Privat AKS-kluster – För att säkerställa att AKS-kontrollplanet eller API-servern har interna IP-adresser. Nätverkstrafiken mellan AKS-kontrollplanet/API-servern och HDInsight på AKS-nodpooler (kluster) förblir endast i det privata nätverket.
  • Undvik att skapa offentliga IP-adresser för klustret. Använd funktionen för privat ingress i dina kluster.

Mer information finns i Kontrollera nätverkstrafik från HDInsight på AKS-klusterpooler och kluster.

Uppgradering på plats

Uppgradera dina kluster och klusterpooler med de senaste programuppdateringarna. Det innebär att du kan använda de senaste snabbkorrigeringarna för klusterpaket, säkerhetsuppdateringar och AKS-korrigeringar utan att återskapa kluster. Mer information finns i Uppgradera DIN HDInsight på AKS-kluster och klusterpooler.

Viktigt!

För att kunna dra nytta av alla dessa senaste funktioner måste du skapa en ny klusterpool med 1.1 och klusterversion 1.1.1.

Kända problem

  • Identitetsbegränsning för arbetsbelastning:
    • Det finns en känd begränsning när du övergår till arbetsbelastningsidentitet. Den här begränsningen beror på FIC-åtgärdernas behörighetskänsliga karaktär. Användare kan inte ta bort ett kluster genom att ta bort resursgruppen. Begäranden om borttagning av kluster måste utlösas av programmet/användaren/huvudkontot med FIC-/borttagningsbehörigheter. Om FIC-borttagningen misslyckas misslyckas även borttagningen av högnivåkluster.
    • Stöd för användartilldelade hanterade identiteter (UAMI) – Det finns en gräns på 20 FIC per UAMI. Du kan bara skapa 20 federerade autentiseringsuppgifter för en identitet. I HDInsight i AKS-kluster har FIC (Federerad identitetsautentisering) och SA en-till-en-mappning och endast 20 SA:er kan skapas mot en MSI. Om du vill skapa fler kluster måste du ange olika MSI:er för att övervinna begränsningen.
    • Skapande av federerade identitetsautentiseringsuppgifter stöds för närvarande inte för användartilldelade hanterade identiteter som skapats i dessa regioner

Operativsystemversion

  • Mariner OS 2.0

Arbetsbelastningsversioner

Arbetsbelastning Version
Trino 426
Flink 1.17.0
Apache Spark 3.3.1

Java- och Scala-versioner som stöds

Arbetsbelastning Java Scala
Trino Öppna JDK 17.0.7 - 
Flink Öppna JDK 11.0.21 2.12.7
Spark Öppna JDK 1.8.0_345 2.12.15

Förhandsversionen är tillgänglig i följande regioner.

Om du har fler frågor kan du kontakta Azure Support eller gå till sidan Supportalternativ . Om du har produktspecifik feedback kan du skriva till oss på aka.ms/askhdinsight.

Utgivningsdatum: 05 februari 2024

Den här versionen gäller för följande

  • Klusterpoolversion: 1.1
  • Klusterversion: 1.1.0
  • AKS-version: 1.27

Dricks

Om du vill skapa en ny HDInsight på AKS-klustret på 1.1.0 måste du skapa en ny klusterpool med version 1.1

Nya funktioner

  • Arbetsbelastningsidentitet stöds som standard för klusterpooler på 1.1
  • Trino-kluster stöder Trino 426 från 1.1.0-versionen
    • HDInsight på AKS innehåller nu alla ändringar upp till Trino 426 med flera viktiga förbättringar som tillhandahålls av communityn. Läs mer om Trino här.
  • Trino-klusterformen har nu stöd för belastningsbaserad autoskalning från 1.1.0-versionen
    • Trino på HDInsight på AKS har nu stöd för belastningsbaserad autoskalning, vilket gör klustret mer kostnadseffektivt. Läs mer om den här.
  • Trino-klusterform lägger till förenklad konfiguration av hive-metaarkiv och kataloger
    • HDInsight på AKS har förenklat konfigurationen av externa Hive-metaarkiv för Trino-kluster. Du kan nu ange externt metaarkiv i config.properties och aktivera det för varje katalog med en enda parameter. Läs mer om förbättringar här.
  • Trino-klusterform lägger till shardad SQL-anslutning
  • Flink-kluster har nu stöd för Flink 1.17.0 från HDInsight i AKS 1.1.0-versionen
    • HDInsight på AKS har nu stöd för Flink 1.17.0-versionen, med betydande förbättringar av kontrollpunkter, lågdiagram på undernivå, vattenstämpeljusteringar. Läs mer om Flink 1.17-versionen här
  • Flink SQL Gateway stöds nu från HDInsight i AKS 1.1.0-versionen med Flink-sessionskluster

Felkorrigeringar och CV:er

  • Den här versionen innehåller flera viktiga CVE-korrigeringar på plattformen och öppen källkod komponenter.
  • Trino-klusterform utesluter systemtabeller från cachelagring automatiskt
  • Trino-klusterformen förbättrar hanteringen av Tidsstämpel för Power BI

Kända problem

  • Identitetsbegränsning för arbetsbelastning:
    • Det finns en känd begränsning när du övergår till arbetsbelastningsidentitet. Detta beror på FIC-åtgärdernas behörighetskänsliga karaktär. Användare kan inte ta bort ett kluster genom att ta bort resursgruppen. Begäranden om borttagning av kluster måste utlösas av programmet/användaren/huvudkontot med FIC-/borttagningsbehörigheter. Om FIC-borttagningen misslyckas misslyckas även borttagningen av högnivåkluster.

Nya regioner

  • Asien, östra

Operativsystemversion

  • Mariner OS 2.0

Arbetsbelastningsversioner

Arbetsbelastning Version
Trino 426
Flink 1.17.0
Apache Spark 3.3.1

Java- och Scala-versioner som stöds

Arbetsbelastning Java Scala
Trino Öppna JDK 17.0.7 - 
Flink Öppna JDK 11.0.21 2.12.7
Spark Öppna JDK 1.8.0_345 2.12.15

Förhandsversionen är tillgänglig i följande regioner.

Om du har fler frågor kan du kontakta Azure Support eller gå till sidan Supportalternativ . Om du har produktspecifik feedback kan du skriva till oss på aka.ms/askhdinsight.

Nästa steg

Utgivningsdatum: 13 december 2023

Den här snabbkorrigeringsversionen gäller för följande

  • Klusterpoolversion: 1.0
  • Klusterversion: 1.0.6

Kända problem

  • Stöd för säkert klientgränssnitt

    • Den här versionen löser ett problem där webb-URL:erna för öppen källkod-komponenten för HDInsight på AKS-kluster inte var tillgängliga. Om du vill använda den här korrigeringen kontaktar du Azure Support för att aktivera detta i din prenumeration/klientorganisation.

    Så här använder du snabbkorrigeringen

    • Återskapa klustret
      • För att tillämpa den här snabbkorrigeringen måste befintliga användare återskapa sitt kluster i en befintlig klusterpool.

Operativsystemversion

  • Mariner OS 2.0

Arbetsbelastningsversioner

Arbetsbelastning Version
Trino 410
Flink 1.16
Apache Spark 3.3.1

Java- och Scala-versioner som stöds

Arbetsbelastning Java Scala
Trino Öppna JDK 17.0.7 - 
Flink Öppna JDK 11.0.21 2.12.7
Spark Öppna JDK 1.8.0_345 2.12.15

Förhandsversionen är tillgänglig i följande regioner.

Om du har fler frågor kan du kontakta Azure Support eller gå till sidan Supportalternativ .