Dela via

Azure HDInsight på AKS arkiverade versionsanteckningar

  • Artikel

Viktig

Azure HDInsight på AKS drogs tillbaka den 31 januari 2025. Läs mer genom det här meddelandet.

Du måste migrera dina arbetsbelastningar till Microsoft Fabric- eller en motsvarande Azure-produkt för att undvika plötsliga uppsägningar av dina arbetsbelastningar.

Viktig

Den här funktionen är för närvarande i förhandsversion. De kompletterande användningsvillkoren för Förhandsversioner av Microsoft Azure innehåller fler juridiska villkor som gäller för Azure-funktioner som är i betaversion, förhandsversion eller på annat sätt ännu inte har släppts i allmänhetens tillgång. Information om den här specifika förhandsversionen finns i Azure HDInsight på AKS-förhandsversionsinformation. För frågor eller funktionsförslag, skicka en begäran på AskHDInsight med informationen och följ oss för fler uppdateringar om Azure HDInsight Community.

Azure HDInsight på AKS är en av de mest populära tjänsterna bland företagskunder för analys med öppen källkod i Azure. Om du vill prenumerera på versionsanteckningar kan du följa versioner på den här GitHub-lagringsplatsen.

Utgivningsdatum: 05 aug 2024

Den här versionen gäller för följande

  • Klusterpoolversion: 1.2
  • Klusterversion: 1.2.1
  • AKS-version: 1.27

Nya funktioner

MSI-baserad SQL-autentisering Användare kan nu autentisera externt Azure SQL DB-metaarkiv med MSI i stället för lösenordsautentisering för användar-ID. Den här funktionen hjälper till att ytterligare skydda klusteranslutningen med Metastore.

Konfigurerbara VM-SKU:er för huvudnod, SSH-nod Den här funktionen gör det möjligt för användare att välja specifika SKU:er för huvudnoder, arbetsnoder och SSH-noder, vilket ger flexibiliteten att välja enligt användningsfallet och möjligheten att sänka den totala ägandekostnaden (TCO).

Flera MSI i kluster Användare kan konfigurera flera MSI för klusteradministratörsåtgärder och för jobbrelaterad resursåtkomst. Med den här funktionen kan användare avgränsa och styra åtkomsten till klustret och data som finns i lagringskontot. Till exempel en MSI för åtkomst till data i lagringskontot och dedikerad MSI för klusteråtgärder.

Uppdaterad

Skriptåtgärd Skriptåtgärd nu kan läggas till med Sudo-användarbehörighet. Användare kan nu installera flera beroenden, inklusive anpassade jar-filer för att anpassa klustren efter behov.

Library Management genvägsfunktionen för Maven-lagringsplatsen har lagts till i bibliotekshantering i den här versionen. Användaren kan nu installera Maven-beroenden direkt från lagringsplatser med öppen källkod.

Spark 3.4 Spark 3.4-uppdateringen innehåller en rad nya funktioner

  • API-förbättringar
  • Förbättringar av strukturerad strömning
  • Förbättrad användbarhet och utvecklarupplevelse

Viktig

Om du vill dra nytta av alla dessa senaste funktionernamåste du skapa en ny klusterpool med 1.2 och klusterversion 1.2.1

Kända problem

  • begränsning av arbetsbelastningsidentitet:
    • Det finns en känd begränsning vid övergång till arbetsbelastningsidentitet. Den här begränsningen beror på FIC-åtgärdernas behörighetskänsliga karaktär. Användare kan inte ta bort ett kluster genom att ta bort resursgruppen. Begäranden om borttagning av kluster måste utlösas av programmet/användaren/huvudkontot med FIC-/borttagningsbehörigheter. Om FIC-borttagningen misslyckas misslyckas även borttagningen av högnivåkluster.
    • användartilldelade hanterade identiteter (UAMI) stöd – Det finns en gräns på 20 FIC per UAMI. Du kan bara skapa 20 federerade autentiseringsuppgifter för en identitet. I HDInsight i AKS-kluster har FIC (Federerad identitetsautentisering) och SA en-till-en-mappning och endast 20 SA:er kan skapas mot en MSI. Om du vill skapa fler kluster måste du ange olika MSI:er för att övervinna begränsningen.
    • Skapande av federerade identitetsautentiseringsuppgifter stöds för närvarande inte för användartilldelade hanterade identiteter som skapats i dessa regioner

Operativsystemversion

  • Mariner OS 2.0

Arbetsbelastningsversioner

Arbetsbörda Version
Trino 440
Flink 1.17.0
Apache Spark 3.4

Java- och Scala-versioner som stöds

Arbetsbörda Java Scala
Trino Öppna JDK 21.0.2 - 
Flink Öppna JDK 11.0.21 2.12.7
Gnista Öppna JDK 1.8.0_345 2.12.15

Förhandsversionen är tillgänglig i följande regioner.

Om du har fler frågor kan du kontakta Azure Support eller gå till sidan Supportalternativ. Om du har produktspecifik feedback kan du skriva till oss på aka.ms/askhdinsight.

Utgivningsdatum: 20 mars 2024

Den här versionen gäller för följande

  • Klusterpoolversion: 1.1
  • Klusterversion: 1.1.1
  • AKS-version: 1.27

Nya funktioner

Apache Flink-programlägeskluster

Programlägeskluster är utformade för att stödja dedikerade resurser för stora och långvariga jobb. När du har resursintensiva eller omfattande databearbetningsuppgifter kan du använda programlägeskluster. Med det här läget kan du allokera dedikerade resurser för specifika Apache Flink-program, vilket säkerställer att de har den databehandlingskraft och det minne som krävs för att hantera stora arbetsbelastningar effektivt.

Mer information finns i Apache Flink Application Mode-kluster i HDInsight på AKS.

privata kluster för HDInsight på AKS

Med privata kluster och inställningar för utgående kluster kan du nu styra inkommande och utgående trafik från HDInsight på AKS-klusterpooler och kluster.

  • Använd Azure Firewall eller nätverkssäkerhetsgrupper (NSG: er) för att styra utgående trafik när du väljer att använda utgående klusterpool med lastbalanserare.
  • Använd Utgående klusterpool med användardefinierad routning för att styra utgående trafik på undernätsnivå.
  • Använd funktionen Privat AKS-kluster – För att säkerställa att AKS-kontrollplanet eller API-servern har interna IP-adresser. Nätverkstrafiken mellan AKS-kontrollplanet/API-servern och HDInsight på AKS-nodpooler (kluster) förblir endast i det privata nätverket.
  • Undvik att skapa offentliga IP-adresser för klustret. Använd funktionen för privat ingress i dina kluster.

Mer information finns i Kontrollera nätverkstrafik från HDInsight på AKS-klusterpooler och kluster.

På plats Uppgradera

Uppgradera dina kluster och klusterpooler med de senaste programuppdateringarna. Det innebär att du kan använda de senaste snabbkorrigeringarna för klusterpaket, säkerhetsuppdateringar och AKS-korrigeringar utan att återskapa kluster. Mer information finns i Uppgradera din HDInsight på AKS-kluster och klusterpooler.

Viktig

Om du vill dra nytta av alla dessa senaste funktionernamåste du skapa en ny klusterpool med 1.1 och klusterversion 1.1.1.

Kända problem

  • Begränsning av Arbetsbelastningsidentitet:
    • Det finns en känd begränsning vid övergång till arbetsbelastningsidentitet. Den här begränsningen beror på FIC-åtgärdernas behörighetskänsliga karaktär. Användare kan inte ta bort ett kluster genom att ta bort resursgruppen. Begäranden om borttagning av kluster måste utlösas av programmet/användaren/huvudkontot med FIC-/borttagningsbehörigheter. Om FIC-borttagningen misslyckas misslyckas även borttagningen av högnivåkluster.
    • användartilldelade hanterade identiteter (UAMI) stöd – Det finns en gräns på 20 FIC per UAMI. Du kan bara skapa 20 federerade autentiseringsuppgifter för en identitet. I HDInsight i AKS-kluster har FIC (Federerad identitetsautentisering) och SA en-till-en-mappning och endast 20 SA:er kan skapas mot en MSI. Om du vill skapa fler kluster måste du ange olika MSI:er för att övervinna begränsningen.
    • Skapande av federerade identitetsautentiseringsuppgifter stöds för närvarande inte för användartilldelade hanterade identiteter som skapats i dessa regioner

Operativsystemversion

  • Mariner OS 2.0

Arbetsbelastningsversioner

Arbetsbörda Version
Trino 426
Flink 1.17.0
Apache Spark 3.3.1

Java- och Scala-versioner som stöds

Arbetsbörda Java Scala
Trino Öppna JDK 17.0.7 - 
Flink Öppna JDK 11.0.21 2.12.7
Gnista Öppna JDK 1.8.0_345 2.12.15

Förhandsversionen är tillgänglig i följande regioner.

Om du har fler frågor kan du kontakta Azure Support eller gå till sidan Supportalternativ. Om du har produktspecifik feedback kan du skriva till oss på aka.ms/askhdinsight.

Utgivningsdatum: 05 februari 2024

Den här versionen gäller för följande

  • Klusterpoolversion: 1.1
  • Klusterversion: 1.1.0
  • AKS-version: 1.27

Tips

Om du vill skapa en ny HDInsight på AKS-klustret på 1.1.0 måste du skapa en ny klusterpool med version 1.1

Nya funktioner

  • Arbetsbelastningsidentitet stöds som standard för klusterpooler på 1.1
  • Trino-kluster stöder Trino 426 från 1.1.0-versionen
    • HDInsight på AKS innehåller nu alla ändringar upp till Trino 426 med flera viktiga förbättringar som tillhandahålls av gemenskapen. Läs mer om Trino här.
  • Trino-klusterformen har nu stöd för belastningsbaserad autoskalning från 1.1.0-versionen
    • Trino på HDInsight på AKS har nu stöd för belastningsbaserad autoskalning, vilket gör klustret mer kostnadseffektivt. Läs mer om det här.
  • Trino-klusterform lägger till förenklad konfiguration av hive-metaarkiv och kataloger
    • HDInsight på AKS har förenklat konfigurationen av externa Hive-metaarkiv för Trino-kluster. Du kan nu ange externt metaarkiv i config.properties och aktivera det för varje katalog med en enda parameter. Läs mer om förbättringar här.
  • Trino-klusterform lägger till shardad SQL-anslutning
  • Flink-kluster har nu stöd för Flink 1.17.0 från HDInsight i AKS 1.1.0-versionen
    • HDInsight på AKS har nu stöd för Flink 1.17.0-versionen, med betydande förbättringar av kontrollpunkter, flamdiagram på subtask-nivå och justeringar av vattenmärken. Läs mer om Flink 1.17-versionen här
  • Flink SQL Gateway stöds nu från HDInsight i AKS 1.1.0-versionen med Flink-sessionskluster

Felkorrigeringar & CVE:er

  • Den här versionen innehåller flera viktiga CVE-korrigeringar på plattformen och komponenter med öppen källkod.
  • Trino-klusterform utesluter systemtabeller från cachelagring automatiskt
  • Trino-klusterform förbättrar hanteringen av tidszoner för tidsstämpel i Power BI

Kända problem

  • Begränsning av arbetsbelastningsidentitet:
    • Det finns en känd begränsning vid övergång till arbetsbelastningsidentitet. Detta beror på FIC-åtgärdernas behörighetskänsliga karaktär. Användare kan inte ta bort ett kluster genom att ta bort resursgruppen. Begäranden om borttagning av kluster måste utlösas av programmet/användaren/huvudkontot med FIC-/borttagningsbehörigheter. Om FIC-borttagningen misslyckas misslyckas även borttagningen av högnivåkluster.

Nya regioner

  • Asien, östra

Operativsystemversion

  • Mariner OS 2.0

Arbetsbelastningsversioner

Arbetsbörda Version
Trino 426
Flink 1.17.0
Apache Spark 3.3.1

Java- och Scala-versioner som stöds

Arbetsbörda Java Scala
Trino Öppna JDK 17.0.7 - 
Flink Öppna JDK 11.0.21 2.12.7
Gnista Öppna JDK 1.8.0_345 2.12.15

Förhandsversionen är tillgänglig i följande regioner.

Om du har fler frågor kan du kontakta Azure Support eller gå till sidan Supportalternativ. Om du har produktspecifik feedback kan du skriva till oss på aka.ms/askhdinsight.

Nästa steg

Utgivningsdatum: 13 december 2023

Den här snabbkorrigeringsversionen gäller för följande

  • Klusterpoolversion: 1.0
  • Klusterversion: 1.0.6

Kända problem

  • Säker hyresgäst-användargränssnittsstöd

    • Den här versionen löser ett problem där webb-URL:erna för komponenten med öppen källkod för HDInsight på AKS-kluster inte var tillgängliga. Om du vill använda den här korrigeringen kontaktar du Azure-supporten för att aktivera detta i din prenumeration/klientorganisation.

    Så här använder du snabbkorrigeringen

    • Återskapa klustret
      • För att tillämpa den här snabbkorrigeringen måste befintliga användare återskapa sina kluster på en befintlig klusterpool.

Operativsystemversion

  • Mariner OS 2.0

Arbetsbelastningsversioner

Arbetsbörda Version
Trino 410
Flink 1.16
Apache Spark 3.3.1

Java- och Scala-versioner som stöds

Arbetsbörda Java Scala
Trino Öppna JDK 17.0.7 - 
Flink Öppna JDK 11.0.21 2.12.7
Gnista Öppna JDK 1.8.0_345 2.12.15

Förhandsversionen är tillgänglig i följande regioner.

Om du har fler frågor kan du kontakta Azure Support eller gå till sidan Supportalternativ.