Vad är nytt i HDInsight på AKS? (Förhandsversion)
Kommentar
Vi drar tillbaka Azure HDInsight på AKS den 31 januari 2025. Före den 31 januari 2025 måste du migrera dina arbetsbelastningar till Microsoft Fabric eller en motsvarande Azure-produkt för att undvika plötsliga uppsägningar av dina arbetsbelastningar. Återstående kluster i din prenumeration stoppas och tas bort från värden.
Endast grundläggande stöd kommer att vara tillgängligt fram till datumet för pensionering.
Viktigt!
Den här funktionen finns i förhandsgranskning. De kompletterande användningsvillkoren för Förhandsversioner av Microsoft Azure innehåller fler juridiska villkor som gäller för Azure-funktioner som är i betaversion, förhandsversion eller på annat sätt ännu inte har släppts i allmän tillgänglighet. Information om den här specifika förhandsversionen finns i Azure HDInsight på AKS-förhandsversionsinformation. Om du vill ha frågor eller funktionsförslag skickar du en begäran på AskHDInsight med informationen och följer oss för fler uppdateringar i Azure HDInsight Community.
I HDInsight på AKS har alla klusterhantering och -åtgärder internt stöd för tjänsthantering på Azure Portal för enskilda kluster.
I HDInsight på AKS introduceras två nya begrepp:
- Klusterpooler används för att gruppera och hantera kluster.
- Kluster används för öppen källkod beräkningar, de finns i en klusterpool.
Klusterpooler
HDInsight på AKS körs på Azure Kubernetes Service (AKS). Resursen på den översta nivån är klusterpoolen och hanterar alla kluster som körs i samma AKS-kluster. När du skapar en klusterpool skapas ett underliggande AKS-kluster samtidigt för att vara värd för alla kluster i poolen. Klusterpooler är en logisk gruppering av kluster som hjälper till att skapa robust samverkan mellan flera klustertyper och gör det möjligt för företag att ha klustren i samma virtuella nätverk. Klusterpooler ger snabb och kostnadseffektiv åtkomst till alla klustertyper som skapas på begäran och i stor skala. En klusterpool motsvarar ett kluster i AKS-infrastrukturen.
Kluster
Kluster är enskilda öppen källkod beräkningsarbetsbelastningar, till exempel Apache Spark, Apache Flink och Trino, som kan skapas snabbt på några minuter med förinställda konfigurationer och få klick. Även om de körs i samma klusterpool kan varje kluster ha sina egna konfigurationer, till exempel klustertyp, version, vm-storlek för nod, antal noder. Kluster körs på avgränsade beräkningsresurser med egna DNS- och slutpunkter.
Funktioner som för närvarande är i förhandsversion
Följande tabelllista visar funktionerna i HDInsight på AKS som för närvarande är i förhandsversion. Förhandsversionsfunktionerna sorteras alfabetiskt.
| Ytdiagram | Funktioner |
|---|---|
| Grunder | Skapa pooler och kluster med hjälp av portalen, stöd för Web Secure Shell (ssh), Möjlighet att välja antal arbetsnoder när klustret skapas |
| Storage | Stöd för ADLS Gen2 Storage |
| Metaarkiv | Stöd för externt metaarkiv för Trino, Spark och Flink, Integrera med HDInsight |
| Säkerhet | Stöd för ARM RBAC, stöd för MSI-baserad autentisering, Alternativ för att ge klusteråtkomst till andra användare |
| Loggning och övervakning | Loggaggregering i Azure Log Analytics, för serverloggar, kluster- och tjänstmått via Hanterad Prometheus och Grafana, Stöd för servermått i Azure Monitor, sidan Tjänststatus för övervakning av Tjänststatus |
| Autoskala | Belastningsbaserad automatisk skalning och schemabaserad automatisk skalning |
| Anpassa och konfigurera kluster | Stöd för skriptåtgärder när kluster skapas, Stöd för bibliotekshantering, Tjänstkonfigurationsinställningar när klustret har skapats |
| Trino | Stöd för Trino-kataloger, Trino CLI-stöd, DBeaver-stöd för frågeöverföring, Lägga till eller ta bort plugin-program och anslutningsappar, Stöd för loggning av frågehändelser, Stöd för genomsökningsfrågasstatistik för alla anslutningsappar i Trino-instrumentpanelen, Stöd för Trino-instrumentpanel för att övervaka frågor, Frågecachelagring, Integrering med Power BI, Integrering med Apache Superset , Redash, Stöd för flera anslutningsappar |
| Flink | Stöd för Flink-inbyggt webbgränssnitt, Flink-stöd med HMS för DStream, Skicka jobb till klustret med hjälp av REST API och Azure Portal, Kör program paketerade som JAR-filer via Flink CLI, Stöd för beständiga savepoints, Stöd för uppdatering av konfigurationsalternativ när jobbet körs, Ansluta till flera Azure-tjänster: Azure Cosmos DB, Azure Databricks, Azure Data Explorer, Azure Event Hubs, Azure IoT Hub, Azure Pipelines, Azure Data Factory Workflow Orchestration Manager, HDInsight Kafka, Skicka jobb till klustret med Flink CLI och CDC med Flink |
| Spark | Jupyter Notebook, Stöd för Delta lake 2.0, Zeppelin Support, Support ATS, Support for Yarn History Server Interface, Job submission using SSH, Job submission using SDK and Machine Learning Notebook |
Översikt över funktioner
| Funktion | Uppskattad tidslinje för lansering | Status |
|---|---|---|
| Autoskalning – belastningsbaserad – Trino | Q1 2024 | Slutförd |
| Blanda medveten belastningsbaserad automatisk skalning för Spark | Q2 2024 | Pågående |
| Uppgradering på plats | Q2 2024 | Slutförd |
| Stöd för reserverad instans | Q2 2024 | Pågående |
| MSI-baserad autentisering för Metastore (SQL) | Q1 2024 | Pågående |
| Spark 3.4 | Q2 2024 | Pågående |
| Trino 426 | Q1 2024 | Slutförd |
| Ranger för RBAC | Q2 2024 | Pågående |
| Stöd för appläge för Flink | Q1 2024 | Slutförd |
| Flink 1.17 | Q1 2024 | Slutförd |
| Stöd för Spark ACID | Q1 2024 | Pågående |
| Konfigurerbara SKU:er för Headnode, SSH | Q2 2024 | Pågående |
| Stöd för Flink SQL Gateway | Q1 2024 | Slutförd |
| Privata kluster för HDInsight på AKS | Q1 2024 | Slutförd |
| Ranger-stöd för Spark SQL | Q4 2024 | Pågående |
| Ranger-ACL:er på lagringslager | Q4 2024 | Pågående |
| Stöd för One Lake som primär container | Q2 2024 | Pågår |