Vad är nytt i HDInsight på AKS? (Förhandsversion)
Viktig
Azure HDInsight på AKS drogs tillbaka den 31 januari 2025. Läs mer i det här meddelandet.
Du måste migrera dina arbetsbelastningar till Microsoft Fabric- eller en motsvarande Azure-produkt för att undvika plötsliga uppsägningar av dina arbetsbelastningar.
Viktig
Den här funktionen är för närvarande i förhandsversion. De kompletterande användningsvillkoren för förhandsversioner av Microsoft Azure innehåller fler juridiska villkor som gäller för Azure-funktioner som är i beta, förhandsversion eller annars ännu inte släppta för allmän användning. Information om den här specifika förhandsversionen finns i Azure HDInsight på AKS-förhandsversionsinformation. För frågor eller funktionsförslag, vänligen skicka in en begäran på AskHDInsight med detaljerna och följ oss för fler uppdateringar om Azure HDInsight Community.
I HDInsight på AKS har alla klusterhantering och åtgärder internt stöd för tjänsthantering på Azure-portalen för enskilda kluster.
I HDInsight på AKS introduceras två nya begrepp:
- Cluster Pools används för att gruppera och hantera kluster.
- Kluster används för beräkningar med öppen källkod, och de är värd inom en pool av kluster.
Klusterpooler
HDInsight på AKS körs på Azure Kubernetes Service (AKS). Resursen på den översta nivån är klusterpoolen och hanterar alla kluster som körs i samma AKS-kluster. När du skapar en klusterpool skapas ett underliggande AKS-kluster samtidigt för att vara värd för alla kluster i poolen. Klusterpooler är en logisk gruppering av kluster som hjälper till att skapa robust samverkan mellan flera klustertyper och gör det möjligt för företag att ha klustren i samma virtuella nätverk. Klusterpooler ger snabb och kostnadseffektiv åtkomst till alla klustertyper som skapas på begäran och i stor skala. En klusterpool motsvarar ett kluster i AKS-infrastrukturen.
Kluster
Kluster är enskilda beräkningsarbetsbelastningar med öppen källkod, till exempel Apache Spark, Apache Flink och Trino, som kan skapas snabbt på några minuter med förinställda konfigurationer och få klick. Även om de körs i samma klusterpool kan varje kluster ha sina egna konfigurationer, till exempel klustertyp, version, vm-storlek för nod, antal noder. Kluster körs på avgränsade beräkningsresurser med egna DNS- och slutpunkter.
Funktioner som för närvarande är i förhandsversion
Följande tabelllista visar funktionerna i HDInsight på AKS som för närvarande är i förhandsversion. Förhandsversionsfunktionerna sorteras alfabetiskt.
| Område | Funktioner |
|---|---|
| Grunderna | Skapa pooler och kluster med hjälp av portalen, stöd för Web Secure Shell (ssh), Möjlighet att välja antal arbetsnoder när klustret skapas |
| Lagring | ADLS Gen2 Storage stöder |
| Metastore | Stöd för externt metaarkiv för Trino, Spark och Flink, Integrera med HDInsight |
| Säkerhet | Stöd för ARM RBAC, stöd för MSI-baserad autentisering, Alternativ för att ge klusteråtkomst till andra användare |
| Loggning och övervakning | Loggaggregering i Azure log analyticsför serverloggar, kluster- och tjänstmått via Hanterad Prometheus och Grafana, Stöd för servermått i Azure Monitor, tjänststatussida för övervakning av Service Health |
| Automatisk skalning | Belastningsbaserad automatisk skalningoch schemabaserad automatisk skalning |
| Anpassa och konfigurera kluster | Stöd för skriptåtgärder när klustret skapas, Stöd för bibliotekshantering, Tjänstkonfiguration inställningar när klustret har skapats |
| Trino | Stöd för Trino-kataloger, Stöd för Trino CLI, DBeaver stöd för frågeöverföring, Lägg till eller ta bort plugin-program och anslutningsappar, Stöd för loggningsfråga händelser, Stöd för genomsökning av frågestatistik för alla Connector- på Trino-instrumentpanelen, Stöd för Trino instrumentpanel för att övervaka frågor. Query Caching, Integration with Power BI, Integration with Apache Superset, Redash, Support for multiple connectors |
| Flink | Stöd för Flink-inbyggt webbgränssnitt, Flink-stöd med HMS för DStream, Skicka jobb till klustret med hjälp av REST API och Azure-portalen, Kör program paketerade som JAR-filer via Flink CLI-, Stöd för beständiga savepoints, Stöd för att uppdatera konfigurationsalternativen när jobbet körs, Ansluta till flera Azure-tjänster: Azure Cosmos DB, Azure Databricks, Azure Data Explorer, Azure Event Hubs, Azure IoT Hub, Azure Pipelines, Azure Data Factory Workflow Orchestration Manager, HDInsight Kafka, Submit jobs to the cluster using Flink CLI and CDC with Flink |
| Gnista | Jupyter Notebook, Stöd för Delta lake 2.0, Zeppelin-stöd, Stöd för ATS, Stöd för Yarn Historikservergränssnitt, Jobbinsändning med SSH, Jobbinsändning med SDK och Maskininlärningsanteckningsbok |
Översikt över funktioner
| Funktion | Uppskattad tidslinje för lansering | Status |
|---|---|---|
| Autoskalning – belastningsbaserad – Trino- | Q1 2024 | Fullbordad |
| Automatiskt skalbar belastning med medvetenhet om omrörning för Spark | Kvartal 2 2024 | Pågår |
| Uppgradering på plats | andra kvartalet 2024 | Fullbordad |
| Stöd för reserverade instanser | 2:a kvartalet 2024 | Pågår |
| MSI-baserad autentisering för Metastore (SQL) | K1 2024 | Pågår |
| Spark 3.4 | 2:a kvartalet 2024 | Pågår |
| Trino 426 | Q1 2024 | Fullbordad |
| Ranger för RBAC | 2:a kvartalet 2024 | Pågår |
| stöd för applikationsläge för Flink | Första kvartalet 2024 (Q1 2024) | Fullbordad |
| Flink 1.17 | 1:a kvartalet 2024 | Fullbordad |
| Stöd för Spark ACID | Kvartal 1 2024 | Pågår |
| Konfigurerbara SKU:er för Headnode, SSH | Q2 2024 | Pågår |
| Flink SQL Gateway-stöd | 1:a kvartalet 2024 | Fullbordad |
| Privata kluster för HDInsight på AKS | Första kvartalet 2024 | Fullbordad |
| Ranger-stöd för Spark SQL | Fjärde kvartalet 2024 | Pågår |
| Ranger-ACL:er på lagringsnivå | Fjärde kvartalet 2024 | Pågår |
| Stöd för One Lake som primär container | Kvartal 2 2024 | Pågår |