Was ist neu in HDInsight auf AKS? (Vorschau)
Wichtig
Azure HDInsight auf AKS wurde am 31. Januar 2025 eingestellt. Erfahren Sie mehr mit dieser Ankündigung.
Sie müssen Ihre Workloads zu Microsoft Fabric oder ein gleichwertiges Azure-Produkt migrieren, um eine abrupte Beendigung Ihrer Workloads zu vermeiden.
Wichtig
Dieses Feature befindet sich derzeit in der Vorschau. Die zusätzlichen Nutzungsbedingungen für Microsoft Azure Previews weitere rechtliche Bestimmungen enthalten, die für Azure-Features gelten, die in der Betaversion, in der Vorschau oder auf andere Weise noch nicht in die allgemeine Verfügbarkeit veröffentlicht werden. Informationen zu dieser spezifischen Vorschau finden Sie unter Azure HDInsight auf AKS-Vorschauinformationen. Für Fragen oder Verbesserungsvorschläge senden Sie bitte eine Anfrage mit den Details an AskHDInsight und folgen Sie uns auf der Azure HDInsight Community, um weitere Updates zu erhalten.
In HDInsight auf AKS verfügen alle Clusterverwaltung und -vorgänge über systemeigene Unterstützung für Dienstverwaltung im Azure-Portal für einzelne Cluster.
In HDInsight auf AKS werden zwei neue Konzepte eingeführt:
- Clusterpools werden zum Gruppieren und Verwalten von Clustern verwendet.
- Cluster für Open Source-Berechnungen verwendet werden, werden sie in einem Clusterpool gehostet.
Clusterpools
HDInsight auf AKS wird auf Azure Kubernetes Service (AKS) ausgeführt. Die Ressource auf oberster Ebene ist der Clusterpool und verwaltet alle Cluster, die auf demselben AKS-Cluster ausgeführt werden. Wenn Sie einen Clusterpool erstellen, wird gleichzeitig ein zugrunde liegender AKS-Cluster erstellt, um alle Cluster im Pool zu hosten. Clusterpools sind eine logische Gruppierung von Clustern, die bei der Erstellung einer stabilen Interoperabilität über mehrere Clustertypen hinweg helfen und Es Unternehmen ermöglichen, die Cluster im selben virtuellen Netzwerk zu haben. Clusterpools bieten schnellen und kostengünstigen Zugriff auf alle Clustertypen, die bei Bedarf und im Großen und Maßstab erstellt wurden. Ein Clusterpool entspricht einem Cluster in der AKS-Infrastruktur.
Cluster
Cluster sind einzelne Open-Source-Computeworkloads wie Apache Spark, Apache Flink und Trino, die in wenigen Minuten mit voreingestellten Konfigurationen und wenigen Klicks schnell erstellt werden können. Obwohl sie auf demselben Clusterpool ausgeführt wird, kann jeder Cluster eigene Konfigurationen haben, z. B. Clustertyp, Version, Größe des virtuellen Knotens, Knotenanzahl. Cluster werden auf getrennten Computeressourcen mit eigenen DNS- und Endpunkten ausgeführt.
Features, die sich derzeit in der Vorschau befinden
In der folgenden Tabellenliste sind die Features von HDInsight auf AKS aufgeführt, die sich derzeit in der Vorschau befinden. Vorschaufeatures werden alphabetisch sortiert.
| Fläche | Funktionen |
|---|---|
| Grundlagen | Erstellen von Pools und Clustern mithilfe des Portals, Web Secure Shell (SSH)-Unterstützung, Möglichkeit, die Anzahl der Arbeitsknoten bei der Clustererstellung auszuwählen |
| Lagerung | Unterstützung für ADLS Gen2 Storage |
| Metastore | Unterstützung des externen Metastores für Trino, Spark und Flink, Integration mit HDInsight |
| Sicherheit | Unterstützung für ARM RBAC, Unterstützung für MSI-basierte Authentifizierung, Option zum Bereitstellen Clusterzugriffs für andere Benutzer |
| Protokollierung und Überwachung | Protokollaggregation in Azure Log-Analytikfür Serverprotokolle, Cluster- und Servicemetriken über Managed Prometheus und Grafana, Unterstützung von Servermetriken im Azure Monitor, Service-Statusseite zur Überwachung der Servicegesundheit |
| Automatische Skalierung | Lade basierte automatische Skalierungund Zeitplan basierte automatische Skalierung |
| Anpassen und Konfigurieren von Clustern | Unterstützung für Skriptaktionen während der Clustererstellung, Unterstützung für Bibliotheksverwaltung, Dienstkonfiguration Einstellungen nach der Clustererstellung |
| Trino | Unterstützung für Trino-Kataloge, Trino CLI Support, DBeaver Unterstützung für die Abfrageübermittlung, Hinzufügen oder Entfernen Plug-Ins und Connectors, Unterstützung für Protokollierungsabfragen Ereignisse, Unterstützung für Scanabfragestatistiken für alle Connector- im Trino-Dashboard, Unterstützung für Trino Dashboard zum Überwachen von Abfragen, Abfragezwischenspeicherung, Integration in Power BI, Integration mit Apache Superset, Redash, Unterstützung für mehrere Connectors |
| Flink | Unterstützung für die native Flink-Web-UI, Flink-Unterstützung mit HMS für DStream, Übermitteln von Aufträgen an den Cluster mithilfe der REST-API und dem Azure-Portal, Ausführen von Programmen, die als JAR-Dateien gepackt sind, über die Flink CLI, Unterstützung für persistente Savepoints, Unterstützung für die Aktualisierung der Konfigurationsoptionen, wenn der Auftrag ausgeführt wird, Herstellen einer Verbindung mit mehreren Azure-Diensten: Azure Cosmos DB, Azure Databricks, Azure Data Explorer, Azure Event Hubs, Azure IoT Hub, Azure Pipelines, Azure Data Factory Workflow Orchestration Manager, HDInsight Kafka, Übermitteln von Aufträgen an den Cluster mithilfe der Flink CLI und CDC mit Flink. |
| Funke | Jupyter Notebook, Unterstützung für Delta Lake 2.0, Zeppelin-Unterstützung, Unterstützung für ATS, Unterstützung für die Yarn History Server-Schnittstelle, Auftragsübermittlung über SSH, Auftragsübermittlung über SDK und Machine Learning Notebook |
Roadmap der Funktionen
| Merkmal | Geschätzter Veröffentlichungszeitplan | Status |
|---|---|---|
| Autoscale - Lastbasiert - Trino | 1. Quartal 2024 | Abgeschlossen |
| Shuffle-bewusste, lastenbasierte automatische Skalierung für Spark | 2. Quartal 2024 | Im Gange |
| Ortgebundenes Upgrade | 2. Quartal 2024 | Abgeschlossen |
| Unterstützung für reservierte Instanzen | 2. Quartal 2024 | Im Gange |
| MSI-basierte Authentifizierung für Metastore (SQL) | 1. Quartal 2024 | Im Gange |
| Spark 3.4 | Q2 2024 | Im Gange |
| Trino 426 | 1. Quartal 2024 | Abgeschlossen |
| Ranger für RBAC | 2. Quartal 2024 | Im Gange |
| Unterstützung für den App-Modus für Flink | 1. Quartal 2024 | Abgeschlossen |
| Flink 1.17 | 1. Quartal 2024 | Abgeschlossen |
| Spark ACID-Unterstützung | 1. Quartal 2024 | Im Gange |
| Konfigurierbare SKUs für Headnode, SSH | 2. Quartal 2024 | Im Gange |
| Flink-SQL-Gateway-Unterstützung | 1. Quartal 2024 | Abgeschlossen |
| Private Cluster für HDInsight auf AKS | 1. Quartal 2024 | Abgeschlossen |
| Ranger-Unterstützung für Spark SQL | 4. Quartal 2024 | Im Gange |
| Ranger ACLs auf Speicherebene | 4. Quartal 2024 | Im Gange |
| Unterstützung für One Lake als primärer Container | 2. Quartal 2024 | Im Gange |