Azure HDInsight auf AKS archivierten Versionshinweisen
Wichtig
Azure HDInsight auf AKS wurde am 31. Januar 2025 eingestellt. Erfahren Sie mehr in dieser Ankündigung.
Sie müssen Ihre Workloads zu Microsoft Fabric oder ein gleichwertiges Azure-Produkt migrieren, um eine abrupte Beendigung Ihrer Workloads zu vermeiden.
Wichtig
Dieses Feature befindet sich derzeit in der Vorschau. Die zusätzlichen Nutzungsbedingungen für Microsoft Azure Previews weitere rechtliche Bestimmungen enthalten, die für Azure-Features gelten, die in der Betaversion, in der Vorschau oder auf andere Weise noch nicht in die allgemeine Verfügbarkeit veröffentlicht werden. Informationen zu dieser spezifischen Vorschau finden Sie unter Azure HDInsight auf AKS-Vorschauinformationen. Für Fragen oder Funktionsvorschläge senden Sie bitte eine Anfrage an AskHDInsight, versehen mit Details, und folgen Sie uns, um weitere Updates über Azure HDInsight Communityzu erhalten.
Azure HDInsight auf AKS ist einer der beliebtesten Dienste unter Unternehmenskunden für Open-Source-Analysen in Azure. Wenn Sie Versionshinweise abonnieren möchten, schauen Sie sich Versionen auf diesem GitHub-Repositoryan.
Veröffentlichungsdatum: 05. August 2024
Diese Version gilt für die folgenden
- Cluster-Pool-Version: 1.2
- Cluster-Version: 1.2.1
- AKS-Version: 1.27
Neue Features
MSI-basierte SQL-Authentifizierung Benutzer können jetzt den externen Azure SQL DB-Metaspeicher mit MSI anstelle der Benutzer-ID-Kennwortauthentifizierung authentifizieren. Dieses Feature trägt dazu bei, die Clusterverbindung mit Metastore weiter zu sichern.
Konfigurierbare VM-SKUs für Kopfknoten, SSH-Knoten Diese Funktion ermöglicht es Benutzern, spezifische SKUs für Kopfknoten, Workerknoten und SSH-Knoten auszuwählen. Sie bietet die Flexibilität, je nach Anwendungsfall auszuwählen, und das Potenzial, die Gesamtbetriebskosten (TCO) zu senken.
Mehrere MSI im Cluster Benutzer können mehrere MSI für Cluster-Administratoren und für operationelle Aufgaben sowie für den ressourcenbezogenen Zugriff konfigurieren. Mit diesem Feature können Benutzer den Zugriff auf den Cluster und die Daten, die sich im Speicherkonto befinden, abgrenzen und steuern. Beispielsweise eine MSI für den Zugriff auf Daten im Speicherkonto und dedizierte MSI für Clustervorgänge.
Aktualisiert
Skriptaktion Skriptaktion kann jetzt mit Sudo-Benutzerberechtigung hinzugefügt werden. Benutzer können jetzt mehrere Abhängigkeiten einschließlich benutzerdefinierter JAR-Dateien installieren, um die Cluster nach Bedarf anzupassen.
Bibliotheksverwaltung Maven-Repository-Verknüpfungsfunktion, die in dieser Version zur Bibliotheksverwaltung hinzugefügt wurde. Der Benutzer kann maven-Abhängigkeiten jetzt direkt aus den Open Source-Repositorys installieren.
Spark 3.4 Spark 3.4 Update bietet eine Reihe neuer Features:
- API-Verbesserungen
- Verbesserungen beim strukturierten Streaming
- Verbesserte Benutzerfreundlichkeit und Entwicklerfreundlichkeit
Wichtig
Um all diese neuesten Featuresnutzen zu können, müssen Sie einen neuen Clusterpool mit 1.2 und Clusterversion 1.2.1 erstellen.
Bekannte Probleme
-
Einschränkung der Workload-Identität:
- Beim Übergang zur Workload-Identität gibt es eine bekannte Einschränkung. Diese Einschränkung ist auf die berechtigungssensible Natur von FIC-Vorgängen zurückzuführen. Benutzer können das Löschen eines Clusters nicht ausführen, indem sie die Ressourcengruppe löscht. Clusterlöschanforderungen müssen von der Anwendung/dem Benutzer/Prinzipal mit FIC-/Löschberechtigungen ausgelöst werden. Falls der FIC-Löschvorgang fehlschlägt, schlägt auch die höhere Clusterlöschung fehl.
- Benutzerdefinierte verwaltete Identitäten (User Assigned Managed Identities, UAMI) Unterstützung – Es gibt eine Beschränkung von 20 FICs pro UAMI. Sie können nur 20 Verbundanmeldeinformationen für eine Identität erstellen. In HDInsight im AKS-Cluster gibt es zwischen FIC (Verbundidentitätsanmeldeinformationen) und SA eine Eins-zu-eins-Zuordnung, und es können nur 20 SAs für eine MSI erstellt werden. Wenn Sie weitere Cluster erstellen möchten, müssen Sie verschiedene MSIs bereitstellen, um die Einschränkung zu überwinden.
- Das Erstellen von Anmeldeinformationen für Verbundidentitäten wird derzeit nicht für Benutzer-zugewiesene verwaltete Identitäten unterstützt, die in diesen Regionen erstellt wurden.
Betriebssystemversion
- Mariner OS 2.0
Workloadversionen
| Arbeitsbelastung | Version |
|---|---|
| Trino | 440 |
| Flink | 1.17.0 |
| Apache Spark | 3.4 |
Unterstützte Java- und Scala-Versionen
| Arbeitsbelastung | Java | Scala |
|---|---|---|
| Trino | Öffnen von JDK 21.0.2 | - |
| Flink | Öffnen Von JDK 11.0.21 | 2.12.7 |
| Funke | Öffnen von JDK 1.8.0_345 | 2.12.15 |
Die Vorschau ist in den folgenden Regionenverfügbar.
Wenn Sie weitere Fragen haben, wenden Sie sich an Azure Support, oder wenden Sie sich auf die Seite Supportoptionen. Wenn Sie produktspezifisches Feedback haben, schreiben Sie uns über aka.ms/askhdinsight.
Veröffentlichungsdatum: 20. März 2024
Diese Version gilt für die folgenden
- Cluster Pool Version: 1.1
- Cluster-Version: 1.1.1
- AKS-Version: 1.27
Neue Features
Apache Flink Anwendungsmodus-Cluster
Anwendungsmoduscluster sind so konzipiert, dass sie dedizierte Ressourcen für große und lang andauernde Aufträge bereitstellen. Wenn Sie ressourcenintensive oder umfangreiche Datenverarbeitungsaufgaben haben, können Sie den Anwendungsmodusclusterverwenden. Mit diesem Modus können Sie dedizierte Ressourcen für bestimmte Apache Flink-Anwendungen zuweisen, um sicherzustellen, dass sie über die erforderliche Rechenleistung und den erforderlichen Arbeitsspeicher verfügen, um große Workloads effektiv zu verarbeiten.
Weitere Informationen finden Sie unter Cluster im Apache Flink Application Mode in HDInsight auf AKS.
Private Cluster für HDInsight auf AKS
Mit privaten Clustern und Einstellungen für den ausgehenden Datenverkehr können Sie jetzt den eingehenden und ausgehenden Datenverkehr von HDInsight auf AKS-Clusterpools und -clustern steuern.
- Verwenden Sie Azure Firewall oder Netzwerksicherheitsgruppen (NSGs), um den ausgehenden Datenverkehr zu steuern, wenn Sie sich für die Verwendung eines ausgehenden Clusterpools mit Lastenausgleich entscheiden.
- Verwenden Sie den ausgehenden Clusterpool mit benutzerdefiniertem Routing, um den Ausgehenden Datenverkehr auf Subnetzebene zu steuern.
- Private AKS-Clusterfunktion verwenden – Um sicherzustellen, dass die AKS-Steuerungsebene oder der API-Server interne IP-Adressen enthält. Der Netzwerkdatenverkehr zwischen AKS-Steuerungsebene/API-Server und HDInsight auf AKS-Knotenpools (Cluster) verbleibt nur im privaten Netzwerk.
- Vermeiden Sie das Erstellen öffentlicher IPs für den Cluster. Verwenden Sie die private Eingangsfunktion für Ihre Cluster.
Weitere Informationen finden Sie unter Steuern des Netzwerkdatenverkehrs von HDInsight auf AKS-Clusterpools und Cluster-.
Vor-Ort-Upgrade
Aktualisieren Sie Ihre Cluster und Clusterpools mit den neuesten Softwareupdates. Dies bedeutet, dass Sie die neuesten Clusterpaket-Hotfixes, Sicherheitsupdates und AKS-Patches genießen können, ohne Cluster neu zu erstellen. Weitere Informationen finden Sie unter Upgrade von HDInsight auf AKS-Cluster und Clusterpools.
Wichtig
Um all diese neuesten Featuresnutzen zu können, müssen Sie einen neuen Clusterpool mit 1.1 und Clusterversion 1.1.1 erstellen.
Bekannte Probleme
-
Einschränkung der Workload-Identität:
- Beim Übergang zur Workload-Identität gibt es eine bekannte Einschränkung. Diese Einschränkung ist auf die Berechtigungsabhängigkeit der FIC-Vorgänge zurückzuführen. Benutzer können das Löschen eines Clusters nicht ausführen, indem sie die Ressourcengruppe löscht. Clusterlöschanforderungen müssen von der Anwendung/dem Benutzer/Prinzipal mit FIC-/Löschberechtigungen ausgelöst werden. Falls der FIC-Löschvorgang fehlschlägt, schlägt auch die übergeordnete Clusterlöschung fehl.
- Von Benutzern zugewiesene verwaltete Identitäten (User Assigned Managed Identities, UAMI) Unterstützung – Es gibt eine Beschränkung von 20 FICs pro UAMI. Sie können nur 20 Verbundanmeldeinformationen für eine Identität erstellen. In HDInsight im AKS-Cluster haben FIC (Verbundidentitäts-Anmeldeinformationen) und SA eine 1:1-Zuordnung, und es können nur 20 SAs gegen ein MSI erstellt werden. Wenn Sie weitere Cluster erstellen möchten, müssen Sie verschiedene MSIs bereitstellen, um die Einschränkung zu überwinden.
- Das Erstellen von Anmeldeinformationen für föderierte Identitäten wird derzeit nicht für verwaltete Identitäten unterstützt, die vom Benutzer in diesen Regionen zugewiesen wurden.
Betriebssystemversion
- Mariner OS 2.0
Workload-Versionen
| Arbeitsbelastung | Version |
|---|---|
| Trino | 426 |
| Flink | 1.17.0 |
| Apache Spark | 3.3.1 |
Unterstützte Java- und Scala-Versionen
| Arbeitsbelastung | Java | Scala |
|---|---|---|
| Trino | Öffnen Sie JDK 17.0.7 | - |
| Flink | Öffnen Von JDK 11.0.21 | 2.12.7 |
| Funke | Öffnen von JDK 1.8.0_345 | 2.12.15 |
Die Vorschau ist in den folgenden Regionenverfügbar.
Wenn Sie weitere Fragen haben, wenden Sie sich an Azure Support, oder wenden Sie sich auf die Seite Supportoptionen. Wenn Sie produktspezifisches Feedback haben, schreiben Sie uns auf aka.ms/askhdinsight.
Veröffentlichungsdatum: 05. Februar 2024
Diese Version gilt für die folgenden
- Cluster-Pool-Version: 1.1
- Clusterversion: 1.1.0
- AKS-Version: 1.27
Trinkgeld
Zum Erstellen eines neuen HDInsight auf AKS-Cluster auf 1.1.0 müssen Sie einen neuen Clusterpool mit Version 1.1 erstellen.
Neue Features
- Workload Identity wird standardmäßig für Clusterpools auf 1.1 unterstützt.
- Trino-Cluster unterstützen Trino 426 ab Version 1.1.0
- HDInsight auf AKS umfasst jetzt alle Änderungen bis Trino 426 mit mehreren wichtigen Verbesserungen durch die Community. Erfahren Sie mehr über Trino hier.
- Trino-Cluster-Shape unterstützt jetzt lastbasiertes Autoscaling ab Version 1.1.0.
- Trino auf HDInsight auf AKS unterstützt jetzt lastenbasierte automatische Skalierung, wodurch die Cluster kosteneffizienter werden. Erfahren Sie mehr darüber hier.
- Trino-Cluster-Form fügt eine vereinfachte Konfiguration von Hive-Metastore und Katalogen hinzu.
- HDInsight auf AKS hat die Konfiguration des externen Hive-Metastores für Trino-Cluster vereinfacht. Sie können nun externen Metaspeicher in config.properties angeben und für jeden Katalog mit einem einzigen Parameter aktivieren. Erfahren Sie mehr über Verbesserungen hier.
- Trino-Cluster-Form fügt einen Sharded-SQL-Connector hinzu
- Flink-Cluster unterstützen jetzt Flink 1.17.0 von HDInsight auf der Version AKS 1.1.0
- HDInsight auf AKS unterstützt jetzt Flink 1.17.0-Release mit erheblichen Verbesserungen bei Prüfpunkten, Flammdiagramm auf Teilaufgabenebene und Wasserzeichenausrichtungen. Erfahren Sie mehr über die Flink 1.17-Version hier
- Flink SQL-Gateway- wird jetzt von HDInsight auf AKS 1.1.0-Version mit Flink-Sitzungsclustern unterstützt.
Fehlerbehebungen & CVEs
- Diese Version enthält mehrere wichtige CVE-Fixes auf der Plattform und Open Source-Komponenten.
- Die Trino-Cluster-Konfiguration schließt Systemtabellen automatisch vom Zwischenspeichern aus.
- Die Struktur des Trino-Clusters verbessert die Behandlung von Power BI-Zeitstempeln und Zeitzonen.
Bekannte Probleme
-
Einschränkung der Workload-Identität:
- Beim Übergang zur Workload-Identität gibt es eine bekannte Einschränkung. Dies liegt an der Berechtigungssensitivkeit von FIC-Vorgängen. Benutzer können das Löschen eines Clusters nicht ausführen, indem sie die Ressourcengruppe löscht. Clusterlöschanforderungen müssen von der Anwendung/dem Benutzer/Prinzipal mit FIC-/Löschberechtigungen ausgelöst werden. Falls der FIC-Löschvorgang fehlschlägt, schlägt auch die Clusterlöschung auf hoher Ebene fehl.
Neue Regionen
- Ostasien
Betriebssystemversion
- Mariner OS 2.0
Workloadversionen
| Arbeitsbelastung | Version |
|---|---|
| Trino | 426 |
| Flink | 1.17.0 |
| Apache Spark | 3.3.1 |
Unterstützte Java- und Scala-Versionen
| Arbeitsbelastung | Java | Scala |
|---|---|---|
| Trino | Öffnen Sie JDK 17.0.7 | - |
| Flink | Öffnen Von JDK 11.0.21 | 2.12.7 |
| Funke | Öffnen von JDK 1.8.0_345 | 2.12.15 |
Die Vorschau ist in den folgenden Regionenverfügbar.
Wenn Sie weitere Fragen haben, wenden Sie sich an Azure Support, oder wenden Sie sich auf die Seite Supportoptionen. Wenn Sie produktspezifisches Feedback haben, schreiben Sie uns unter aka.ms/askhdinsight.
Nächste Schritte
Veröffentlichungsdatum: 13. Dezember 2023
Diese Hotfixversion gilt für die folgenden
- Cluster-Pool-Version: 1.0
- Cluster-Version: 1.0.6
Bekannte Probleme
Benutzeroberflächenunterstützung für sichere Mandanten
- Diese Version behebt ein Problem, bei dem auf die Web-URLs der Open-Source-Komponente für HDInsight für AKS-Cluster nicht zugegriffen werden kann. Wenden Sie sich zum Anwenden dieses Fixs an den Azure-Support, um dies in Ihrem Abonnement/Mandanten zu aktivieren.
So wenden Sie den Hotfix an
- Erstellen Sie Ihren Cluster neu
- Um diesen Hotfix anzuwenden, müssen vorhandene Benutzer ihre Cluster- in einem vorhandenen Clusterpool neu erstellen.
Betriebssystemversion
- Mariner OS 2.0
Workload-Versionen
| Arbeitsbelastung | Version |
|---|---|
| Trino | 410 |
| Flink | 1.16 |
| Apache Spark | 3.3.1 |
Unterstützte Java- und Scala-Versionen
| Arbeitsbelastung | Java | Scala |
|---|---|---|
| Trino | Öffnen Sie JDK 17.0.7 | - |
| Flink | Öffnen Von JDK 11.0.21 | 2.12.7 |
| Funke | Öffnen von JDK 1.8.0_345 | 2.12.15 |
Die Vorschau ist in den folgenden Regionenverfügbar.
Wenn Sie weitere Fragen haben, wenden Sie sich an Azure Support, oder wenden Sie sich auf die Seite Supportoptionen.