Freigeben über

Azure HDInsight on AKS: Archivierte Versionshinweise

  • Artikel

Hinweis

Azure HDInsight on AKS wird am 31. Januar 2025 eingestellt. Vor dem 31. Januar 2025 müssen Sie Ihre Workloads zu Microsoft Fabric oder einem gleichwertigen Azure-Produkt migrieren, um eine abruptes Beendigung Ihrer Workloads zu vermeiden. Die verbleibenden Cluster in Ihrem Abonnement werden beendet und vom Host entfernt.

Bis zum Einstellungsdatum ist nur grundlegende Unterstützung verfügbar.

Wichtig

Diese Funktion steht derzeit als Vorschau zur Verfügung. Die zusätzlichen Nutzungsbedingungen für Microsoft Azure-Vorschauen enthalten weitere rechtliche Bestimmungen, die für Azure-Features in Betaversionen, in Vorschauversionen oder anderen Versionen gelten, die noch nicht allgemein verfügbar gemacht wurden. Informationen zu dieser spezifischen Vorschau finden Sie unter Informationen zur Vorschau von Azure HDInsight on AKS. Bei Fragen oder Funktionsvorschlägen senden Sie eine Anfrage an AskHDInsight mit den entsprechenden Details, und folgen Sie uns für weitere Updates in der Azure HDInsight-Community.

Azure HDInsight on AKS ist einer der beliebtesten Dienste bei Unternehmenskunden für Open-Source-Analysen auf Azure. Wenn Sie die Anmerkungen zu dieser Version abonnieren möchten, sehen Sie sich die Releases auf diesem GitHub-Repository an.

Veröffentlichungsdatum: 05. August 2024

Dieses Release betrifft Folgendes

  • Clusterpoolversion: 1.2
  • Clusterversion: 1.2.1
  • AKS-Version: 1.27

Neue Funktionen

MSI-basierte SQL-Authentifizierung Benutzer können jetzt den externen Azure SQL-DB-Metastore mit MSI anstelle der Benutzer-ID-Kennwortauthentifizierung authentifizieren. Dieses Feature trägt dazu bei, die Clusterverbindung mit Metastore weiter zu sichern.

Konfigurierbare VM-SKUs für Hauptknoten, SSH-Knoten Diese Funktionalität ermöglicht Benutzern bestimmte SKUs für Hauptknoten, Workerknoten und SSH-Knoten auszuwählen und bietet die Flexibilität, je nach Anwendungsfall auszuwählen, und das Potenzial, die Gesamtbetriebskosten (Total Cost of Ownership, TCO) zu senken.

Mehrere MSI im Cluster Benutzer können mehrere MSI für Clusteradministratorvorgänge und für den auftragsbezogenen Ressourcenzugriff konfigurieren. Mit diesem Feature können Benutzer den Zugriff auf den Cluster und die Daten, die sich im Speicherkonto befinden, abgrenzen und steuern. Beispielsweise ein MSI für den Zugriff auf Daten im Speicherkonto und ein dedizierter MSI für Clustervorgänge.

Aktualisiert

Skriptaktion Skriptaktionen können jetzt mit Sudo-Benutzerberechtigung hinzugefügt werden. Benutzer können jetzt mehrere Abhängigkeiten einschließlich benutzerdefinierter JARs installieren, um die Cluster nach Bedarf anzupassen.

Bibliotheksverwaltung Das Maven-Repository-Verknüpfungsfeature wurde in diesem Release der Bibliotheksverwaltung hinzugefügt. Der Benutzer kann jetzt Maven-Abhängigkeiten direkt aus den Open-Source-Repositorys installieren.

Spark 3.4 Das Spark 3.4-Update bietet eine Reihe neuer Features, einschließlich

  • API-Verbesserungen
  • Verbesserungen beim strukturierten Streaming
  • Verbesserte Benutzerfreundlichkeit und Entwickleroberfläche

Wichtig

Um all diese neuesten Features nutzen zu können, müssen Sie einen neuen Clusterpool mit der Version 1.2 und der Clusterversion 1.2.1 erstellen

Bekannte Probleme

  • Einschränkungen für die Workloadidentität:
    • Es gibt eine bekannte Einschränkung bei der Umstellung auf die Workload-Identität. Das liegt daran, dass FIC-Vorgänge berechtigungsbasiert sind. Benutzer können einen Cluster nicht löschen, indem sie die Ressourcengruppe löschen. Clusterlöschanforderungen müssen von der Anwendung, dem oder derBenutzer*in oder dem Prinzipal mit FIC-/Löschberechtigungen ausgelöst werden. Im Falle, dass die FIC-Löschung fehlschlägt, wird das Löschen von Clustern auf hoher Ebene ebenfalls fehlschlagen.
    • Unterstützung von User Assigned Managed Identities (UAMI) – Es gibt ein Limit von 20 FICs pro UAMI. Sie können nur 20 Verbundanmeldeinformationen für eine Identität erstellen. In HDInsight on AKS-Cluster haben FIC (Federated Identity Credential) und Software Assurance eine Eins-zu-Eins-Zuordnung und es können nur 20 Software Assurance für eine MSI erstellt werden. Wenn Sie mehr Cluster erstellen möchten, müssen Sie verschiedene MSIs bereitstellen, um diese Einschränkung zu umgehen.
    • Die Erstellung von Anmeldeinformationen für Verbundidentitäten wird derzeit für von Benutzern zugewiesene verwaltete Identitäten nicht unterstützt, die in diesen Regionen erstellt wurden.

Version des Betriebssystems

  • Mariner-Betriebssystem 2.0

Workloadversionen

Workload Version
Trino 440
Flink 1.17.0
Apache Spark 3.4

Unterstützte Java- und Scala-Versionen

Workload Java Scala
Trino Open JDK 21.0.2 - 
Flink Open JDK 11.0.21 2.12.7
Spark Open JDK 1.8.0_345 2.12.15

Die Vorschauversion ist in den folgenden Regionen verfügbar.

Wenn Sie weitere Fragen haben, wenden Sie sich an Azure Support oder lesen Sie die Seite Supportoptionen. Wenn Sie produktspezifisches Feedback haben, schreiben Sie uns unter aka.ms/askhdinsight.

Veröffentlichungsdatum: 20. März 2024

Dieses Release betrifft Folgendes

  • Clusterpoolversion: 1.1
  • Clusterversion: 1.1.1
  • AKS-Version: 1.27

Neue Funktionen

Apache Flink-Anwendungsmoduscluster

Cluster im Anwendungsmodus sind für die Unterstützung dedizierter Ressourcen für große und lang laufende Aufträge konzipiert. Wenn Sie ressourcenintensive oder umfangreiche Datenverarbeitungsaufgaben haben, können Sie den Anwendungsmoduscluster verwenden. In diesem Modus können Sie bestimmten Apache Flink-Anwendungen dedizierte Ressourcen zuordnen und sicherstellen, dass diese über die notwendige Rechenleistung und den nötigen Speicher verfügen, um große Arbeitslasten effektiv zu bewältigen.

Weitere Informationen finden Sie unter Apache Flink-Anwendungsmoduscluster in HDInsight on AKS.

Private Cluster für HDInsight on AKS

Mit privaten Clustern und ausgehenden Cluster-Einstellungen können Sie jetzt den eingehenden und ausgehenden Datenverkehr von HDInsight on AKS Cluster-Pools und Clustern kontrollieren.

  • Verwenden Sie Azure Firewall oder Network Security Groups (NSGs), um den ausgehenden Datenverkehr zu kontrollieren, wenn Sie sich für die Verwendung des ausgehenden Clusterpools mit Lastenausgleich entscheiden.
  • Verwenden Sie ausgehenden Clusterpool mit benutzerdefiniertem Routing, um den ausgehenden Datenverkehr auf Subnetzebene zu kontrollieren.
  • Private AKS-Cluster-Funktion verwenden – Um sicherzustellen, dass die AKS-Kontrollebene oder der API-Server über interne IP-Adressen verfügt. Der Netzwerkverkehr zwischen AKS Leitebene / API Server und HDInsight on AKS Knotenpools (Clustern) erfolgt ausschließlich über das private Netzwerk.
  • Vermeiden Sie die Erstellung öffentlicher IP-Adressen für den Cluster. Verwenden Sie die Funktion für den eingehenden Datenverkehr in Ihren Clustern.

Weitere Informationen finden Sie unter Steuern des Netzwerkdatenverkehrs von HDInsight on AKS-Clusterpools und -clustern.

Direktes Upgrade

Aktualisieren Sie Ihre Cluster und Clusterpools mit den neuesten Software-Updates. Das bedeutet, dass Sie die neuesten Clusterpaket-Hotfixes, Sicherheitsupdates und AKS-Patches nutzen können, ohne Cluster neu erstellen zu müssen. Weitere Informationen finden Sie unter Upgrade Ihrer HDInsight on AKS-Cluster und Clusterpools.

Wichtig

Um all diese neuesten Funktionen nutzen zu können, müssen Sie einen neuen Clusterpool mit Version 1.1 und Cluster mit Version 1.1.1 erstellen.

Bekannte Probleme

  • Einschränkungen für die Workloadidentität:
    • Es gibt eine bekannte Einschränkung bei der Umstellung auf die Workload-Identität. Das liegt daran, dass FIC-Vorgänge berechtigungsbasiert sind. Benutzer können einen Cluster nicht löschen, indem sie die Ressourcengruppe löschen. Clusterlöschanforderungen müssen von der Anwendung, dem oder derBenutzer*in oder dem Prinzipal mit FIC-/Löschberechtigungen ausgelöst werden. Im Falle, dass die FIC-Löschung fehlschlägt, wird das Löschen von Clustern auf hoher Ebene ebenfalls fehlschlagen.
    • Unterstützung von User Assigned Managed Identities (UAMI) – Es gibt ein Limit von 20 FICs pro UAMI. Sie können nur 20 Verbundanmeldeinformationen für eine Identität erstellen. In HDInsight on AKS-Cluster haben FIC (Federated Identity Credential) und Software Assurance eine Eins-zu-Eins-Zuordnung und es können nur 20 Software Assurance für eine MSI erstellt werden. Wenn Sie mehr Cluster erstellen möchten, müssen Sie verschiedene MSIs bereitstellen, um diese Einschränkung zu umgehen.
    • Die Erstellung von Anmeldeinformationen für Verbundidentitäten wird derzeit für von Benutzern zugewiesene verwaltete Identitäten nicht unterstützt, die in diesen Regionen erstellt wurden.

Version des Betriebssystems

  • Mariner-Betriebssystem 2.0

Workloadversionen

Workload Version
Trino 426
Flink 1.17.0
Apache Spark 3.3.1

Unterstützte Java- und Scala-Versionen

Workload Java Scala
Trino Open JDK 17.0.7 - 
Flink Open JDK 11.0.21 2.12.7
Spark Open JDK 1.8.0_345 2.12.15

Die Vorschauversion ist in den folgenden Regionen verfügbar.

Wenn Sie weitere Fragen haben, wenden Sie sich an Azure Support oder lesen Sie die Seite Supportoptionen. Wenn Sie produktspezifisches Feedback haben, schreiben Sie uns unter aka.ms/askhdinsight.

Veröffentlichungsdatum: 5. Februar 2024

Dieses Release betrifft Folgendes

  • Clusterpoolversion: 1.1
  • Clusterversion: 1.1.0
  • AKS-Version: 1.27

Tipp

Zum Erstellen eines neuen HDInsight on AKS-Clusters mit Version 1.1.0 müssen Sie einen neuen Clusterpool mit Version 1.1 erstellen.

Neue Funktionen

  • Workloadidentitäten werden standardmäßig für Clusterpools mit Version 1.1 unterstützt.
  • Trino-Cluster unterstützen Trino 426 ab Release 1.1.0:
    • HDInsight on AKS enthält jetzt alle Änderungen bis Trino 426 mit mehreren wichtigen Verbesserungen aus der Community. Weitere Informationen zu Trino finden Sie hier.
  • Die Trino-Clusterform unterstützt jetzt die auslastungsbasierte Autoskalierung ab Release 1.1.0:
    • Trino in HDInsight on AKS unterstützt jetzt die auslastungsbasierte Autoskalierung, wodurch Cluster kosteneffizienter werden. Weitere Informationen dazu finden Sie hier.
  • Die Trino-Clusterform enthält jetzt einen vereinfachten Hive-Metastore und eine Katalogkonfiguration:
    • HDInsight on AKS hat die Konfiguration des externen Hive-Metastores für Trino-Cluster vereinfacht. Sie können nun in config.properties einen Metastore angeben und mit einem einzigen Parameter für jeden Katalog aktivieren. Weitere Informationen zu Verbesserungen finden Sie hier.
  • Trino-Clusterform enthält jetzt einen SQL-Connector mit Sharding:
  • Flink-Cluster unterstützen jetzt Flink 1.17.0 ab Release 1.1.0 von HDInsight on AKS:
    • HDInsight on AKS unterstützt jetzt das Flink-Release 1.17.0 mit erheblichen Verbesserungen bei Prüfpunkten, Flame-Diagrammen für Teilaufgaben und Wasserzeichenausrichtung. Weitere Informationen zum Flink-Release 1.17 finden Sie hier.
  • Das SQL-Gateway für Flink wird jetzt von HDInsight on AKS 1.1.0 mit Flink-Sitzungsclustern unterstützt.

Fehlerbehebungen und CVEs

  • Diese Version enthält mehrere Fixes für kritische CVEs, die Plattform- und Open-Source-Komponenten betreffen.
  • Die Trino-Clusterform schließt Systemtabellen automatisch vom Zwischenspeichern aus.
  • Die Trino-Clusterform verbessert die Verarbeitung von Power BI-Zeitstempelzeitzonen.

Bekannte Probleme

  • Einschränkungen für die Workloadidentität:
    • Es gibt eine bekannte Einschränkung bei der Umstellung auf die Workload-Identität. Das liegt daran, dass FIC-Vorgänge berechtigungsbasiert sind. Benutzer und Benutzerinnen können einen Cluster nicht löschen, indem sie die Ressourcengruppe löschen. Clusterlöschanforderungen müssen von der Anwendung, dem oder derBenutzer*in oder dem Prinzipal mit FIC-/Löschberechtigungen ausgelöst werden. Falls der FIC-Löschvorgang fehlschlägt, schlägt auch die Clusterlöschung fehl.

Neue Regionen

  • Asien, Osten

Version des Betriebssystems

  • Mariner-Betriebssystem 2.0

Workloadversionen

Workload Version
Trino 426
Flink 1.17.0
Apache Spark 3.3.1

Unterstützte Java- und Scala-Versionen

Workload Java Scala
Trino Open JDK 17.0.7 - 
Flink Open JDK 11.0.21 2.12.7
Spark Open JDK 1.8.0_345 2.12.15

Die Vorschauversion ist in den folgenden Regionen verfügbar.

Wenn Sie weitere Fragen haben, wenden Sie sich an Azure Support oder lesen Sie die Seite Supportoptionen. Wenn Sie produktspezifisches Feedback haben, schreiben Sie uns unter aka.ms/askhdinsight.

Nächste Schritte

Veröffentlichungsdatum: 13. Dezember 2023

Dieses Hotfix-Release betrifft Folgendes

  • Clusterpoolversion: 1.0
  • Clusterversion: 1.0.6

Bekannte Probleme

  • Benutzeroberflächenunterstützung für sichere Mandanten

    • Dieses Release behebt ein Problem, bei dem auf die Web-URLs der Open-Source-Komponente für HDInsight für AKS-Cluster nicht zugegriffen werden kann. Wenden Sie sich für die Anwendung dieses Hotfixes an den Azure-Support, um dies für Ihr Abonnement/Ihren Mandanten zu aktivieren.

    Anwenden des Hotfixes

    • Erstellen Sie Ihren Cluster neu
      • Um diesen Hotfix anzuwenden, müssen vorhandene Benutzer ihren Cluster auf einem vorhandenen Clusterpool neu erstellen.

Version des Betriebssystems

  • Mariner-Betriebssystem 2.0

Workloadversionen

Workload Version
Trino 410
Flink 1.16
Apache Spark 3.3.1

Unterstützte Java- und Scala-Versionen

Workload Java Scala
Trino Open JDK 17.0.7 - 
Flink Open JDK 11.0.21 2.12.7
Spark Open JDK 1.8.0_345 2.12.15

Die Vorschauversion ist in den folgenden Regionen verfügbar.

Wenn Sie weitere Fragen haben, wenden Sie sich an Azure Support oder lesen Sie die Seite Supportoptionen.