Partager via

Notes de publication archivées d’Azure HDInsight sur AKS

  • Article

Important

Azure HDInsight sur AKS a été mis hors service le 31 janvier 2025. En savoir plus avec cette annonce.

Vous devez migrer vos charges de travail vers Microsoft Fabric ou un produit Azure équivalent pour éviter l’arrêt brusque de vos charges de travail.

Important

Cette fonctionnalité est actuellement en préversion. Les Conditions d’utilisation supplémentaires pour les préversions Microsoft Azure incluent des termes juridiques supplémentaires qui s’appliquent aux fonctionnalités Azure en version bêta, en préversion ou qui ne sont pas encore publiées en disponibilité générale. Pour obtenir des informations sur cette préversion spécifique, consultez les informations sur la préversion de Azure HDInsight sur AKS. Pour des questions ou des suggestions de fonctionnalités, envoyez une demande sur AskHDInsight avec les détails et suivez-nous pour plus de mises à jour sur Communauté Azure HDInsight.

Azure HDInsight sur AKS est l’un des services les plus populaires parmi les clients d’entreprise pour l’analytique open source sur Azure. Si vous souhaitez vous abonner aux notes de publication, suivez les versions sur ce dépôt GitHub .

Date de publication : 05 août 2024

Cette version s’applique aux suivantes

  • Version du pool de clusters : 1.2
  • Version du cluster : 1.2.1
  • Version AKS : 1.27

Nouvelles fonctionnalités

l’authentification SQL basée sur MSI Les utilisateurs peuvent désormais authentifier le metastore Azure SQL DB externe avec MSI au lieu de l’authentification par mot de passe de l’ID utilisateur. Cette fonctionnalité permet de sécuriser davantage la connexion de cluster avec metastore.

références SKU de machine virtuelle configurables pour le nœud principal, le nœud SSH Cette fonctionnalité permet aux utilisateurs de choisir des références SKU spécifiques pour les nœuds principaux, les nœuds Worker et les nœuds SSH, offrant la possibilité de sélectionner en fonction du cas d’usage et du risque de réduire le coût total de possession (TCO).

Plusieurs MSI dans le cluster Les utilisateurs peuvent configurer plusieurs MSI pour les opérations des administrateurs de cluster et pour l'accès aux ressources liées aux tâches. Cette fonctionnalité permet aux utilisateurs de délimiter et de contrôler l’accès au cluster et aux données situées dans le compte de stockage. Par exemple, une MSI pour l’accès aux données dans le compte de stockage et une MSI dédiée pour les opérations de cluster.

Actualisé

L'action de script Action de script peut désormais être ajoutée avec l’autorisation de l’utilisateur Sudo. Les utilisateurs peuvent désormais installer plusieurs dépendances, notamment des fichiers jar personnalisés pour personnaliser les clusters selon les besoins.

gestion des bibliothèques fonctionnalité de raccourci du référentiel Maven ajoutée à la gestion des bibliothèques dans cette version. L’utilisateur peut maintenant installer des dépendances Maven directement à partir des référentiels open source.

Mise à jour Spark 3.4 Spark 3.4 apporte une gamme de nouvelles fonctionnalités incluses

  • Améliorations apportées aux API
  • Améliorations de la diffusion en continu structurée
  • Amélioration de l’utilisation et de l’expérience des développeurs

Important

Pour tirer parti de toutes ces dernières fonctionnalités, vous devez créer un nouveau pool de clusters avec la version 1.2 et une version de cluster 1.2.1.

Problèmes connus

  • Limitation de l'Identité de la Charge de Travail :
    • Il existe une limitation connue lors de la transition vers l’identité de charge de travail. Cette limitation est due à la nature sensible aux autorisations des opérations FIC. Les utilisateurs ne peuvent pas effectuer la suppression d’un cluster en supprimant le groupe de ressources. Les demandes de suppression de cluster doivent être déclenchées par l'application ou l'utilisateur ou le titulaire principal avec les autorisations FIC/suppression. En cas d’échec de la suppression FIC, la suppression de cluster de haut niveau échoue également.
    • Prise en charge des identités managées affectées par l’utilisateur UAMI : il existe une limite de 20 FICs par UAMI. Vous ne pouvez créer que 20 informations d’identification fédérées sur une identité. Dans HDInsight sur le cluster AKS, FIC (Informations d’identification de l’identité fédérée) et SA ont un mappage un-à-un et seuls 20 SAs peuvent être créés sur une msi. Si vous souhaitez créer d’autres clusters, vous devez fournir différentes MSIs pour surmonter la limitation.
    • La création d'identifiants d'identité fédérée n'est pas actuellement prise en charge pour les identités managées assignées par l'utilisateur créées dans ces régions

Version du système d’exploitation

  • Mariner OS 2.0

versions de charge de travail

Charge de travail Version
Trino 440
Flink 1.17.0
Apache Spark 3.4

Versions Java et Scala prises en charge

Charge de travail Java Scala
Trino Ouvrez JDK 21.0.2 - 
Flink Ouvrez JDK 11.0.21 2.12.7
Étincelle Ouvrez JDK 1.8.0_345 2.12.15

La préversion est disponible dans les régions suivantes.

Si vous avez d'autres questions, contactez support Azure ou reportez-vous à la page options de support. Si vous avez des commentaires spécifiques au produit, écrivez-nous sur aka.ms/askhdinsight.

Date de publication : 20 mars 2024

Cette version s’applique aux suivantes

  • Version du pool de clusters : 1.1
  • Version du cluster : 1.1.1
  • Version AKS : 1.27

Nouvelles fonctionnalités

cluster en mode application Apache Flink

Les clusters en mode application sont conçus pour prendre en charge des ressources dédiées pour les travaux volumineux et longs. Lorsque vous avez des tâches de traitement de données gourmandes en ressources ou étendues, vous pouvez utiliser le cluster en mode application . Ce mode vous permet d’allouer des ressources dédiées pour des applications Apache Flink spécifiques, en vous assurant qu’elles disposent de la puissance de calcul et de la mémoire nécessaires pour gérer efficacement les charges de travail volumineuses.

Pour plus d’informations, consultez cluster Apache Flink Application Mode sur HDInsight sur AKS.

Clusters privés pour HDInsight sur AKS

Avec les clusters privés et les paramètres de sortie de cluster, vous pouvez désormais contrôler le trafic d’entrée et de sortie depuis HDInsight sur les pools et clusters AKS.

  • Utilisez le Pare-feu Azure ou les groupes de sécurité réseau (NSG) pour contrôler le trafic de sortie lorsque vous choisissez d’utiliser un pool de clusters sortants avec l’équilibreur de charge.
  • Utilisez le pool de clusters sortants avec le routage défini par l’utilisateur pour contrôler le trafic de sortie au niveau du sous-réseau.
  • Utilisez la fonctionnalité de cluster AKS privé : pour vous assurer que le plan de contrôle AKS ou le serveur d’API possède des adresses IP internes. Le trafic réseau entre le plan de contrôle AKS / le serveur API et HDInsight sur les pools de nœuds AKS (clusters) reste uniquement sur le réseau privé.
  • Évitez de créer des adresses IP publiques pour le cluster. Utilisez la fonctionnalité d’entrée privée sur vos clusters.

Pour plus d’informations, consultez Contrôler le trafic réseau à partir de HDInsight sur pools de clusters AKS et des clusters.

mise à niveau sur place

Mettez à niveau vos clusters et pools de clusters avec les dernières mises à jour logicielles. Cela signifie que vous pouvez profiter des derniers correctifs logiciels du package de cluster, des mises à jour de sécurité et des correctifs AKS, sans recréer de clusters. Pour plus d’informations, consultez Mettre à niveau votre HDInsight sur les clusters et pools AKS.

Important

Pour tirer parti de toutes ces fonctionnalités les plus récentes , vous devez créer un pool de clusters avec la version 1.1 et le cluster en version 1.1.1.

Problèmes connus

  • Limitation de l'identité de la charge de travail :
    • Il existe une limitation connue lors de la transition vers l’identité de charge de travail. Cette limitation est due à la nature sensible aux autorisations des opérations FIC. Les utilisateurs ne peuvent pas effectuer la suppression d’un cluster en supprimant le groupe de ressources. Les demandes de suppression de cluster doivent être déclenchées par l'application/l'utilisateur/le principal avec des autorisations FIC/suppression. En cas d’échec de la suppression FIC, la suppression de cluster de haut niveau échoue également.
    • Prise en charge des Identités Managées Affectées par l’Utilisateur (UAMI) : il existe une limite de 20 FIC par UAMI. Vous ne pouvez créer que 20 informations d’identification fédérées sur une identité. Dans HDInsight sur le cluster AKS, FIC (Informations d’identification de l’identité fédérée) et SA ont un mappage un-à-un et seuls 20 SA peuvent être créés contre une MSI. Si vous souhaitez créer d’autres clusters, vous devez fournir différentes MSIs pour surmonter la limitation.
    • La création d'identifiants d'identité fédérée n'est pas actuellement prise en charge sur les identités managées assignées par l'utilisateur créées dans ces régions

Version du système d’exploitation

  • Mariner OS 2.0

versions de charge de travail

Charge de travail Version
Trino 426
Flink 1.17.0
Apache Spark 3.3.1

Versions de Java et Scala prises en charge

Charge de travail Java Scala
Trino Ouvrez JDK 17.0.7 - 
Flink Ouvrez JDK 11.0.21 2.12.7
Étincelle Ouvrez JDK 1.8.0_345 2.12.15

L'aperçu est disponible dans les régions suivantes .

Si vous avez plus de questions, contactez le support Azure ou reportez-vous à la page des options de support . Si vous avez des commentaires spécifiques au produit, écrivez-nous sur aka.ms/askhdinsight.

Date de publication : 05 février 2024

Cette version s’applique aux suivantes

  • Version du pool de clusters : 1.1
  • Version du cluster : 1.1.0
  • Version AKS : 1.27

Pourboire

Pour créer un cluster HDInsight sur AKS sur la version 1.1.0, vous devez créer un pool de clusters avec la version 1.1

Nouvelles fonctionnalités

  • Workload Identity est prise en charge par défaut pour les pools de clusters sur la version 1.1
  • Les clusters Trino prennent en charge Trino 426 à partir de la version 1.1.0
    • HDInsight sur AKS inclut désormais toutes les modifications jusqu’à Trino 426 avec plusieurs améliorations notables fournies par la communauté. En savoir plus sur Trino ici.
  • La forme de cluster Trino prend désormais en charge la mise à l’échelle automatique basée sur la charge à partir de la version 1.1.0
    • Trino sur HDInsight sur AKS prend désormais en charge la mise à l’échelle automatique basée sur la charge, ce qui rend le cluster plus économique. En savoir plus à propos de ceci ici.
  • La structure de cluster Trino ajoute une configuration simplifiée du metastore Hive et des catalogues.
    • HDInsight sur AKS a simplifié la configuration du metastore Hive externe pour le cluster Trino. vous pouvez maintenant spécifier un metastore externe dans config.properties et l’activer pour chaque catalogue avec un seul paramètre. Pour en savoir plus sur les améliorations , cliquez ici.
  • La forme de cluster Trino ajoute un connecteur sql partitionné
  • Les clusters Flink prennent désormais en charge Flink 1.17.0 à partir de HDInsight sur AKS 1.1.0 version
    • HDInsight sur AKS prend désormais en charge la version Flink 1.17.0, avec des améliorations significatives sur les points de contrôle, le graphique de flammes au niveau de la sous-tâche, les alignements de filigranes. En savoir plus sur la version Flink 1.17 ici
  • Flink SQL Gateway est désormais pris en charge depuis la version 1.1.0 de HDInsight sur AKS avec des clusters de sessions Flink.

Correctifs de bogues & CVEs

  • Cette version inclut plusieurs correctifs CVE critiques sur la plateforme et les composants open source.
  • La forme de cluster Trino exclut automatiquement les tables système de la mise en cache
  • La forme de cluster Trino améliore le traitement des fuseaux horaires des horodatages dans Power BI.

Problèmes connus

  • Limitation de l’Identité de la Charge de Travail :
    • Il existe une limitation connue lors de la transition vers l’identité de charge de travail. Cela est dû à la nature sensible des autorisations des opérations FIC. Les utilisateurs ne peuvent pas effectuer la suppression d’un cluster en supprimant le groupe de ressources. Les demandes de suppression de cluster doivent être déclenchées par l'application, l'utilisateur ou le principal disposant des autorisations FIC/delete. En cas d’échec de la suppression FIC, la suppression de cluster de haut niveau échoue également.

Nouvelles régions

  • Asie de l’Est

Version du système d’exploitation

  • Mariner OS 2.0

versions de charge de travail

Charge de travail Version
Trino 426
Flink 1.17.0
Apache Spark 3.3.1

versions Java et Scala prises en charge

Charge de travail Java Scala
Trino Ouvrez JDK 17.0.7 - 
Flink Ouvrez JDK 11.0.21 2.12.7
Étincelle Ouvrez JDK 1.8.0_345 2.12.15

L'aperçu est disponible dans les régions suivantes .

Si vous avez plus de questions, contactez support Azure ou reportez-vous à la page options de support. Si vous avez des commentaires spécifiques au produit, écrivez-nous sur aka.ms/askhdinsight.

Étapes suivantes

Date de publication : 13 décembre 2023

Cette version du correctif s’applique aux suivant(e)s

  • Version du pool de clusters : 1.0
  • Version du cluster : 1.0.6

Problèmes connus

  • Prise en charge de l’Interface Utilisateur des Locataires Sécurisés

    • Cette version résout un problème où les URL web du composant open source pour HDInsight sur les clusters AKS étaient inaccessibles. Pour appliquer ce correctif, contactez le support Azure pour l’activer sur votre abonnement/locataire.

    Comment appliquer le correctif logiciel

    • Recréer votre cluster
      • Pour appliquer ce correctif logiciel, les utilisateurs existants doivent recréer leur cluster sur un pool de clusters existant.

Version du système d’exploitation

  • Mariner OS 2.0

Versions des charges de travail

Charge de travail Version
Trino 410
Flink 1.16
Apache Spark 3.3.1

versions Java et Scala prises en charge

Charge de travail Java Scala
Trino Ouvrez JDK 17.0.7 - 
Flink Ouvrez JDK 11.0.21 2.12.7
Étincelle Ouvrez JDK 1.8.0_345 2.12.15

L'aperçu est disponible dans les régions suivantes.

Si vous avez plus de questions, contactez support Azure ou reportez-vous à la page options de support.