Présentation du stockage de cluster

Important

Azure HDInsight sur AKS a été mis hors service le 31 janvier 2025. Découvrir davantage grâce à cette annonce .

Vous devez migrer vos charges de travail vers Microsoft Fabric ou un produit Azure équivalent pour éviter l’arrêt brusque de vos charges de travail.

Important

Cette fonctionnalité est actuellement en préversion. Les Conditions d’utilisation supplémentaires pour les préversions Microsoft Azure incluent des termes juridiques supplémentaires qui s’appliquent aux fonctionnalités Azure en version bêta, en préversion ou qui ne sont pas encore publiées en disponibilité générale. Pour plus d’informations sur cette préversion spécifique, consultez informations sur Azure HDInsight sur AKS en préversion. Pour des questions ou des suggestions de fonctionnalités, envoyez une demande sur AskHDInsight avec les détails et suivez-nous pour plus de mises à jour sur Communauté Azure HDInsight.

Azure HDInsight sur AKS peut s’intégrer en toute transparence au stockage Azure, qui est une solution de stockage à usage général qui fonctionne bien avec de nombreux autres services Azure. Azure Data Lake Storage Gen2 (ADLS Gen2) est le système de fichiers par défaut pour les clusters.

Le compte de stockage peut être utilisé comme emplacement par défaut pour les données, les journaux de cluster et d’autres sorties générées pendant l’opération du cluster. Il peut également s’agir d’un stockage par défaut pour le catalogue Hive qui dépend du type de cluster.

Pour plus d’informations, consultez Présentation d’Azure Data Lake Storage Gen2.

Identités managées pour l’accès sécurisé aux fichiers

Azure HDInsight sur AKS utilise des identités managées (MSI) pour sécuriser l’accès au cluster aux fichiers dans Azure Data Lake Storage Gen2. L’identité managée est une fonctionnalité de Microsoft Entra ID qui fournit des services Azure avec un ensemble d’informations d’identification gérées automatiquement. Ces informations d’identification peuvent être utilisées pour s’authentifier auprès de n’importe quel service prenant en charge l’authentification Active Directory. En outre, les identités managées ne vous obligent pas à stocker les informations d’identification dans du code ou des fichiers de configuration.

Dans le service Azure HDInsight sur AKS, une fois que vous avez sélectionné une identité gérée et un stockage lors de la création du cluster, l'identité gérée peut fonctionner de manière transparente avec le stockage pour la gestion des données, à condition que le rôle Propriétaire des données Blob de stockage soit attribué à l'Identité Managée attribuée par l'utilisateur (MSI).

Le tableau suivant présente les options de stockage prises en charge pour Azure HDInsight sur AKS (préversion publique) :

Type de Cluster	Stockage pris en charge	Connexion	Rôle dans le stockage
Trino, Apache Flink et Apache Spark	ADLS Gen2	Identité gérée de cluster assignée par l'utilisateur (MSI)	L’identité MSI affectée par l’utilisateur doit avoir rôle propriétaire des données blob du stockage sur le compte de stockage.

Note

Pour partager un compte de stockage sur plusieurs clusters, vous pouvez simplement attribuer le MSI affecté par l'utilisateur au cluster correspondant en tant que « Propriétaire des données blob de stockage » sur le compte de stockage partagé. Découvrez comment attribuer un rôle.

Après cela, vous pouvez utiliser le chemin d'accès complet du stockage abfs:// pour accéder aux données via vos applications.

Pour plus d’informations, consultez identités managées pour les ressources Azure.
Découvrez comment créer un compte ADLS Gen2.

Architecture de stockage Azure HDInsight sur AKS

Le diagramme suivant fournit une vue abstraite de l’architecture Azure HDInsight sur AKS du stockage Azure.

capture d’écran

Gestion du stockage

Actuellement, Azure HDInsight sur AKS ne prend pas en charge les comptes de stockage avec suppression réversible activée, veillez à désactiver la suppression réversible pour votre compte de stockage.