Conditions préalables aux ressources
Important
Azure HDInsight sur AKS a été mis hors service le 31 janvier 2025. En savoir plus avec cette annonce.
Vous devez migrer vos charges de travail vers Microsoft Fabric ou un produit Azure équivalent pour éviter l’arrêt brusque de vos charges de travail.
Important
Cette fonctionnalité est actuellement en préversion. Les Conditions d’utilisation supplémentaires pour les préversions Microsoft Azure incluent des termes juridiques supplémentaires qui s’appliquent aux fonctionnalités Azure en version bêta, en préversion ou qui ne sont pas encore publiées en disponibilité générale. Pour obtenir des informations concernant cette préversion spécifique, consultez les informations de préversion sur Azure HDInsight sur AKS. Pour des questions ou des suggestions de fonctionnalités, envoyez une demande sur AskHDInsight avec les détails et suivez-nous pour plus de mises à jour sur Communauté Azure HDInsight.
Cet article détaille les ressources requises pour la prise en main de HDInsight sur AKS. Il couvre les ressources nécessaires et facultatives et la façon de les créer.
Ressources nécessaires
Le tableau suivant illustre les ressources nécessaires à la création d’un cluster en fonction des types de cluster.
| Charge de travail | Managed Service Identity (MSI) | Stockage | SQL Server - Base de données SQL | Coffre de clés |
|---|---|---|---|---|
| Trino | ✅ | |||
| Flink | ✅ | ✅ | ||
| Étincelle | ✅ | ✅ | ||
| Trino, Flink ou Spark avec Hive Metastore (HMS) | ✅ | ✅ | ✅ | ✅ |
Note
MSI est utilisé comme norme de sécurité pour l’authentification et l’autorisation entre les ressources, à l’exception de SQL Database. L’attribution de rôle se produit avant le déploiement pour autoriser MSI au stockage et les secrets sont stockés dans le coffre de clés pour SQL Database. La prise en charge du stockage est avec ADLS Gen2 et est utilisée comme magasin de données pour les moteurs de calcul, et SQL Database est utilisée pour la gestion des tables sur le metastore Hive.
Ressources facultatives
- Réseau virtuel et sous-réseau : Créer un réseau virtuel
- Espace de travail Log Analytics : créer un espace de travail Log Analytics
Note
- Le réseau virtuel nécessite un sous-réseau sans table de routage existante associée.
- HDInsight sur AKS vous permet d’apporter votre propre réseau virtuel et sous-réseau, ce qui vous permet de personnaliser vos exigences réseau en fonction des besoins de votre entreprise.
- L’espace de travail Log Analytics est facultatif et doit être créé à l’avance si vous souhaitez utiliser des fonctionnalités Azure Monitor comme Azure Log Analytics.
Vous pouvez créer les ressources nécessaires de deux manières :
Utilisation de modèles ARM
Les modèles ARM suivants vous permettent de créer les ressources nécessaires spécifiées, en un clic à l’aide d’un préfixe de ressource et plus de détails selon les besoins.
Par exemple, si vous fournissez le préfixe de ressource en tant que « démonstration », les ressources suivantes sont créées dans votre groupe de ressources en fonction du modèle que vous sélectionnez :
- MSI est créé sous le nom de
demoMSI. - Le stockage est créé avec un nom en tant que
demostoreainsi qu’un conteneur en tant quedemocontainer. - Le coffre de clés est créé avec le nom
demoKeyVaultainsi que le secret fourni en tant que paramètre dans le modèle. - La base de données Azure SQL est créée avec le nom
demoSqlDBainsi que le serveur SQL avec le nomdemoSqlServer.
| Charge de travail | Conditions préalables |
|---|---|
| Trino |
Créer les ressources mentionnées comme suit : 1. Managed Service Identity (MSI) : identité managée affectée par l’utilisateur. |
| Flink |
Créer les ressources mentionnées comme suit : 1. Managed Service Identity (MSI) : identité managée affectée par l’utilisateur. 2. Compte de stockage ADLS Gen2 et conteneur. Attributions de rôles : 1. Attribue le rôle « Propriétaire des données blob du stockage » à l’identité MSI définie par l'utilisateur sur le compte de stockage. |
| Étincelle |
Créer les ressources mentionnées comme suit : 1. Managed Service Identity (MSI) : identité managée affectée par l’utilisateur. 2. Compte de stockage ADLS Gen2 et conteneur. attributions de rôles: Attribue le rôle « Propriétaire des données blob du stockage » à l’identité MSI assignée par l’utilisateur sur le compte de stockage. |
| Trino, Flink ou Spark avec Hive Metastore (HMS) |
Créer les ressources mentionnées comme suit : 1. Managed Service Identity (MSI) : identité managée affectée par l’utilisateur. 2. Compte de stockage ADLS Gen2 et conteneur. 3. Azure SQL Server et Base de données SQL. 4. Azure Key Vault et un secret pour stocker les informations d’identification de l’administrateur SQL Server. Attributions de rôles: 1. Attribue le rôle « Propriétaire des données blob du stockage » à l'identité MSI attribuée par l'utilisateur sur le compte de stockage. 2. Attribue le rôle « Utilisateur des secrets Key Vault » à l'identité de service gérée (MSI) assignée par l'utilisateur sur Key Vault. |
Note
L’utilisation de ces modèles ARM nécessite qu’un utilisateur ait l’autorisation de créer de nouvelles ressources et d’attribuer des rôles aux ressources de l’abonnement.
Utilisation du portail Azure
Créer une identité managée affectée par l’utilisateur (MSI)
Une identité managée est une identité inscrite dans microsoft Entra ID (Microsoft Entra ID) dont les informations d’identification sont gérées par Azure. Avec les identités managées, vous n’avez pas besoin d’inscrire des principaux de service dans Microsoft Entra ID pour conserver les informations d’identification telles que les certificats.
HDInsight sur AKS repose sur une identité MSI attribuée par l’utilisateur pour assurer la communication entre les différents composants.
Créer un compte de stockage – ADLS Gen2
Le compte de stockage est utilisé comme emplacement par défaut pour les journaux de cluster et d’autres sorties. Activez l'espace de noms hiérarchique lors de la création du compte de stockage pour l'utiliser en tant que stockage ADLS Gen2.
Attribuer un rôle: attribuez le rôle « Propriétaire des données de blob de stockage » à la MSI assignée par l'utilisateur créée pour ce compte de stockage.
Créer un conteneur: après avoir créé le compte de stockage, créez un conteneur dans le compte de stockage.
Note
L’option permettant de créer un conteneur lors de la création du cluster est également disponible.
Créer une base de données SQL Azure
Créez une base de données Azure SQL à utiliser comme metastore externe lors de la création du cluster ou vous pouvez utiliser une base de données SQL existante. Toutefois, vérifiez que les propriétés suivantes sont définies.
Propriétés nécessaires à activer pour SQL Server et SQL Database-
| Type de ressource | Propriété | Description |
|---|---|---|
| SQL Server | Méthode d’authentification | Lors de la création d’un serveur SQL Server, utilisez « Méthode d’authentification » comme 
|
| Base de données SQL | Autoriser les services et ressources Azure à accéder à ce serveur | Activez cette propriété sous le panneau Mise en réseau dans votre base de données SQL dans le portail Azure. |
Note
- Actuellement, nous prenons uniquement en charge Azure SQL Database en tant que metastore intégré.
- En raison de la limitation Hive, le caractère « - » (trait d’union) dans le nom de la base de données du metastore n’est pas pris en charge.
- Azure SQL Database doit se trouver dans la même région que votre cluster.
- L’option permettant de créer une base de données SQL pendant la création du cluster est également disponible. Toutefois, vous devez actualiser la page de création du cluster pour que la base de données nouvellement créée apparaisse dans la liste déroulante.
Créer un *Azure Key Vault*
Key Vault vous permet de stocker le mot de passe d’administrateur SQL Server défini lors de la création de SQL Database. HDInsight sur la plateforme AKS ne traite pas directement les informations d’identification. Par conséquent, il est nécessaire de stocker vos informations d’identification importantes dans le coffre de clés.
Attribuer un rôle: assignez le rôle « Key Vault Secrets User » à la MSI attribuée à l'utilisateur créée dans le cadre des ressources nécessaires à ce coffre de clés.
Créer un secret: cette étape vous permet de conserver votre mot de passe d’administrateur SQL Server en tant que secret dans Azure Key Vault. Ajoutez votre mot de passe dans le champ « Valeur » lors de la création d’un secret.
Note
- Veillez à noter le nom du secret, car cela est nécessaire lors de la création du cluster.
- Vous devez disposer d’un rôle « Administrateur Key Vault » attribué à votre identité ou compte pour ajouter un secret dans Key Vault à l’aide du portail Azure. Accédez au coffre de clés et suivez les étapes de comment attribuer le rôle.