Partager via

Qu’est-ce qu’Azure Managed Lustre ?

  • Article

Azure Managed Lustre est un système de fichiers managé qui offre un stockage évolutif, puissant et économique pour les charges de travail de calcul haute performance (HPC).

Voici quelques fonctionnalités et avantages clés d’Azure Managed Lustre :

  • Accélérer les charges de travail HPC: offre une solution de système de fichiers parallèle distribué à hautes performances, idéale pour les charges de travail HPC nécessitant un débit élevé, une faible latence et une compatibilité de protocole Lustre.
  • service managé spécialement conçu: offre les avantages d’un système de fichiers parallèle Lustre sans la complexité de la gestion de l’infrastructure sous-jacente. Azure Managed Lustre est un service entièrement managé qui simplifie les opérations, réduit les coûts d’installation et élimine la maintenance complexe.
  • intégration du Stockage Blob Azure: vous permet de connecter des systèmes de fichiers Azure Managed Lustre à des conteneurs Stockage Blob Azure pour optimiser le placement des données et la gestion des coûts. Pour plus d'informations, voir Intégration d'Azure Blob Storage.
  • Intégration d'Azure Kubernetes Service (AKS) : Vous permet de conteneuriser des charges de travail à l'aide du pilote CSI compatible avec AKS disponible. Pour plus d’informations, consultez Utiliser Azure Managed Lustre avec Kubernetes.

Lustre est un système de fichiers parallèle open source qui peut être mis à l’échelle vers des tailles de stockage massives tout en fournissant un débit hautes performances. Lustre est utilisé par les supercomputers les plus rapides du monde et dans les flux de travail centrés sur les données pour de nombreux types d’industries. Pour plus d’informations sur Lustre, consultez https://www.lustre.org.

Sécurité des données dans Azure Managed Lustre

Toutes les données stockées dans Azure sont chiffrées au repos à l’aide de clés managées Azure par défaut. Si vous souhaitez gérer les clés utilisées pour chiffrer les données stockées dans votre cluster Azure Managed Lustre, suivez les instructions du chiffrement côté serveur du stockage de disque Azure.

Toutes les informations d'un système de fichiers Azure Managed Lustre sont protégées par le chiffrement de l'hôte de la machine virtuelle (VM) sur les disques gérés qui contiennent vos données, même si vous ajoutez une clé gérée par le client pour les disques Lustre. L’ajout d’une clé gérée par le client offre un niveau de sécurité supplémentaire pour les clients ayant des besoins de sécurité élevés. Pour plus d’informations, consultez chiffrement côté serveur du stockage de disque Azure.

Remarque

Azure Managed Lustre ne stocke pas les données client en dehors de la région dans laquelle vous déployez l’instance de service.

Résilience des données dans Azure Managed Lustre

Votre système de fichiers Azure Managed Lustre utilise des disques managés Azure en tant que disques de données ost (Object Storage Target).

Tous les systèmes de fichiers Azure Managed Lustre qui sont créés comme type « durable » de système de fichiers utilisent des disques SSD Azure Premium (disque à état solide) configurés en tant que stockage localement redondant (LRS). Le contenu du disque LRS est répliqué trois fois dans le centre de données local pour se protéger contre les défaillances du lecteur et du rack du serveur.

Le système de fichiers Azure Managed Lustre lui-même contribue également à la résilience des données par le biais des processus de stockage d’objets qu’il utilise pour stocker des données sur ces disques.

Si vous avez besoin d’une redondance régionale ou globale des données, vous pouvez intégrer votre système de fichiers à Stockage Blob Azure. Une fois intégré, vous pouvez lancer un travail d’exportation pour exporter des fichiers vers un conteneur Stockage Blob Azure avec une stratégie de redondance différente pour le stockage à long terme. Configurez Stockage Blob Azure redondance pour le compte de stockage. Vous pouvez choisir la redondance des données zonales (ZRS) ou la redondance des données globales (GRS) lorsque vous créez le compte de stockage. Pour en savoir plus sur les options de redondance des données pour vos fichiers Azure Managed Lustre, consultez types de comptes de stockage pris en charge.

intégration de Stockage Blob Azure

Azure Blob Storage est intégré à Azure Managed Lustre, ce qui vous permet de spécifier des fichiers à importer depuis un conteneur pour utilisation par le système de fichiers. Stockage Blob Azure l’intégration est une application de la gestion hiérarchique de stockage (HSM) de Lustre. Il n’est pas nécessaire d’importer l’ensemble de votre jeu de données pour chaque travail. Au lieu de cela, vous pouvez créer un autre système de fichiers pour différents travaux et stocker des données dans des conteneurs d’objets blob Azure à moindre coût entre les utilisations. Une fois les travaux de calcul hautes performances terminés, vous pouvez exporter des données modifiées vers Stockage Blob Azure et supprimer le système Azure Managed Lustre.

Azure Managed Lustre est personnalisé pour fonctionner en toute transparence avec Stockage Blob Azure. Vous pouvez spécifier un conteneur d’objets blob existant pour rendre ses données existantes accessibles à partir de votre système de fichiers Azure Managed Lustre. Vous pouvez également spécifier un conteneur vide que vous remplissez avec des données ou utiliser pour stocker votre sortie. L’installation et la maintenance sont effectuées pour vous. Vous spécifiez simplement le conteneur d’objets blob à utiliser.

Si vous intégrez Stockage Blob Azure lorsque vous créez un système de fichiers Lustre, vous pouvez utiliser des fonctionnalités de HSM Lustre. Si vous ne souhaitez pas bénéficier des avantages de la gestion HSM de Lustre, vous pouvez importer et exporter les données pour le système de fichiers Azure Managed Lustre en utilisant directement les commandes à partir du client.

Pour en savoir plus sur cette fonctionnalité, consultez l'intégration d'Azure Blob Storage.

Utiliser Azure Managed Lustre avec Kubernetes

Si vous souhaitez utiliser un système de stockage Azure Managed Lustre avec vos conteneurs Kubernetes, vous pouvez utiliser le pilote CSI (Container Support Interface) Azure Lustre pour Kubernetes, qui est compatible avec Azure Kubernetes Service (AKS). D’autres types d’installation de Kubernetes ne sont actuellement pas pris en charge.

Kubernetes peut simplifier la configuration et le déploiement de points de terminaison de client virtuel pour votre charge de travail Azure Managed Lustre, en automatisant les tâches d’installation telles que :

  • Création de groupes de machines virtuelles identiques Azure utilisés par Azure Kubernetes Service (AKS) pour exécuter les pods.
  • Chargement du logiciel client Lustre correct sur les instances de machine virtuelle.
  • Spécification du point de montage Azure Managed Lustre et propagation de ces informations aux pods clients.

Le pilote CSI Azure Lustre pour Kubernetes peut automatiser l’installation du logiciel client et des lecteurs de montage. Le pilote fournit un plug-in de contrôleur CSI en tant que déploiement avec deux réplicas par défaut et un plug-in de nœud CSI, en tant que DaemonSet. Vous pouvez modifier le nombre de réplicas.

Pour en savoir plus sur cette fonctionnalité, consultez Utiliser le pilote CSI Azure Managed Lustre avec Azure Kubernetes Service.

Pour savoir quelles versions de pilote utiliser, consultez les versions compatibles de Kubernetes.

Contenu associé