Fonctionnement d’Azure HPC
Le système HPC inclut quatre composants principaux : calcul, stockage, mise en réseau et visualisation.
Compute
Des ressources de calcul haute performance sont disponibles à une échelle presque illimitée sur Azure. Vous pouvez utiliser les différentes séries H, N et Cray respectivement pour des applications liées à la mémoire, des applications de traitement graphique et des applications managées.
- Machines virtuelles de série H pour applications liées à la mémoire
- Machines virtuelles de série N pour applications faisant un usage intense de graphiques et basées sur CUDA/OpenCL
- Cray pour un supercalculateur entièrement dédié et personnalisé livré en tant que service géré
Stockage
Le stockage cloud hautement sécurisé est disponible pour les clients à très grande échelle. Les applications HPC peuvent ainsi l’utiliser efficacement avec des fichiers HPC Cache ou Azure NetApp ou avec Cray ClusterSor.
- Exploitez vos applications HPC en rafale en utilisant des données stockées sur des appareils NAS avec HPC Cache.
- Accédez à de grandes quantités d’E/S avec une latence inférieure à la milliseconde grâce à Azure NetApp Files, fourni en tant que service Azure au sein d’un centre de données Azure.
- Pour une solution de stockage à haut débit, utilisez Cray ClusterSor, un stockage HPC nu basé sur Lustre, entièrement intégré à Azure.
Mise en réseau
Azure vous permet de créer des réseaux virtuels privés dans le cloud, ce qui a pour effet de simplifier l’architecture réseau et de sécuriser la connexion entre les points de terminaison en désactivant l’exposition des données à l’Internet public.
- Établissez des tunnels privés et sécurisés pour la connectivité cloud hybride à l’aide d’Azure ExpressRoute.
- Tirez parti de l’accès direct à la mémoire à distance (RDMA) Linux avec InfiniBand pour les charges de travail de l’interface de passage de messages (MPI) au sein votre centre de données.
Visualisation
Exécutez des charges de travail de visualisation avec HPC et l’offre Machines virtuelles Microsoft Azure qui augmente la productivité, réduit les coûts et permet des déploiements flexibles.
- Visualisez des données de simulation et exécutez des scénarios de diffusion en continu, de jeu, d’encodage et d’infrastructure de postes de travail virtuels (VDI) sur des Machines Virtuelles de série N Azure optimisées par GPU.
- Pour les applications graphiques avec accélération GPU les plus extrêmes, telles que la modélisation CAO 3D, le rendu 3D et la visualisation scientifique, utilisez des machines virtuelles de série NVv3 haute performance.
- Les machines virtuelles de la série NVv3 prennent en charge le stockage Premium et offrent une mémoire RAM système deux fois supérieure à celles de la série NV.
Mappage de produits de machine virtuelle et de stockage Azure aux composants d’un système HPC
Solutions de machines virtuelles de calcul Azure
Machines virtuelles avec faible latence (références SKU HPC)
Les machines virtuelles suivantes des séries H et N sont compatibles RDMA et peuvent communiquer sur un réseau InfiniBand à faible latence et à bande passante élevée. La fonctionnalité RDMA sur une telle interconnexion est critique pour améliorer la scalabilité et les performances des charges de travail HPC et IA sur les nœuds distribués.
Machines virtuelles avec accélérateurs
| UC | GP-GPU | VISUAL |
|---|---|---|
| Les machines virtuelles de la série HB sont optimisées pour les applications faisant un usage intensif de la mémoire, par exemple, en lien avec la dynamique des fluides, l’analyse explicite d’éléments finis et la modélisation météorologique. Les machines virtuelles de la série HC sont optimisées pour les applications faisant un usage intensif des ressources de calcul, par exemple, en lien avec la dynamique moléculaire, l’analyse implicite d’éléments finis et la chimie computationnelle. |
Les machines virtuelles de la série NC sont pilotées par la carte Tesla K80 de NVIDIA et le processeur Intel Xeon E5-2690 v3 (Haswell). Les utilisateurs peuvent exploiter plus rapidement leurs données en utilisant CUDA pour les applications d’exploration énergétique, les simulations de crash, le rendu de lancer de rayon, l’apprentissage profond et plus encore. Les machines virtuelles de la série ND sont nouvelles dans la famille de GPU conçues pour les charges de travail d’intelligence artificielle et d’apprentissage profond (Deep Learning). La série ND offre une configuration avec un réseau à faible latence secondaire et à haut débit grâce à l’accès direct à la mémoire à distance (RDMA), et la connectivité InfiniBand permet d’exécuter des travaux d’apprentissage à grande échelle sur de nombreux GPU. |
Les machines virtuelles de la série NV sont faites pour les applications de bureau accélérées et les bureaux virtuels où les clients peuvent visualiser leurs données ou des simulations. Les utilisateurs peuvent visualiser leurs flux de travail nécessitant beaucoup de graphismes sur les instances NV afin d’obtenir une capacité graphique supérieure, ainsi qu’exécuter des charges de travail simple précision, par exemple, de codage et de rendu. |
Solutions de Stockage Azure
Stockage Blob Azure
Permet un stockage d’objets massivement évolutif et sécurisé les des charges de travail, les archives, les lacs de données, le calcul haute performance et l’apprentissage automatique natifs Cloud. Elles sont évolutives et optimisées pour les lacs de données avec une gestion complète des données.
Ses caractéristiques principales sont les suivantes :
- Mise à disposition d’images ou de documents directement dans un navigateur.
- Le stockage de fichiers pour un accès distribué.
- Diffusion en continu de vidéo et d’audio.
- Écriture dans les fichiers journaux.
- Stockage de données pour la sauvegarde et la restauration, la récupération d’urgence et l’archivage.
- Stocker des données pour l’analyse par un service hébergé sur site ou dans Azure.
Azure NetApp Files
Ce service aide les professionnels métier et du stockage d’entreprise à migrer et à exécuter facilement des applications complexes et basées sur des fichiers, sans changer le code. Il est utilisé comme service de stockage de fichiers partagé sous-jacent dans différents scénarios tels que la migration lift-and-shift d’applications Linux et Windows compatibles POSIX, de SAP HANA, de bases de données et d’applications web d’entreprise.
Voici les principaux avantages :
- Disponibilité à 99,99 %, haute performance et sécurité.
- Service PaaS, facile à utiliser et à gérer.
- Mise à niveau de la taille et/ou des niveaux de service.
- Protection des données à l’aide de la réplication inter-régions.
- Fonctionnalités avancées de gestion de données d’entreprise.
Azure Files
Azure Files offre des partages de fichiers pleinement managés dans le cloud qui sont accessibles via le protocole SMB (Server Message Block) standard ou le protocole NFS (Network File System) standard.
- Peut être monté simultanément par des déploiements dans le cloud ou locaux.
- Les partages de fichiers SMB Azure Files sont accessibles à partir des clients Windows, Linux et macOS.
- Les partages de fichiers NFS Azure Files sont accessibles à partir des clients Linux ou macOS.
- De plus, les partages de fichiers SMB Azure Files peuvent être mis en cache sur les serveurs Windows avec Azure File Sync, pour un accès rapide à proximité de l’endroit où les données sont utilisées.
Utile pour :
- remplacer ou compléter des serveurs de fichiers locaux
- les applications « lift-and-shift »
- simplifier le développement cloud
- Mise en conteneur.
Voici les principaux avantages :
- Accès partagé
- Entièrement managée
- Écriture de scripts et outils
- Résilience
- Programmabilité familière
Azure HPC Cache
Azure HPC Cache accélère l’accès à vos données pour les tâches de calcul haute performance.
- En mettant les fichiers en cache dans Azure, Azure HPC Cache apporte la scalabilité du cloud computing à votre workflow existant.
- Peut être utilisé même pour des flux de travail impliquant un stockage de données sur des liaisons WAN, par exemple dans l’environnement NAS (Network Attached Storage) de votre centre de données local.
Quand l’utiliser :
- workflow nécessitant un grand nombre de lectures de fichier
- données stockées dans un stockage accessible par NFS, blob Azure ou les deux
- batteries de serveurs contenant jusqu’à 75 000 cœurs d’UC
Voici les principaux avantages :
- Facile à lancer et à surveiller à partir du portail Azure. Le stockage NFS existant ou les nouveaux conteneurs d’objets blob peuvent être intégrés à son espace de noms agrégé, ce qui simplifie l’accès client même si vous modifiez la cible de stockage back-end.
- performances élevées avec jusqu’à 8 Go/s de débit, réduisant la latence pour les charges de travail pouvant être mises en cache
- évolutif pour répondre à une demande de calcul changeante
- espace de noms agrégé regroupant plusieurs sources de fichiers
Systèmes de fichiers basés sur des machines virtuelles
Périphérique NAS (Network Attached Storage) de machine virtuelle unique
- Un périphérique NAS (Network Attached Storage)basé sur le cloud vous aide à répondre aux besoins de stockage dans le cloud à l’aide des mêmes constructions qu’un système NAS local.
- Fournit aux organisations un stockage aussi performant que leur NAS local, avec la possibilité supplémentaire d’effectuer une mise à l’échelle dans le cloud, tout cela sans avoir à apporter de modifications majeures à leurs interfaces et processus d’application existants.
- Un NAS est une appliance de stockage centralisée qui permet aux applications et aux services d’accéder aux données à partir d’un emplacement centralisé dans le réseau.
- Un NAS virtuel est une version d’appliance virtuelle de systèmes NAS capables de s’exécuter sur des plateformes de virtualisation telles que VMware, Hyper-V, etc.
Voici les principaux avantages :
- Les appareils réseau accédant à un stockage NAS virtuel peuvent continuer à le faire à l’aide des mêmes protocoles sans aucune reconfiguration.
- La gestion de la capacité est également plus facile, car tout stockage requis peut être alloué à partir de la couche de virtualisation sous-jacente.
Systèmes de fichiers parallèles multinœuds
- Les systèmes de fichiers parallèles distribuent le stockage au niveau des blocs sur plusieurs nœuds de stockage réseau.
- Les données de fichier étant réparties entre ces nœuds, elles sont réparties entre plusieurs appareils de stockage. Le système regroupe toutes les demandes individuelles d’E/S de stockage sur plusieurs nœuds de stockage accessibles via un espace de noms commun.
- Plusieurs appareils de stockage et plusieurs chemins d’accès aux données sont utilisés pour fournir un degré élevé de parallélisme, ce qui réduit les goulots d’étranglement qu’impose l’accès à un seul nœud à la fois.
- Les systèmes de fichiers parallèles se décomposent en deux composantes principales :
- Services de métadonnées : Stockent les métadonnées d’espace de noms, telles que les noms de fichiers, les répertoires, les autorisations d’accès et la disposition des fichiers. Selon le système de fichiers parallèle, les services de métadonnées sont fournis en tant que partie intégrante d’une distribution globale de nœuds de stockage ou via un cluster de serveurs distinct.
- Stockage d’objets : un stockage d’objets contient des données de fichier réelles. Les clients extraient l’emplacement des fichiers et répertoires à partir des services de métadonnées, puis accèdent directement au stockage de fichiers.
- Les avantages du stockage distribué et les performances d’E/S supérieures rendent les systèmes de fichiers parallèles préférables à la solution NFS dans la plupart des scénarios HPC, en particulier quand il s’agit d’un espace de stockage de travail partagé.
Cray ClusterStor
Cray ClusterStor dans le système de stockage Azure est une solution de stockage à haute capacité et à débit élevé pour accélérer vos simulations HPC.
Il s’agit d’une appliance nue, entièrement intégrée dans la structure Azure, et accessible par un vaste éventail d’autres services Azure.
Cray ClusterStor dans Azure offre un environnement HPC basé sur Lustre, nu, monolocataire et entièrement géré dans Microsoft Azure.
Voici les principaux avantages :
- Peut être utilisé avec des supercalculateurs Cray des séries XC et CS, et prend désormais en charge le traitement des données de travaux HPC exécutés sur des machines virtuelles de série H à partir d’Azure.
- Peut déplacer vos données dans Azure à partir d’un système haute performance vers un stockage d’objets blob Azure chaud et un stockage archive froid.
- Bénéficiez de l’accès à des performances et à une capacité élevées pendant la simulation. Déplacez des données post-simulation vers une solution de stockage cloud redondante moins coûteuse, afin de faciliter leur distribution ou de les rendre disponibles pour votre prochaine simulation.
- Permet de multiplier par trois le débit en Go/s par serveur de stockage d’objets (OSS) Lustre par rapport à l’offre Lustre actuellement disponible.