Come funziona Azure HPC
Esistono quattro componenti principali per il sistema HPC: calcolo, archiviazione, rete e visualizzazione.
Calcolo
Le risorse HPC (High-performance computing) sono offerte su scala quasi illimitata in Azure. È possibile usare le macchine virtuali serie H, serie N e Cray per memoria, grafica e applicazioni gestite.
- Macchine virtuali serie H per applicazioni associate alla memoria
- Macchine virtuali serie N per applicazioni a elevato utilizzo di grafica e basate su CUDA/OpenCL
- Cray per un supercomputer completamente dedicato e personalizzato fornito come servizio gestito
Storage
L'archiviazione cloud altamente sicura è disponibile per i clienti su larga scala. Consente alle applicazioni HPC di usarla in modo efficiente, personalizzandola con Cache HPC o Azure NetApp Files o Cray ClusterSor.
- Eseguire il burst delle applicazioni HPC in Azure usando i dati archiviati in dispositivi NAS locali con Cache HPC.
- Accedere a grandi quantità di operazioni di I/O con una latenza inferiore a un millisecondo con Azure NetApp Files, distribuito come servizio di Azure in modo nativo all'interno di un data center di Azure.
- Per una soluzione di archiviazione con velocità effettiva elevata, usare Cray ClusterSor, una soluzione di archiviazione HPC bare metal basata su Lustre completamente integrata con Azure.
Rete
Azure consente di creare reti virtuali private nel cloud, semplificando l'architettura di rete e proteggendo la connessione tra gli endpoint disabilitando l'esposizione dei dati alla rete Internet pubblica.
- Stabilire tunnel privati e sicuri per la connettività cloud ibrida con Azure ExpressRoute.
- Sfruttare i vantaggi dell'accesso diretto a memoria remota (RDMA) Linux con InfiniBand per i carichi di lavoro MPI (Message Passing Interface) all'interno del data center.
Visualizzazione
Eseguire carichi di lavoro di visualizzazione con HPC e macchine virtuali di Azure che migliorano la produttività, riducono i costi e offrono distribuzioni flessibili.
- Visualizzare i dati di simulazione ed eseguire scenari di streaming, gioco, codifica e VDI in Macchine virtuali della serie NV basate su GPU.
- Per le applicazioni grafiche con accelerazione GPU più estreme, ad esempio la modellazione CAD 3D, il rendering 3D e la visualizzazione scientifica, usare le macchine virtuali della serie NVv3 con prestazioni elevate.
- Le macchine virtuali NVv3 supportano l'archiviazione Premium e offrono una quantità di memoria di sistema (RAM) pari al doppio delle macchine virtuali NV precedenti.
Mapping di prodotti di archiviazione e macchine virtuali di Azure ai componenti in un sistema HPC
Soluzioni con macchine virtuali di calcolo di Azure
Macchine virtuali con bassa latenza (SKU HPC)
Le macchine virtuali serie H e serie N seguenti supportano l'accesso diretto a memoria remota (RDMA) e possono comunicare tramite la rete InfiniBand a bassa latenza e larghezza di banda elevata. La funzionalità RDMA su un'interconnessione di questo tipo è fondamentale per migliorare la scalabilità e le prestazioni dei carichi di lavoro HPC e di intelligenza artificiale su nodi distribuiti.
Macchine virtuali con acceleratori
| CPU | GP-GPU | VISUALIZZAZIONE |
|---|---|---|
| Le macchine virtuali della serie HB sono ottimizzate per applicazioni a utilizzo elevato di memoria, ad esempio per fluidodinamica, analisi esplicita degli elementi finiti e modellazione meteorologica. Le macchine virtuali della serie HC sono ottimizzate per applicazioni a elevato utilizzo di calcolo, come dinamica molecolare, analisi implicita degli elementi finiti e chimica computazionale. |
Le macchine virtuali della serie NC sono basate sulla scheda NVIDIA Tesla K80 e sul processore Intel Xeon E5-2690 v3 (Haswell). Gli utenti possono elaborare i dati più velocemente sfruttando i core CUDA per eseguire l'analisi del consumo di energia delle applicazioni, simulazioni di arresto anomalo, rendering con ray tracing, Deep Learning e altro ancora. Le macchine virtuali della serie ND sono una novità della famiglia di GPU progettata per carichi di lavoro di intelligenza artificiale e Deep Learning. Questa serie offre una configurazione con latenza bassa secondaria, rete con velocità effettiva elevata tramite RDMA e connettività InfiniBand, che consente di eseguire processi di training su vasta scala per molte GPU. |
Le macchine virtuali della serie NV sono progettate per applicazioni desktop accelerate e desktop virtuali in cui i clienti possono visualizzare dati o simulazioni. Questa serie consente agli utenti di visualizzare i flussi di lavoro a elevato utilizzo di grafica nelle istanze NV per ottenere una funzionalità grafica di livello superiore ed eseguire anche singoli carichi di lavoro di precisione, come la codifica e il rendering. |
Soluzioni di archiviazione di Azure
Archiviazione BLOB di Azure
È un servizio di archiviazione di oggetti sicuro e a scalabilità elevata per archivi, data lake, carichi di lavoro HPC e Machine Learning. È scalabile e ottimizzato per data lake con gestione completa dei dati.
Le funzionalità di progettazione chiave includono quanto segue:
- Invio di immagini o documenti direttamente in un browser.
- Archiviazione di file per l'accesso distribuito.
- Streaming di audio e video.
- Scrittura in file di log.
- Archiviazione di dati per backup e ripristino, ripristino di emergenza e archiviazione.
- Archiviazione di dati a scopo di analisi da parte di un servizio locale o ospitato in Azure.
Azure NetApp Files
Consente ai professionisti dei sistemi di archiviazione e line-of-business aziendali di semplificare la migrazione e l'esecuzione di applicazioni basate su file complesse senza modifiche al codice. Viene usato come servizio di archiviazione file condiviso sottostante in diversi scenari, ad esempio la migrazione in modalità lift-and-shift delle applicazioni Linux e Windows conformi a POSIX, applicazioni SAP HANA, database e applicazioni Web aziendali.
I vantaggi principali includono:
- Disponibilità del 99,99%, prestazioni elevate, sicurezza.
- Servizio PaaS: facile da usare e gestire.
- Aumento/riduzione delle dimensioni online e/o dei livelli di servizio online.
- Protezione dei dati tramite la replica tra aree.
- Funzionalità avanzate di gestione dei dati aziendali.
File di Azure
File di Azure offre condivisioni file completamente gestite nel cloud, accessibili tramite il protocollo SMB (Server Message Block) o il protocollo NFS (Network File System) standard di settore.
- Possono essere montate simultaneamente in distribuzioni cloud o locali.
- Le condivisioni file SMB di File di Azure sono accessibili da client Windows, Linux e macOS.
- Le condivisioni file NFS di File di Azure sono accessibili da client Linux o macOS.
- Le condivisioni file SMB di File di Azure possono anche essere memorizzate nella cache in Windows Server con Sincronizzazione file di Azure per l'accesso rapido in prossimità della posizione in cui vengono usati i dati.
Utile per:
- Sostituzione o integrazione di file server locali.
- Applicazioni "lift-and-shift".
- Semplificazione dello sviluppo per il cloud.
- Containerizzazione.
I vantaggi principali includono:
- Accesso condiviso
- Completamente gestita
- Script e strumenti
- Resilienza
- Programmabilità nota
Cache HPC di Azure
Cache HPC di Azure accelera l'accesso ai dati per le attività High Performance Computing (HPC).
- Memorizzando nella cache i file di Azure, Cache HPC di Azure aggiunge la scalabilità del cloud computing al flusso di lavoro esistente.
- Il servizio può essere usato anche per i flussi di lavoro in cui i dati vengono archiviati tramite collegamenti WAN, ad esempio nell'ambiente NAS (Network-Attached Storage) del data center locale.
Uso consigliato:
- Flusso di lavoro di accesso ai file con intensa attività di lettura.
- Dati archiviati nello spazio di archiviazione accessibile da NFS, in BLOB di Azure o in entrambi.
- Farm di calcolo fino a un massimo di 75.000 core CPU.
I vantaggi principali includono:
- Facile da avviare e monitorare dal portale di Azure. Lo spazio di archiviazione NFS esistente o i nuovi contenitori BLOB possono diventare parte del relativo spazio dei nomi aggregato e questa integrazione semplifica l'accesso client anche se si cambia la destinazione di archiviazione back-end.
- Prestazioni elevate con una velocità effettiva massima di 8 GB/s, che riduce la latenza per i carichi di lavoro memorizzabili nella cache.
- Scalabile per soddisfare la domanda di calcolo in continua evoluzione.
- Spazio dei nomi aggregato che combina più origini file.
File system basati su macchine virtuali
Archiviazione NAS con macchina virtuale singola
- L'archiviazione NAS (Network Attached Storage) basata sul cloud consente di soddisfare le esigenze di archiviazione nel cloud usando gli stessi costrutti di un sistema NAS locale.
- Offre alle organizzazioni una soluzione di archiviazione con prestazioni elevate come il sistema NAS locale con la possibilità di aumentare la scalabilità nel cloud, senza dover apportare modifiche importanti alle interfacce e ai processi delle applicazioni esistenti.
- La soluzione NAS è un'appliance di archiviazione centralizzata che consente alle applicazioni e ai servizi di accedere ai dati da una posizione centralizzata nella rete.
- La soluzione NAS virtuale è la versione virtuale dell'appliance dei sistemi NAS che può essere eseguita su piattaforme di virtualizzazione come VMware, Hyper-V e così via.
I vantaggi principali includono:
- I dispositivi di rete che accedono all'archiviazione NAS virtuale possono continuare a farlo usando gli stessi protocolli senza alcuna riconfigurazione.
- La gestione della capacità risulta inoltre semplificata perché qualsiasi risorsa di archiviazione necessaria può essere allocata dal livello di virtualizzazione sottostante.
File system paralleli a più nodi
- I file system paralleli distribuiscono l'archiviazione a livello di blocco tra più nodi di archiviazione in rete.
- I dati dei file vengono distribuiti tra questi nodi, ovvero tra più dispositivi di archiviazione. Raggruppano le richieste di I/O di archiviazione singole tra più nodi di archiviazione accessibili tramite uno spazio dei nomi comune.
- Vengono usati più dispositivi di archiviazione e più percorsi per i dati per fornire un elevato grado di parallelismo, al fine di ridurre i colli di bottiglia imposti dall'accesso solo a un singolo nodo alla volta.
- I file system paralleli sono suddivisi in due parti principali:
- Servizi di metadati: consentono di archiviare i metadati dello spazio dei nomi, ad esempio nomi file, directory, autorizzazioni di accesso e layout dei file. In base al file system parallelo, i servizi di metadati vengono forniti come parte integrata di una distribuzione complessiva dei nodi di archiviazione o tramite un cluster di server separato.
- Archiviazione oggetti: l'archiviazione oggetti contiene dati dei file effettivi. I client estraggono il percorso dei file e delle directory dai servizi di metadati, quindi accedono direttamente all'archiviazione file.
- I vantaggi dell'archiviazione distribuita e delle prestazioni di I/O superiori rendono i file system paralleli preferibili a NFS nella maggior parte degli scenari HPC, in particolare quando si tratta di spazio di archiviazione di lavoro condiviso.
Cray ClusterStor
Cray ClusterStor nel sistema di archiviazione di Azure è una soluzione di archiviazione a capacità e velocità effettiva elevate per accelerare le simulazioni HPC.
Si tratta di un'appliance bare metal completamente integrata nell'infrastruttura di Azure e accessibile da una vasta selezione di altri servizi di Azure.
Cray ClusterStor in Azure offre un ambiente HPC basato su Lustre, a singolo tenant, bare metal e completamente gestito in Microsoft Azure.
I vantaggi principali includono:
- Può essere usato con i supercomputer della serie Cray XC e CS e ora supporta anche l'elaborazione dei dati dei processi HPC eseguiti in macchine virtuali serie H da Azure.
- È possibile spostare i dati all'interno di Azure dall'area a prestazioni elevate all'archiviazione BLOB di Azure ad accesso frequente e all'archiviazione di livello archivio ad accesso sporadico.
- Ottenere l'accesso a prestazioni elevate e capacità durante la simulazione. Spostare i dati post-simulazione in una soluzione di archiviazione cloud ridondante e meno costosa, per essere facilmente distribuita o resa disponibile per la simulazione successiva.
- Offre velocità effettiva in GB/sec triplicata per server di archiviazione oggetti (OSS) Lustre rispetto all'offerta Lustre attualmente disponibile.