Så här fungerar Azure HPC

  • 10 minuter

Det finns fyra huvudkomponenter i HPC-systemet: Compute, Storage, Networking och Visualization.

Beräkna

Databehandlingsresurser med höga prestanda erbjuds i nästan obegränsad skala i Azure. Du kan använda de olika H-serierna, N-serien och Cray för minne, grafik och hanterade program.

  • virtuella datorer i H-serien för minnesbundna program
  • virtuella datorer i N-serien för grafiska och CUDA/OpenCL-baserade program
  • Cray för en helt dedikerad och anpassad superdator som levereras som en hanterad tjänst

Diagram över Azure-databehandling.

Lagring

Den mycket säkra molnlagringen är tillgänglig för kunder i stor skala. Det gör att HPC-program kan använda det effektivt och anpassa med antingen Azure Managed Lustre, Azure NetApp Files eller Cray ClusterStor.

  • Azure Managed Lustre är perfekt för HPC-arbetsbelastningar som kräver högt dataflöde och låg svarstid, vilket gör det lämpligt för program som bearbetar stora datamängder snabbt.
  • Få åtkomst till stora mängder I/O med en svarstid på undermillisekunder med Azure NetApp Files, som levereras som en Azure-tjänst internt i ett Azure-datacenter.
  • För en lagringslösning med högt dataflöde använder du Cray ClusterStor, en Lustre-baserad HPC-lagringslösning utan operativsystem som är helt integrerad med Azure.

Diagram över Azure lagring.

Nätverkande

Med Azure kan du skapa privata virtuella nätverk i molnet, vilket förenklar nätverksarkitekturen och skyddar anslutningen mellan slutpunkter genom att inaktivera dataexponeringen för det offentliga Internet.

  • Upprätta privata och säkra tunnlar för hybridmolnanslutning med Azure ExpressRoute.
  • Dra nytta av Linux fjärråtkomst till direkt minne (RDMA) med InfiniBand för MPI-arbetsbelastningar (Message Passing Interface) i ditt datacenter.

Diagram över Azure-nätverk.

Visualisering

Kör visualiseringsarbetsbelastningar med HPC och Azure Virtual Machines som ökar produktiviteten, minskar kostnaderna och har flexibla distributioner.

  • Visualisera simuleringsdata och kör scenarier för strömning, spel, kodning och VDI på GPU-baserade Virtuella datorer i Azure NV-serien (VM).
  • För de mest extrema GPU-accelererade grafikprogrammen, till exempel 3D CAD-modellering, 3D-rendering och vetenskaplig visualisering, använder du högpresterande virtuella datorer i NVv3-serien.
    • Virtuella NVv3-datorer har stöd för Premium Storage och levereras med dubbelt så mycket systemminne (RAM) som tidigare virtuella NV-datorer.

Diagram över Azure-visualisering.

Mappa virtuella Azure-datorer och lagringsprodukter till komponenter i ett HPC-system

Azure Compute Virtual Machine Solutions

Virtuella datorer med låg svarstid (HPC SKU:er)

Följande virtuella datorer i H-serien och N-serien är RDMA-kompatibla och kan kommunicera via infiniBand-nätverket med låg svarstid och hög bandbredd. RDMA-funktionen för en sådan sammankoppling är avgörande för att öka skalbarheten och prestandan för distribuerade HPC- och AI-arbetsbelastningar.

Virtuella datorer med acceleratorer

CPU GP-GPU VISUAL
HB-serien virtuella datorer är optimerade för program som är minnesintensiva, till exempel vätskedynamik, explicit finita elementanalyser och vädermodellering.

HC-serien virtuella datorer är optimerade för program som är beräkningsintensiva, till exempel molekylär dynamik, implicit finit elementanalys och beräkningskemi.


NC-serien virtuella datorer drivs av NVIDIA Tesla K80-kortet och Intel Xeon E5-2690 v3-processorn (Haswell). Användare kan gå snabbare igenom data med hjälp av CUDA för program för energiutforskning, kraschsimuleringar, ray traced rendering, djupinlärning med mera.

ND-serien virtuella datorer är ett nytt tillägg till GPU-serien som är utformade för AI och djupinlärningsbelastningar. Den erbjuder konfiguration med ett sekundärt nätverk med låg latens, högt dataflöde via RDMA och InfiniBand-anslutning som möjliggör körning av storskaliga träningsjobb som omfattar många GPU:er.		 NV-serien virtuella datorer görs för skrivbordsaccelererade program och virtuella skrivbord där kunderna kan visualisera sina data eller simuleringar. Gör det möjligt för användare att visualisera sina grafikintensiva arbetsflöden på NV-instanserna för att få en överlägsen grafikfunktion och dessutom köra arbetsbelastningar med enkel precision, till exempel kodning och rendering.

Azure Storage-lösningar

  • Azure Blob Storage

    • Tillåter massivt skalbar och säker objektlagring för molnbaserade arbetsbelastningar, arkiv, datasjöar, databehandling med höga prestanda och maskininlärning. Den är skalbar och optimerad för datasjöar med omfattande datahantering.

    • Viktiga designfunktioner är:

      • Leverera bilder och dokument direkt till en webbläsare.
      • Lagra filer för distribuerad åtkomst.
      • Strömma video och ljud.
      • Skriva till loggfiler.
      • Lagra data för säkerhetskopiering och återställning, haveriberedskap och arkivering.
      • Lagring av data för analys av en lokal eller Azure-värdbaserad tjänst.

  • Azure NetApp Files

    • Gör det enkelt för företagets bransch- och lagringspersonal att migrera och köra komplexa, filbaserade program utan kodändring. Den används som den underliggande delade fillagringstjänsten i olika scenarier, till exempel lift-shift-migrering av POSIX-kompatibla Linux- och Windows-program, SAP HANA, databaser och företagswebbprogram.

    • Viktiga fördelar är:

      • 99.99% tillgänglighet, Hög prestanda, Säker.
      • PaaS-tjänsten – lätt att använda och hantera.
      • Online skala upp/ned storlek och/eller tjänstnivåer.
      • Dataskydd med replikering mellan regioner.
      • Avancerade datahanteringsfunktioner för företag.

  • Azure Files

    • Azure Files erbjuder fullständigt hanterade filresurser i molnet som är tillgängliga via SMB-protokollet (Server Message Block) eller NFS-protokollet (Network File System).

      • Kan monteras samtidigt i molndistributioner eller lokala distributioner.
      • Azure Files SMB-filresurser är tillgängliga från Windows-, Linux- och macOS-klienter.
      • Azure Files NFS-filresurser är tillgängliga från Linux- eller macOS-klienter.
      • Dessutom kan Azure Files SMB-filresurser cachelagras på Windows-servrar med Azure File Sync för snabb åtkomst nära där data används.

    • Användbart för:

      • Ersätta eller komplettera lokala filservrar.
      • Flytta och överför applikationer.
      • Förenkla molnutveckling.
      • Containerisering.

    • Viktiga fördelar är:

      • Delad åtkomst
      • Helt hanterad
      • Skript och verktyg
      • Motståndskraft
      • Välbekant programmerbarhet

  • Azure Managed Lustre

    • Azure Managed Lustre-tjänsten ger dig möjlighet att snabbt skapa ett Azure-baserat Lustre-filsystem för molnbaserade databehandlingsjobb med höga prestanda.

      • Azure Managed Lustre är ett fullständigt hanterat parallellt filsystem som passar bäst för medelstora till stora HPC-arbetsbelastningar.
      • Aktiverar HPC-program i molnet utan att bryta programkompatibiliteten genom att tillhandahålla välbekanta funktioner, beteenden och prestanda för Lustre-parallella filsystem, vilket skyddar långsiktiga programinvesteringar.

    • När du ska använda:

      • Perfekt för HPC-arbetsbelastningar som kräver högt dataflöde och låg svarstid, vilket gör det lämpligt för program som bearbetar stora datamängder snabbt.

    • Viktiga fördelar är:

      • Hög lagringskapacitet på upp till 12,5 PiB på begäran.
      • Kort svarstid (~2 ms).
      • Upp till 1 M IOPS, upp till 500 GiB/s-dataflöde.
      • Starta nya kluster på några minuter.
      • Stöder containerbaserade arbetsbelastningar med AKS.
      • Integrerar med Azure Blob Storage som källa för att importera och exportera data för långsiktig lagring.

  • VM-baserade filsystem

    • NAS för enskild virtuell dator

      • Molnbaserad nätverksansluten lagring (NAS) hjälper dig att hantera lagringsbehov i molnet med samma konstruktioner som ett lokalt NAS-system.
      • Ger organisationer lagring som är lika högpresterande som deras lokala NAS med den extra möjligheten att skala i molnet – och allt utan att behöva göra större ändringar i sina befintliga programgränssnitt och processer.
        • NAS är en centraliserad lagringsenhet som gör att program och tjänster kan komma åt data från en central plats i nätverket.
        • Virtuell NAS är den virtuella installationsversionen av NAS-system som kan köras på virtualiseringsplattformar som VMware, Hyper-V osv.

    • Viktiga fördelar är:

      • Nätverksenheter som har åtkomst till Virtuell NAS-lagring kan fortsätta att göra det med samma protokoll utan någon omkonfiguration.
      • Kapacitetshantering är också enklare eftersom all nödvändig lagring kan allokeras från det underliggande virtualiseringsskiktet.

    • Parallella filsystem med flera noder

      • Parallella filsystem distribuerar lagring på blocknivå över flera nätverkskopplade lagringsnoder.
      • Fildata sprids mellan dessa noder, vilket innebär att fildata sprids mellan flera lagringsenheter. Den poolar alla enskilda I/O-lagringsbegäranden över flera lagringsnoder som är tillgängliga via ett gemensamt namnområde.
      • Flera lagringsenheter och flera sökvägar till data används för att ge en hög grad av parallellitet, vilket minskar flaskhalsarna genom att endast komma åt en enskild nod i taget.
      • Parallella filsystem delas upp i två huvuddelar:
        • Metadatatjänster – Lagra namnområdesmetadata, till exempel filnamn, kataloger, åtkomstbehörigheter och fillayout. Baserat på det parallella filsystemet tillhandahålls metadatatjänster som en integrerad del av en övergripande distribution av lagringsnoder eller via ett separat serverkluster.
        • Objektlagring – Objektlagring innehåller faktiska fildata. Klienter hämtar platsen för filer och kataloger från metadatatjänsterna och kommer sedan åt lagringssystemet direkt.
      • Fördelarna med distribuerad lagring och överlägsen I/O-prestanda gör parallella filsystem att föredra framför NFS i de flesta HPC-scenarier, särskilt när det gäller delat arbetsutrymme.

      diagram över Azure-objektlagring.

  • Cray ClusterStor

    • Cray ClusterStor i Azure-lagringssystemet är en lagringslösning med hög kapacitet och högt dataflöde för att påskynda dina HPC-simuleringar.

    • Det är en bare metal-installation som är helt integrerad i Azure Fabric och som är tillgänglig för ett stort urval av andra Azure-tjänster.

    • Cray ClusterStor i Azure erbjuder en Lustre-baserad, dedikerad, fysisk server-miljö och en fullständigt hanterad HPC-miljö i Microsoft Azure.

    • Viktiga fördelar är:

      • Kan användas med Cray XC- och CS-seriens superdatorer och stöder nu även databearbetning av HPC-jobb som körs på virtuella datorer i H-serien från Azure.
      • Kan flytta dina data i Azure från högpresterande scratch till varm Azure Blob Storage och kall arkivlagring.
      • Få åtkomst till höga prestanda och kapacitet under simuleringen. Flytta data efter simuleringen till en redundant, billigare molnlagringslösning för att antingen enkelt distribueras eller göras tillgänglig för nästa simulering.
      • Möjliggör mer än tre gånger genomströmningen i GB/sek per Lustre-Object Storage-servrar (OSS) jämfört med det nuvarande Lustre-erbjudandet.