Průvodce migrací pro výpočetní úlohy GPU v Azure
S tím, jak jsou výkonnější GPU dostupné na marketplace a v datacentrech Microsoft Azure, doporučujeme znovu posoudit výkon vašich úloh a zvážit migraci na novější gpu.
Z stejného důvodu i zachování vysoce kvalitní a spolehlivé nabídky služeb Azure pravidelně vyřadí hardware, který využívá starší velikosti virtuálních počítačů. První skupina produktů GPU, které se mají v Azure vyřadit, jsou původní virtuální počítače NC, NC v2 a ND-series, které využívají akcelerátory GPU NVIDIA Tesla K80, P100 a P40 datacenter. Tyto produkty budou vyřazeny 31. srpna 2023 a nejstarší virtuální počítače v této sérii zahájené v roce 2016.
Od té doby grafické procesory vytvořily neuvěřitelné kroky spolu s celým odvětvím hlubokého učení a prostředí HPC, které obvykle překračují zdvojnásobení výkonu mezi generacemi. Od uvedení GRAFICKÝch procesorů NVIDIA K80, P40 a P100 doručila Azure několik novějších generací a kategorií produktů virtuálních počítačů uspořádaných na akcelerované výpočetní prostředky GPU a AI založené na gpu T4, V100 a A100 GPU a odlišila se od volitelných funkcí, jako jsou interconnect fabric založené na InfiniBandu. To jsou všechny možnosti, které doporučujeme zákazníkům prozkoumat jako cesty migrace.
Ve většině případů dramatický nárůst výkonu nabízený novějšími generacemi GRAFICKÝch procesorů snižuje celkové celkové náklady na celkové náklady na vlastnictví snížením doby trvání úlohy, pro nárazové úlohy nebo snížením množství celkových virtuálních počítačů s podporou GPU potřebných k pokrytí poptávky po výpočetních prostředcích s pevnou velikostí, i když se náklady na gpu každou hodinu můžou lišit. Kromě těchto výhod můžou zákazníci zlepšit čas na řešení prostřednictvím virtuálních počítačů s vyšším výkonem a zlepšit stav a možnosti podpory svého řešení přijetím novějšího softwaru, modulu runtime CUDA a verzí ovladačů.
Migrace vs. optimalizace
Azure rozpozná, že zákazníci mají velké množství požadavků, které můžou diktovat výběr konkrétního produktu virtuálního počítače s GPU, včetně aspektů architektury GPU, propojení, celkových nákladů na vlastnictví, času na řešení a regionální dostupnosti na základě požadavků na lokalitu dodržování předpisů nebo latence. Některé z nich se dokonce v průběhu času mění.
Akcelerace GPU je zároveň novou a rychle se vyvíjející oblastí.
Neexistuje tedy žádný skutečný univerzální návod pro tuto oblast produktu a migrace je ideální doba k opětovnému vyhodnocení potenciálně dramatických změn úlohy, jako je přechod z modelu clusterovaného nasazení na jeden velký virtuální počítač s 8 GPU nebo naopak, využití datových typů s nižší přesností, přijetí funkcí, jako je GPU s více instancemi a mnoho dalšího.
Tyto aspekty – když se kontext již dramatických výkonů GPU pro každou generaci zvýší, kde funkce, jako je přidání TensorCores, může zvýšit výkon o řádově, jsou velmi specifické pro úlohy.
Kombinace migrace s opětovnou architekturou aplikací může přinést obrovskou hodnotu a zlepšení nákladů a času na řešení.
Tyto druhy vylepšení jsou však nad rámec tohoto dokumentu, jehož cílem je zaměřit se na přímé třídy ekvivalence pro generalizované úlohy, které mohou dnes zákazníci spouštět, aby identifikovaly nejvíce podobné možnosti virtuálních počítačů v cenách i výkonu na GPU stávajícím rodinám virtuálních počítačů, které procházejí vyřazením z provozu.
Tento dokument tedy předpokládá, že uživatel nemusí mít žádný přehled ani kontrolu nad vlastnostmi specifickými pro úlohy, jako je počet požadovaných instancí virtuálních počítačů, GPU, propojení a další.
Doporučené cesty upgradu
Virtuální počítače řady NC se grafickými procesory NVIDIA K80
Virtuální počítače řady NC (v1) jsou nejstarším typem výpočetních virtuálních počítačů řady GPU Azure, které využívají 1 až 4 akcelerátory GPU datacenter NVIDIA Tesla K80 spárované s procesory Intel Xeon E5-2690 v3 (Haswell). Jakmile se jedná o vlajkový typ virtuálního počítače pro náročné aplikace AI, ML a HPC, zůstali oblíbenou volbou pozdě na životní cyklus produktu (zejména prostřednictvím propagačních cen řady NC-series) pro uživatele, kteří hodnotili velmi nízké absolutní náklady na GPU za hodinu oproti GPU s vyšší propustností na dolar.
Vzhledem k relativně nízkému výpočetnímu výkonu stárnoucí platformy GPU NVIDIA K80 oproti řadě virtuálních počítačů s novějšími gpu je oblíbeným případem použití pro řadu NC-series odvozování a analytických úloh v reálném čase, kdy musí být akcelerovaný virtuální počítač dostupný v stabilním stavu, aby bylo možné obsloužit požadavky z aplikací při jejich doručení. V těchto případech může být objem nebo velikost dávky požadavků nedostatečná, aby bylo možné využívat výkonnější gpu. Virtuální počítače NC jsou také oblíbené pro vývojáře a studenty, kteří se učí, vyvíjejí nebo experimentují s akcelerací GPU, kteří potřebují levný cloudový cíl nasazení CUDA, na kterém iterovat, který nemusí provádět na produkční úrovni.
Obecně platí, že zákazníci řady NC-Series by měli zvážit přechod přímo mezi velikostmi NC až po velikosti NC T4 v3 , novou platformu akcelerovanou gpu Azure pro lehké úlohy využívající GPU NVIDIA Tesla T4 GPU.
| Aktuální velikost virtuálního počítače | Cílová velikost virtuálního počítače | Rozdíl ve specifikaci |
|---|---|---|
| Standard_NC6 Standard_NC6_Promo |
Standard_NC4as_T4_v3 nebo Standard_NC8as_T4 |
CPU: Intel Haswell vs AMD Řím Počet GPU: 1 (stejné) Generace GPU: NVIDIA Keppler vs. Turing (+2 generace, ~2x FP32 FLOPs) Paměť GPU (GiB na GPU): 16 (+4) vCPU: 4 (-2) nebo 8 (+2) GiB paměti: 16 (-40) nebo 56 (stejné) Dočasné úložiště (SSD) GiB: 180 (-160) nebo 360 (+20) Maximální počet datových disků: 8 (-4) nebo 16 (+4) Akcelerované síťové služby: Ano (+) Premium Storage: Ano (+) |
| Standard_NC12 Standard_NC12_Promo |
Standard_NC16as_T4_v3 | CPU: Intel Haswell vs AMD Řím Počet GPU: 1 (-1) Generace GPU: NVIDIA Keppler vs. Turing (+2 generace, ~2x FP32 FLOPs) Paměť GPU (GiB na GPU): 16 (+4) vCPU: 16 (+4) Paměť GiB: 110 (-2) Dočasné úložiště (SSD) GiB: 360 (-320) Maximální počet datových disků: 48 (+16) Akcelerované síťové služby: Ano (+) Premium Storage: Ano (+) |
| Standard_NC24 Standard_NC24_Promo |
Standard_NC64as_T4_v3* | CPU: Intel Haswell vs AMD Řím Počet GPU: 4 (stejné) Generace GPU: NVIDIA Keppler vs. Turing (+2 generace, ~2x FP32 FLOPs) Paměť GPU (GiB na GPU): 16 (+4) vCPU: 64 (+40) Paměť GiB: 440 (+216) Dočasné úložiště (SSD) GiB: 2880 (+1440) Maximální počet datových disků: 32 (-32) Akcelerované síťové služby: Ano (+) Premium Storage: Ano (+) |
| Standard_NC24r Standard_NC24r_Promo |
Standard_NC64as_T4_v3* | CPU: Intel Haswell vs AMD Řím Počet GPU: 4 (stejné) Generace GPU: NVIDIA Keppler vs. Turing (+2 generace, ~2x FP32 FLOPs) Paměť GPU (GiB na GPU): 16 (+4) vCPU: 64 (+40) Paměť GiB: 440 (+216) Dočasné úložiště (SSD) GiB: 2880 (+1440) Maximální počet datových disků: 32 (-32) Akcelerované síťové služby: Ano (+) Premium Storage: Ano (+) Interconnect infiniBand: Ne |
Virtuální počítače NC v2-Series s grafickými procesory NVIDIA Tesla P100
Virtuální počítače řady NC v2 jsou vlajkovou platformou, která byla původně navržena pro úlohy umělé inteligence a hlubokého učení. Nabízely vynikající výkon pro trénování hlubokého učení s výkonem na GPU přibližně 2x z původní řady NC-Series a jsou poháněny procesory NVIDIA Tesla P100 a procesory Intel Xeon E5-2690 v4 (Broadwell). Stejně jako nc a ND -Series nabízí NC v2-Series konfiguraci se sekundární sítí s nízkou latencí, vysokou propustností prostřednictvím RDMA a připojením InfiniBand, abyste mohli spouštět rozsáhlé trénovací úlohy, které pokrývají mnoho GPU.
Obecně platí, že zákazníci řady NCv2-Series by měli zvážit přechod přímo na velikosti NC A100 v4 , novou platformu s akcelerovanými GPU v Azure využívající grafické procesory NVIDIA Ampere A100 PCIe GPU.
| Aktuální velikost virtuálního počítače | Cílová velikost virtuálního počítače | Rozdíl ve specifikaci |
|---|---|---|
| Standard_NC6s_v2 | Standard_NC24ads_A100_v4 | CPU: Intel Broadwell vs AMD Milan Počet GPU: 1 (stejné) Generování GPU: NVIDIA Pascal vs. Ampere (+2 generace) Paměť GPU (GiB na GPU): 80 (+64) vCPU: 24 (+18) Paměť GiB: 220 (+108) Dočasné úložiště (SSD) GiB: 1123 (+387) Maximální počet datových disků: 12 (stejné) Akcelerované síťové služby: Ano (+) Premium Storage: Ano (+) |
| Standard_NC12s_v2 | Standard_NC48ads_A100_v4 | CPU: Intel Broadwell vs AMD Milan Počet GPU: 2 (stejné) Generování GPU: NVIDIA Pascal vs. Ampere (+2 generace) Paměť GPU (GiB na GPU): 80 (+64) vCPU: 48 (+36) Paměť GiB: 440 (+216) Dočasné úložiště (SSD) GiB: 2246 (+772) Maximální počet datových disků: 24 (stejné) Akcelerované síťové služby: Ano (+) Premium Storage: Ano (+) |
| Standard_NC24s_v2 | Standard_NC96ads_A100_v4 | CPU: Intel Broadwell vs AMD Milan Počet GPU: 4 (stejné) Generování GPU: NVIDIA Pascal vs. Ampere (+2 generace) Paměť GPU (GiB na GPU): 80 (+64) vCPU: 96 (+72) Paměť GiB: 880 (+432) Dočasné úložiště (SSD) GiB: 4492 (+1544) Maximální počet datových disků: 32 (stejné) Akcelerované síťové služby: Ano (+) Premium Storage: Ano (+) |
| Standard_NC24rs_v2 | Standard_NC96ads_A100_v4 | CPU: Intel Broadwell vs AMD Milan Počet GPU: 4 (stejné) Generování GPU: NVIDIA Pascal vs. Ampere (+2 generace) Paměť GPU (GiB na GPU): 80 (+64) vCPU: 96 (+72) Paměť GiB: 880 (+432) Dočasné úložiště (SSD) GiB: 4492 (+1544) Maximální počet datových disků: 32 (stejné) Akcelerované síťové služby: Ano (+) Premium Storage: Ano (+) Interconnect InfiniBand: Ne (-) |
Virtuální počítače ND-Series s grafickými procesory NVIDIA Tesla P40
Virtuální počítače ŘADY ND jsou střední platforma původně navržená pro úlohy umělé inteligence a hlubokého učení. Nabízejí vynikající výkon pro dávkové odvozování prostřednictvím vylepšených operací s plovoucí desetinnou čárkou s jednoduchou přesností oproti svým předchůdcům a jsou poháněny procesory NVIDIA Tesla P40 a procesory Intel Xeon E5-2690 v4 (Broadwell). Stejně jako nc a NC v2-Series nabízí ND-Series konfiguraci se sekundární sítí s nízkou latencí, vysokou propustností prostřednictvím RDMA a připojením InfiniBand, abyste mohli spouštět rozsáhlé trénovací úlohy, které pokrývají mnoho GPU.
| Aktuální velikost virtuálního počítače | Cílová velikost virtuálního počítače | Rozdíl ve specifikaci |
|---|---|---|
| Standard_ND6 | Standard_NC4as_T4_v3 nebo Standard_NC8as_T4_v3 |
CPU: Intel Broadwell vs AMD Rome Počet GPU: 1 (stejné) Generování GPU: NVIDIA Pascal vs. Turing (+1 generace) Paměť GPU (GiB na GPU): 16 (-8) vCPU: 4 (-2) nebo 8 (+2) GiB paměti: 16 (-40) nebo 56 (-56) Dočasné úložiště (SSD) GiB: 180 (-552) nebo 360 (-372) Maximální počet datových disků: 8 (-4) nebo 16 (+4) Akcelerované síťové služby: Ano (+) Premium Storage: Ano (+) |
| Standard_ND12 | Standard_NC16as_T4_v3 | CPU: Intel Broadwell vs AMD Rome Počet GPU: 1 (-1) Generace GPU: NVIDIA Pascal vs. Turing (+1 generace) Paměť GPU (GiB na GPU): 16 (-8) vCPU: 16 (+4) Paměť GiB: 110 (-114) Dočasné úložiště (SSD) GiB: 360 (-1 114) Maximální počet datových disků: 48 (+16) Akcelerované síťové služby: Ano (+) Premium Storage: Ano (+) |
| Standard_ND24 | Standard_NC64as_T4_v3* | CPU: Intel Broadwell vs AMD Rome Počet GPU: 4 (stejné) Generace GPU: NVIDIA Pascal vs. Turing (+1 generace) Paměť GPU (GiB na GPU): 16 (-8) vCPU: 64 (+40) Paměť GiB: 440 (stejné) Dočasné úložiště (SSD) GiB: 2880 (stejné) Maximální počet datových disků: 32 (stejné) Akcelerované síťové služby: Ano (+) Premium Storage: Ano (+) |
| Standard_ND24r | Standard_ND96amsr_A100_v4 | CPU: Intel Broadwell vs AMD Rome Počet GPU: 8 (+4) Generování GPU: NVIDIA Pascal vs. Ampere (+2 generace) Paměť GPU (GiB na GPU): 80 (+56) vCPU: 96 (+72) Paměť GiB: 1900 (+1452) Dočasné úložiště (SSD) GiB: 6400 (+3452) Maximální počet datových disků: 32 (stejné) Akcelerované síťové služby: Ano (+) Premium Storage: Ano (+) Interconnect InfiniBand: Ano (stejné) |
Kroky migrace
Obecné změny
Zvolte řadu a velikost pro migraci. Využijte cenovou kalkulačku pro další přehledy.
Získání kvóty pro řadu cílových virtuálních počítačů
Změňte velikost aktuálního virtuálního počítače řady N* na cílovou velikost. Může to být také vhodná doba k aktualizaci operačního systému používaného imagí virtuálního počítače nebo přijetí jedné z imagí prostředí HPC s předinstalovanými ovladači jako výchozím bodem.
Důležité
Vaše image virtuálního počítače byla možná vytvořena se starší verzí modulu runtime CUDA, ovladače NVIDIA a (pokud je to možné) Mellanox OFED ovladače Mellanox OFED, než vyžaduje nová řada virtuálních počítačů GPU, kterou je možné aktualizovat podle pokynů v dokumentaci k Azure.
Zásadní změny
Výběr cílové velikosti pro migraci
Po posouzení aktuálního využití rozhodněte, jaký typ virtuálního počítače GPU potřebujete. V závislosti na požadavcích na úlohy máte několik různých možností.
Poznámka:
Osvědčeným postupem je vybrat velikost virtuálního počítače na základě nákladů i výkonu. Doporučení v této příručce jsou založená na obecném porovnání metrik výkonu 1:1 a nejbližší shody v jiné řadě virtuálních počítačů. Než se rozhodnete o správné velikosti, získejte porovnání nákladů pomocí cenové kalkulačky Azure.
Důležité
Všechny starší velikosti NC, NC v2 a ND-Series jsou dostupné ve velikostech s více GPU, včetně velikostí 4 GPU s interconnectem InfiniBand pro škálování na více instancí, úzce propojených úloh, které vyžadují větší výpočetní výkon než jeden virtuální počítač s 4 GPU, nebo jeden K80, P40 nebo P100 GPU může v uvedeném pořadí dodávat. I když výše uvedená doporučení nabízejí jednoduchou cestu vpřed, uživatelé těchto velikostí by měli zvážit dosažení svých výkonnostních cílů s výkonnější řadou virtuálních počítačů založených na GPU NVIDIA V100, jako jsou nc v3-Series a ND v2-series, což obvykle umožňuje stejnou úroveň výkonu úloh s nižšími náklady a lepší možností správy tím, že poskytuje výrazně vyšší výkon na GPU a na virtuální počítač před tím, než se vyžaduje konfigurace s více GPU a více uzly, v pořadí.
Získání kvóty pro cílovou řadu virtuálních počítačů
Postupujte podle pokynů a požádejte o navýšení kvóty virtuálních procesorů podle rodiny virtuálních počítačů. Vyberte cílovou velikost virtuálního počítače, kterou jste vybrali pro migraci.
Změna velikosti aktuálního virtuálního počítače
Velikost virtuálního počítače můžete změnit.
Další kroky
Úplný seznam velikostí virtuálních počítačů s podporou GPU najdete v tématu GPU – přehled akcelerovaných výpočetních prostředků.