Omówienie maszyny wirtualnej serii HBv4
Dotyczy: ✔️ Maszyny wirtualne z systemem Linux Maszyny ✔️ wirtualne z systemem Windows ✔️ — elastyczne zestawy ✔️ skalowania
Serwer serii HBv4 zawiera 2 * 96-rdzeniowe procesory EPYC 9V33X dla łącznie 192 fizycznych rdzeni "Zen4" z pamięcią podręczną AMD 3D-V. Jednoczesne wielowątkowość (SMT) jest wyłączona w HBv4. Te 192 rdzenie są podzielone na 24 sekcje (12 na gniazdo), każda sekcja zawierająca 8 rdzeni procesora z jednolity dostęp do pamięci podręcznej L3 96 MB. Serwery usługi Azure HBv4 również uruchamiają następujące ustawienia systemu BIOS firmy AMD:
Nodes per Socket (NPS) = 2
L3 as NUMA = Disabled
NUMA domains within VM OS = 4
C-states = Enabled
W związku z tym serwer uruchamia się z 4 domenami NUMA (2 na gniazdo) o rozmiarze 48 rdzeni. Każda architektura NUMA ma bezpośredni dostęp do 6 kanałów fizycznego DRAM.
Aby zapewnić miejsce na działanie funkcji hypervisor platformy Azure bez zakłócania działania maszyny wirtualnej, rezerwujemy 16 rdzeni fizycznych na serwer.
Topologia maszyny wirtualnej
Na poniższym diagramie przedstawiono topologię serwera. Rezerwujemy te 16 rdzeni hosta funkcji hypervisor (żółty) symetrycznie w obu gniazdach procesora CPU, biorąc pierwsze 2 rdzenie z określonych rdzeni złożonych dies (CCD) w każdej domenie NUMA, z pozostałymi rdzeniami maszyny wirtualnej serii HBv4 (zielony).
Granica CCD różni się od granicy NUMA. W systemie HBv4 grupa sześciu (6) kolejnych CCDs jest skonfigurowana jako domena NUMA, zarówno na poziomie serwera hosta, jak i na maszynie wirtualnej gościa. W związku z tym wszystkie rozmiary maszyn wirtualnych HBv4 uwidaczniają 4 jednolite domeny NUMA, które wydają się być systemem operacyjnym i aplikacją, jak pokazano poniżej, każdy z różnymi liczbą rdzeni w zależności od określonego rozmiaru maszyny wirtualnej HBv4.
Każdy rozmiar maszyny wirtualnej HBv4 jest podobny w układzie fizycznym, funkcjach i wydajności innego procesora CPU niż PROCESOR AMD EPYC 9V33X w następujący sposób:
| Rozmiar maszyny wirtualnej serii HBv4 | Domeny NUMA | Rdzenie na domenę NUMA | Podobieństwo z procesorem AMD EPYC |
|---|---|---|---|
| Standard_HB176rs_v4 | 100 | 44 | Podwójne gniazdo EPYC 9V33X |
| Standard_HB176-144rs_v4 | 100 | 36 | Podwójne gniazdo EPYC 9V33X |
| Standard_HB176-96rs_v4 | 100 | 24 | Podwójne gniazdo EPYC 9V33X |
| Standard_HB176-48rs_v4 | 4 | 12 | Podwójne gniazdo EPYC 9V33X |
| Standard_HB176-24rs_v4 | 100 | 6 | Podwójne gniazdo EPYC 9V33X |
Uwaga
Ograniczone rozmiary maszyn wirtualnych rdzeni zmniejszają tylko liczbę rdzeni fizycznych uwidocznionych dla maszyny wirtualnej. Wszystkie globalne zasoby udostępnione (pamięć RAM, przepustowość pamięci, pamięć podręczna L3, łączność GMI i xGMI, InfiniBand, sieć Ethernet platformy Azure, lokalny dysk SSD) pozostają stałe. Dzięki temu klient może wybrać rozmiar maszyny wirtualnej najlepiej dostosowany do danego zestawu wymagań dotyczących obciążeń lub licencjonowania oprogramowania.
Wirtualne mapowanie architektury NUMA każdego rozmiaru maszyny wirtualnej HBv4 jest mapowane na podstawową fizyczną topologię NUMA. Nie ma potencjalnej mylącej abstrakcji topologii sprzętu.
Dokładna topologia dla różnych rozmiarów maszyn wirtualnych HBv4 jest wyświetlana w następujący sposób przy użyciu danych wyjściowych lstopo:
lstopo-no-graphics --no-io --no-legend --of txt
Kliknij, aby wyświetlić dane wyjściowe lstopo dla Standard_HB176rs_v4
Kliknij, aby wyświetlić dane wyjściowe lstopo dla Standard_HB176-144rs_v4
Kliknij, aby wyświetlić dane wyjściowe lstopo dla Standard_HB176-96rs_v4
Kliknij, aby wyświetlić dane wyjściowe lstopo dla Standard_HB176-48rs_v4
Kliknij, aby wyświetlić dane wyjściowe lstopo dla Standard_HB176-24rs_v4
Sieć InfiniBand
Maszyny wirtualne HBv4 oferują również karty sieciowe NVIDIA Mellanox NDR InfiniBand (ConnectX-7) działające na maksymalnie 400 Gigabits/s. Karta sieciowa jest przekazywana do maszyny wirtualnej za pośrednictwem SRIOV, umożliwiając ruch sieciowy w celu obejścia funkcji hypervisor. W rezultacie klienci ładują standardowe sterowniki Mellanox OFED na maszynach wirtualnych HBv4, ponieważ byłyby to środowisko bez systemu operacyjnego.
Maszyny wirtualne HBv4 obsługują routing adaptacyjny, dynamiczny transport połączony (DCT, oprócz standardowych transportów RC i UD) oraz sprzętowe odciążanie zbiorczych mpI do dołączonego procesora adaptera ConnectX-7. Te funkcje zwiększają wydajność aplikacji, skalowalność i spójność, a ich użycie jest zalecane.
Magazyn tymczasowy
Maszyny wirtualne HBv4 zawierają 3 fizyczne lokalne urządzenia SSD. Jedno urządzenie jest wstępnie sformatowane, aby służyło jako plik strony i było wyświetlane na maszynie wirtualnej jako ogólne urządzenie SSD.
Dwa inne, większe dyski SSD są udostępniane jako niesformatowane urządzenia NVMe bloku za pośrednictwem NVMeDirect. Ponieważ blokowe urządzenie NVMe pomija funkcję hypervisor, ma wyższą przepustowość, większą liczbę operacji we/wy na sekundę i mniejsze opóźnienia na operację we/wy na sekundę.
W przypadku parowania w tablicy rozłożonej dysk SSD NVMe zapewnia do 12 GB/s odczytów i 7 GB/s operacji zapisu oraz maksymalnie 186 000 operacji we/wy na sekundę (odczyty) i 201 000 operacji we/wy na sekundę (zapisów) na potrzeby głębokości kolejek.
Specyfikacje sprzętowe
| Specyfikacje sprzętowe | Maszyny wirtualne serii HBv4 |
|---|---|
| Rdzenie | 176, 144, 96, 48 lub 24 (wyłączono protokół SMT) |
| Procesor CPU | AMD EPYC 9V33X |
| Częstotliwość procesora CPU (inne niż AVX) | Podstawa 2,4 GHz, szczytowa moc 3,7 GHz |
| Pamięć | 768 GB (pamięć RAM na rdzeń zależy od rozmiaru maszyny wirtualnej) |
| Dysk lokalny | 2 * 1,8 TB NVMe (blok), 480 GB SSD (plik stronicowy) |
| InfiniBand | 400 Gb/s Mellanox ConnectX-7 NDR InfiniBand |
| Sieć | Sieć Ethernet 80 Gb/s (40 Gb/s do użycia) Azure Second Gen SmartNIC |
Specyfikacje oprogramowania
| Specyfikacje oprogramowania | Maszyny wirtualne serii HBv4 |
|---|---|
| Maksymalny rozmiar zadania MPI | 52 800 rdzeni (300 maszyn wirtualnych w jednym zestawie skalowania maszyn wirtualnych z singlePlacementGroup=true) |
| Obsługa interfejsu MPI | HPC-X (2.13 lub nowszy), Intel MPI (2021.7.0 lub nowszy), OpenMPI (4.1.3 lub nowszy), MVAPICH2 (2.3.7 lub nowszy), MPICH (4.1 lub nowszy) |
| Dodatkowe struktury | UCX, libfabric, PGAS lub inne środowiska uruchomieniowe oparte na rozwiązaniu InfiniBand |
| Obsługa usługi Azure Storage | Dyski w warstwie Standardowa i Premium (maksymalnie 32 dyski), Azure NetApp Files, Azure Files, Azure HPC Cache, Azure Managed Lustre File System |
| Obsługiwany i zweryfikowany system operacyjny | AlmaLinux 8.6, 8.7, Ubuntu 20.04+ |
| Zalecany system operacyjny pod kątem wydajności | AlmaLinux HPC 8.7, Ubuntu-HPC 20.04+ |
| Obsługa programu Orchestrator | Azure CycleCloud, Azure Batch, AKS; opcje konfiguracji klastra |
Uwaga
- Te maszyny wirtualne obsługują tylko generację 2.
- Oficjalne wsparcie na poziomie jądra firmy AMD rozpoczyna się od RHEL 8.6 i AlmaLinux 8.6, który jest pochodną RHEL.
- System Windows Server 2012 R2 nie jest obsługiwany na maszynach wirtualnych HBv4 i innych maszynach wirtualnych z więcej niż 64 rdzeniami (wirtualnymi lub fizycznymi). Aby uzyskać więcej informacji, zobacz Obsługiwane systemy operacyjne gościa systemu Windows dla funkcji Hyper-V w systemie Windows Server. System Windows Server 2022 jest wymagany w przypadku rozmiarów rdzeni 144 i 176, system Windows Server 2016 działa również dla 24, 48 i 96 rdzeni, system Windows Server działa tylko dla 24 i 48 rdzeni.
Ważne
Zalecana nazwa URN obrazu: almalinux:almalinux-hpc:8_7-hpc-gen2:8.7.2023060101, Aby wdrożyć ten obraz za pośrednictwem interfejsu wiersza polecenia platformy Azure, upewnij się, że uwzględniono następujące parametry : --plan 8_7-hpc-gen2 --product almalinux-hpc --publisher almalinux. W przypadku testów skalowania użyj zalecanej nazwy URN wraz z nowym tarballem HPC-X.
Uwaga
- Obsługa NDR jest dodawana w wersji UCX 1.13 lub nowszej. Starsze wersje UCX będą zgłaszać powyższy błąd środowiska uruchomieniowego. Błąd UCX: Nieprawidłowa aktywna szybkość
[1677010492.951559] [updsb-vm-0:2754 :0] ib_iface.c:1549 UCX ERROR Invalid active_speed on mlx5_ib0:1: 128. - Ibstat pokazuje niską prędkość (SDR): starsze wersje Mellanox OFED (MOFED) nie obsługują NDR i może zgłaszać wolniejsze prędkości IB. Użyj wersji MOFED MOFED 5.6-1.0.3.3 lub nowszej.
Następne kroki
- Przeczytaj o najnowszych ogłoszeniach, przykładach obciążeń HPC i wynikach wydajności na blogach społeczności technicznej usługi Azure Compute.
- Aby uzyskać widok architektury wyższego poziomu na potrzeby uruchamiania obciążeń HPC, zobacz Obliczenia o wysokiej wydajności (HPC) na platformie Azure.