Der virtuelle Computer der Serie ND H100 v5 ist eine neues Flaggschiff der Azure-GPU-Familie. Diese Serie ist für High-End-Deep-Learning-Training und eng gekoppelte vertikal und horizontal skalierbare generative KI- und HPC-Workloads konzipiert.
Die kleinste Bereitstellung der Serie ND H100 v5 besteht aus einer einzelnen VM und acht NVIDIA H100 Tensor Core-GPUs. ND H100 v5-basierte Bereitstellungen können auf Tausende von GPUs mit einer Verbindungsbandbreite von 3,2 Tbit/s pro VM hochskaliert werden. Jede GPU innerhalb der VM kommt mit einer eigenen dedizierten, topologieunabhängigen NVIDIA Quantum-2 CX7 InfiniBand-Verbindung, die 400 Gbit/s Bandbreite bietet. Diese Verbindungen werden automatisch zwischen VMs in derselben VM-Skalierungsgruppe konfiguriert und unterstützen GPU Direct-RDMA.
Jede GPU verfügt über NVLINK 4.0-Konnektivität für die Kommunikation innerhalb der VM, und die Instanz hat 96 physische skalierbare Intel Xeon-Prozessorkerne der vierten Generation.
Diese Instanzen bieten hervorragende Leistung für zahlreiche KI-, ML- und Analysetools mit integrierter Unterstützung für GPU-Beschleunigung. Dazu zählen beispielsweise TensorFlow, Pytorch, Caffe, RAPIDS und andere Frameworks. Darüber hinaus unterstützt die horizontal skalierbare InfiniBand-Verbindung viele vorhandene KI- und HPC-Tools, die auf den NCCL-Kommunikationsbibliotheken von NVIDIA für das nahtlose GPU-Clustering aufbauen.
Informationen zu den ersten Schritten mit ND H100 v5-VMs, einschließlich der Treiber- und Netzwerkkonfiguration, finden Sie unter Konfiguration und Optimierung von HPC-Workloads.
Aufgrund des größeren E/A-GPU-Arbeitsspeicherbedarfs werden für ND H100 v5 VMs der 2. Generation und Marketplace-Images benötigt.
Azure unterstützt Ubuntu 20.04/22.04, RHEL 7.9/8.7/9.3, AlmaLinux 8.8/9.2 und SLES 15 für ND H100 v5-VMs. Derzeit werden Ubuntu-HPC 20.4/22.04- und AlmaLinux-HPC 8.6/8.7-VM-Images unterstützt.
Es gibt Angebote optimierter und vorkonfigurierter Linux-VM-Images für HPC-/KI-Workloads mit einer Vielzahl von installierten HPC-Tools und -Bibliotheken, und daher werden sie dringend empfohlen.
1Die temporäre Datenträgergeschwindigkeit unterscheidet sich häufig zwischen RR (Random Read)- und RW (Random Write)-Vorgängen. RR-Vorgänge sind in der Regel schneller als RW-Vorgänge. Die RW-Geschwindigkeit ist bei Serien, für die nur der RR-Geschwindigkeitswerte aufgeführt sind, in der Regel geringer als die RR-Geschwindigkeit.
Speicherkapazität wird in GiB-Einheiten oder 1.024^3 Bytes angezeigt. Beachten Sie beim Vergleich von in GB (1000^3 Bytes) gemessenen Datenträgern mit in GiB (1024^3) gemessenen Datenträgern, dass die in GiB angegebenen Kapazitätszahlen kleiner erscheinen können. Beispiel: 1.023 GiB = 1.098,4 GB.
Der Datenträgerdurchsatz wird in E/A-Vorgängen pro Sekunde (Input/Output Operations Per Second, IOPS) und MB/s gemessen, wobei MB/s = 10^6 Bytes/Sekunde beträgt.
1Einige Größen unterstützen Bursting, um die Datenträgerleistung vorübergehend zu erhöhen. Burst-Geschwindigkeiten können bis zu 30 Minuten gehalten werden.
Speicherkapazität wird in GiB-Einheiten oder 1.024^3 Bytes angezeigt. Beachten Sie beim Vergleich von in GB (1000^3 Bytes) gemessenen Datenträgern mit in GiB (1024^3) gemessenen Datenträgern, dass die in GiB angegebenen Kapazitätszahlen kleiner erscheinen können. Beispiel: 1.023 GiB = 1.098,4 GB.
Der Datenträgerdurchsatz wird in E/A-Vorgängen pro Sekunde (Input/Output Operations Per Second, IOPS) und MB/s gemessen, wobei MB/s = 10^6 Bytes/Sekunde beträgt.
Datenträger können mit oder ohne Cache betrieben werden. Beim Datenträgerbetrieb mit Cache ist der Hostcachemodus auf ReadOnly oder ReadWrite festgelegt. Beim Datenträgerbetrieb ohne Cache ist der Hostcachemodus auf None festgelegt.
Erwartete Netzwerkbandbreite ist die maximale aggregierte Bandbreite pro VM-Typ, die NIC-übergreifend für alle Ziele zugeordnet ist. Weitere Informationen finden Sie unter Netzwerkdurchsatz virtueller Computer
Die Einhaltung von Obergrenzen wird nicht garantiert. Grenzwerte dienen als Richtlinien bei der Auswahl der richtigen VM-Art für die jeweilige Anwendung. Die tatsächliche Netzwerkleistung hängt von mehreren Faktoren ab. Hierzu zählen beispielsweise Netzwerküberlastung, Anwendungslasten und die Netzwerkeinstellungen. Informationen zum Optimieren des Netzwerkdurchsatzes finden Sie unter Optimieren des Netzwerkdurchsatzes für virtuelle Azure-Computer.
Unter Umständen muss eine bestimmte Version ausgewählt oder der virtuelle Computer optimiert werden, um die erwartete Netzwerkbandbreite unter Linux oder Windows zu erzielen. Weitere Informationen finden Sie unter Testen der Bandbreite/des Durchsatzes (NTTTCP).
Beschleunigerinfo (GPUs, FPGAs usw.) zu jeder Größe
Weitere Informationen dazu, wie Sie mit Azure-Computeeinheiten (ACU) die Computeleistung von Azure-SKUs vergleichen können.
Azure Dedicated Host stellt physische Server bereit, auf denen einem Azure-Abonnement zugewiesene VMs (Virtual Machines, virtuelle Computer) gehostet werden können.