Serie de tamaños SD-H100-v5

Artículo
11/11/2024

La máquina virtual (VM) de la serie ND H100 v5 es una nueva adición estrella de la familia de GPU de Azure. Esta serie se ha diseñado para el entrenamiento de aprendizaje profundo de alto nivel y cargas de trabajo de HPC y de IA generativa de escalabilidad horizontal y vertical estrechamente acopladas.

La serie ND H100 v5 comienza con una sola máquina virtual y ocho GPU NVIDIA H100 Tensor Core. Las implementaciones basadas en ND H100 v5 se pueden escalar verticalmente hasta miles de GPU con un ancho de banda de interconexión de 3,2 Tbps por máquina virtual. Cada GPU incluida en la máquina virtual se proporciona con su propia conexión InfiniBand de NVIDIA Quantum-2 CX7 de 400 Gb/s dedicada e independiente de la topología. Estas conexiones se configuran automáticamente entre máquinas virtuales que ocupan el mismo conjunto de escalado de máquinas virtuales y admiten RDMA de GPU Direct.

Cada GPU incluye conectividad NVLINK 4.0 para la comunicación dentro de la máquina virtual, y la instancia tiene 96 núcleos físicos de procesador escalables Intel Xeon de cuarta generación.

Estas instancias proporcionan un rendimiento excelente para muchas herramientas de IA, ML y análisis que admiten la aceleración GPU de serie, como TensorFlow, Pytorch, Caffe, RAPIDS y otras plataformas. Además, la interconexión InfiniBand de escalabilidad horizontal es compatible con un gran conjunto de herramientas de inteligencia artificial y HPC existentes creadas en las bibliotecas de comunicación NCCL de NVIDIA para una agrupación en clústeres de GPU sin problemas.

Especificaciones del host

Parte	Cantidad ^{Unidades de recuento}	Especificaciones ^{Id. de SKU, unidades de rendimiento, etc.}
Procesador	96 CPU virtuales	Intel Xeon (Sapphire Rapids) [x86-64]
Memoria	1900 GiB
Almacenamiento local	1 disco	28000 GiB
Almacenamiento remoto	32Discos
Red	8 NICs
Aceleradores	8 GPU	Nvidia H100 GPU (80 GB)

Compatibilidad de características

Premium Storage: admitido
Almacenamiento en caché de Premium Storage: admitido
Migración en directo: no admitido
Actualizaciones con conservación de memoria: no admitido
Máquinas virtuales de generación 2: compatibles
Máquinas virtuales de generación 1: no compatibles
Redes aceleradas: compatible
Disco de SO efímero: compatible
Virtualización anidada: no compatible
Infiniband: admitida

Importante

Para empezar a trabajar con las máquinas virtuales ND H100 v5, vea Configuración y optimización de cargas de trabajo de HPC para conocer los pasos que incluyen la configuración del controlador y la red. Debido a la mayor superficie de E/S de memoria en la GPU, la serie ND H100 v5 requiere el uso de máquinas virtuales de generación 2 y de imágenes de marketplace.

Azure admite Ubuntu 20.04/22.04, RHEL 7.9/8.7/9.3, AlmaLinux 8.8/9.2 y SLES 15 para máquinas virtuales ND H100 v5. Actualmente, se admiten imágenes de máquinas virtuales Ubuntu-HPC 20.4/22.04 y AlmaLinux-HPC 8.6/8.7.

Hay ofertas de imágenes de máquina virtual Linux optimizadas y preconfiguradas para cargas de trabajo de HPC/AI con una variedad de herramientas y bibliotecas de HPC instaladas y, por lo tanto, son muy recomendables.

Para descargar una imagen, vaya a Azure Marketplace.

Tamaños en serie

vCPU (Qty.) y memoria para cada tamaño

Nombre del tamaño	vCPUs (Qty.)	Memoria (GB)
Standard_ND96isr_H100_v5	96	1900

Recursos básicos de máquina virtual

Comprobación de las cuotas de vCPU

Información de almacenamiento local (temporal) para cada tamaño

Nombre del tamaño	Máximo de discos de almacenamiento temporal (Qty.)	Tamaño del disco temporal (GiB)
Standard_ND96isr_H100_v5	1	28000

Recursos de almacenamiento

Definiciones de tabla

¹La velocidad del disco temporal a menudo difiere entre las operaciones de RR (lectura aleatoria) y RW (escritura aleatoria). Las operaciones de RR suelen ser más rápidas que las operaciones de RW. La velocidad de RW suele ser más lenta que la velocidad de RR en las series donde solo se indica el valor de velocidad de RR.
La capacidad de almacenamiento se muestra en unidades de GiB o 1024^3 bytes. Cuando compare discos que se miden en GB (1000^3 bytes) con discos que se miden en GiB (1024^3), recuerde que los números que representan la capacidad en GiB pueden parecer más pequeños. Por ejemplo, 1023 GiB = 1098,4 GB.
Se midió el rendimiento de disco en operaciones de entrada/salida por segundo (E/S por segundo) y MBps, donde Mbps = 10^6 bytes/s.
Para obtener información sobre cómo obtener el mejor rendimiento de almacenamiento para las VM, consulte Rendimiento de la máquina virtual y del disco.

Información de almacenamiento remota (sin almacenar en caché) para cada tamaño

Nombre del tamaño	Cantidad máxima de discos de almacenamiento remoto	IOPS del disco sin caché	Velocidad del disco sin caché (MBps)
Standard_ND96isr_H100_v5	32	40000	612

Recursos de almacenamiento

Definiciones de tabla

¹Algunos tamaños admiten expansión para aumentar temporalmente el rendimiento del disco. Las velocidades de ráfaga se pueden mantener hasta 30 minutos a la vez.
²Almacenamiento especial hace referencia a Disco Ultra o almacenamiento de SSD Premium v2.
La capacidad de almacenamiento se muestra en unidades de GiB o 1024^3 bytes. Cuando compare discos que se miden en GB (1000^3 bytes) con discos que se miden en GiB (1024^3), recuerde que los números que representan la capacidad en GiB pueden parecer más pequeños. Por ejemplo, 1023 GiB = 1098,4 GB.
Se midió el rendimiento de disco en operaciones de entrada/salida por segundo (E/S por segundo) y MBps, donde Mbps = 10^6 bytes/s.
Los discos de datos pueden funcionar en modo en caché o en modo no en caché. En el caso de la operación de disco de datos en caché, el modo de caché del host está establecido en ReadOnly o ReadWrite. En el caso de la operación de disco de datos no en caché, el modo de caché del host está definido en None.
Para obtener información sobre cómo obtener el mejor rendimiento de almacenamiento para las VM, consulte Rendimiento de la máquina virtual y del disco.

Información de la interfaz de red para cada tamaño

Nombre del tamaño	NIC máximas (Qty.)	Ancho de banda máximo (Mbps)
Standard_ND96isr_H100_v5	8	80000

Recursos de redes

Definiciones de tabla

El ancho de banda de red esperado es el ancho de banda agregado máximo asignado por tipo de máquina virtual en todas las NIC y para todos los destinos. Para obtener más información, vea Ancho de banda de red de máquina virtual
No se garantizan los límites superiores. Los límites ofrecen una guía para seleccionar el tipo de máquina virtual adecuado para la aplicación prevista. El rendimiento de red real dependerá de diversos factores (como, por ejemplo, la congestión de la red, las cargas de la aplicación y la configuración de red). Para más información sobre cómo optimizar el rendimiento de red, consulte Optimización del rendimiento de red en las máquinas virtuales de Azure.
Para lograr el rendimiento de red esperado en Linux o Windows, puede que deba seleccionar una versión específica u optimizar la máquina virtual. Para obtener más información, vea Pruebas de ancho de banda y rendimiento (NTTTCP).

Nombre del tamaño	Aceleradores (Ctd.)	Memoria del acelerador (GB)
Standard_ND96isr_H100_v5	8	640

Otra información de tamaño

Lista de todos los tamaños disponibles: Tamaños

Calculadora de precios: Calculadora de precios

Información sobre los tipos de disco: Tipos de disco

Pasos siguientes

Obtenga más información sobre cómo las unidades de proceso de Azure (ACU) pueden ayudarlo a comparar el rendimiento en los distintos SKU de Azure.

Vea Hosts dedicados de Azure para servidores físicos que puedan hospedar una o varias máquinas virtuales asignadas a una suscripción de Azure.

Aprenda a Supervisión de máquinas virtuales de Azure.

Compartir a través de

Serie de tamaños SD-H100-v5

Especificaciones del host

Compatibilidad de características

Tamaños en serie

Recursos básicos de máquina virtual

Recursos de almacenamiento

Definiciones de tabla

Recursos de almacenamiento

Definiciones de tabla

Recursos de redes

Definiciones de tabla

Otra información de tamaño

Pasos siguientes

Comentarios

Recursos adicionales