Série de tamanho ND-H100-v5

A máquina virtual (VM) da série ND H100 v5 é o novo carro-chefe da família de GPUs do Azure. Esta série é projetada para treinamentos avançados de Deep Learning e cargas de trabalho de IA generativa e HPC de expansão e escalonamento vertical fortemente acopladas.

A série ND H100 v5 começa com uma só VM e oito GPUs NVIDIA H100 Tensor Core. As implantações baseadas na série ND H100 v5 podem realizar o escalonamento vertical para milhares de GPUs com 3,2 Tbps de largura de banda de interconexão por VM. Cada GPU na VM é fornecida com a própria conexão NVIDIA Quantum-2 CX7 InfiniBand de 400 Gb/s dedicada e independente de topologia. Essas conexões são configuradas automaticamente entre as VMs que ocupam o mesmo conjunto de dimensionamento de máquinas virtuais e dão suporte à GPU Direct RDMA.

Cada GPU apresenta conectividade NVLINK 4.0 para a comunicação na VM, e a instância tem 96 núcleos físicos de processador Intel Xeon Scalable de quarta geração.

Essas instâncias fornecem um excelente desempenho para muitas ferramentas de IA, ML e análise que dão suporte à aceleração de GPU "pronta para uso", como o TensorFlow, o Pytorch, o Caffe, o RAPIDS e outras estruturas. Além disso, a interconexão InfiniBand de expansão dá suporte a um grande conjunto de ferramentas existentes de IA e do HPC criadas nas bibliotecas de comunicação NCCL da NVIDIA para o clustering contínuo de GPUs.

Especificações do host

Parte	Quantidade Unidades de Contagem	Especificações ID SKU, unidades de desempenho, etc.
Processador	96 vCPUs	Intel Xeon (Sapphire Rapids) [x86-64]
Memória	1.900 GiB
Armazenamento local	1 disco	28.000 GiB
Armazenamento Remoto	32Discos
Rede	8 NICs
Aceleradores	8 GPUs	GPU Nvidia H100 (80 GB)

Suporte a recursos

Armazenamento Premium: com suporte
Cache com Armazenamento Premium: com suporte
Migração dinâmica: sem suporte
Atualizações de preservação de memória: sem suporte
VMs de geração 2: com suporte
VMs de geração 1: sem suporte
Rede Acelerada: com suporte
Discos de SO efêmero: aceitos
Virtualização aninhada: sem suporte
InfiniBand: com suporte

Importante

Para começar a usar as VMs da série ND H100 v5, confira a Configuração e otimização de carga de trabalho do HPC para ver as etapas, incluindo a configuração do driver e da rede. Devido ao aumento de volume de E/S da memória da GPU, a ND H100 v5 requer o uso de VMs de Geração 2 e imagens do marketplace.

O Azure dá suporte ao Ubuntu 20.04/22.04, RHEL 7.9/8.7/9.3, AlmaLinux 8.8/9.2 e SLES 15 para VMs ND H100 v5. Atualmente, há suporte para imagens de VM Ubuntu-HPC 20.4/22.04 e AlmaLinux-HPC 8.6/8.7.

Há ofertas de imagens de VM do Linux otimizadas e pré-configuradas para cargas de trabalho de HPC/IA com uma variedade de ferramentas e bibliotecas de HPC instaladas e, portanto, são altamente recomendadas.

Para baixar uma imagem, acesse o Azure Marketplace.

Tamanhos em série

Noções básicas

vCPUs (Qtd.) e memória para cada tamanho

Tamanho do Nome	vCPUs (Qty.)	Memória (GB)
Standard_ND96isr_H100_v5	96	1900

Recursos Básicos da VM

• Verificar as cotas de vCPU

Armazenamento local

Informações de armazenamento local (temporário) para cada tamanho

Tamanho Nome	Máximo de discos de armazenamento temporário (Qtd.)	Tamanho do disco temporário (GiB)
Standard_ND96isr_H100_v5	1	28000

Recursos de armazenamento

• Introdução aos discos gerenciados do Azure
• Tipos de disco gerenciado do Azure
• Compartilhar um disco gerenciado do Azure

Definições da tabela

• ¹A velocidade do disco temporário geralmente difere entre as operações de RR (Leitura aleatória) e RW (Gravação aleatória). As operações de RR normalmente são mais rápidas do que as operações de RW. A velocidade de RW geralmente é mais lenta do que a velocidade de RR nas séries em que apenas o valor da velocidade de RR está listado.
• A capacidade de armazenamento é mostrada em unidades de GiB ou de 1024^3 bytes. Ao comparar os discos medidos em GB (1000^3 bytes) com os discos medidos em GiB (1024^3), lembre-se de que os números de capacidade fornecidos em GiB poderão parecer menores. Por exemplo, 1023 GiB = 1098,4 GB.
• A taxa de transferência do disco é medida em IOPS (operações de entrada/saída por segundo) e em MBps, em que MBps = 10^6 bytes/s.
• Para saber como obter o melhor desempenho de armazenamento para suas VMs, consulte Desempenho de disco e máquina virtual.

Armazenamento remoto

Informações do armazenamento remoto (não armazenado em cache) para cada tamanho

Tamanho Nome	Máximo de discos de armazenamento remoto (Qtd.)	IOPS de disco não armazenado em cache	Velocidade de disco não armazenado em cache (MBps)
Standard_ND96isr_H100_v5	32	40.000	612

Recursos de armazenamento

• Introdução aos discos gerenciados do Azure
• Tipos de disco gerenciado do Azure
• Compartilhar um disco gerenciado do Azure

Definições da tabela

• ¹Alguns tamanhos dão suporte para bursting para aumentar temporariamente o desempenho do disco. As velocidades de intermitência podem ser mantidas por até 30 minutos de cada vez.
• ²Armazenamento especial refere-se ao armazenamento de Disco Ultra ou SSD Premium v2.
• A capacidade de armazenamento é mostrada em unidades de GiB ou de 1024^3 bytes. Ao comparar os discos medidos em GB (1000^3 bytes) com os discos medidos em GiB (1024^3), lembre-se de que os números de capacidade fornecidos em GiB poderão parecer menores. Por exemplo, 1023 GiB = 1098,4 GB.
• A taxa de transferência do disco é medida em IOPS (operações de entrada/saída por segundo) e em MBps, em que MBps = 10^6 bytes/s.
• Os discos de dados podem operar nos modos em cache ou não armazenado em cache. Para a operação do disco de dados armazenados em cache, o modo de cache do host é definido como ReadOnly ou ReadWrite. Para as operação do disco de dados não armazenados em cache, o modo de cache do host é definido como Nenhum.
• Para saber como obter o melhor desempenho de armazenamento para suas VMs, consulte Desempenho de disco e máquina virtual.

Rede

Informações do adaptador de rede para cada tamanho

Tamanho do Nome	Máximo NICs (Qty.)	Largura de Banda Máxima (Mbps)
Standard_ND96isr_H100_v5	8	80000

Recursos de rede

• Redes virtuais e máquinas virtuais no Azure
• Largura de banda de rede da máquina virtual

Definições da tabela

• Largura de banda de rede esperada é a largura de banda agregada máxima alocada por tipo de VM em todas as NICs para todos os destinos. Para obter mais informações, confira Largura de banda de rede da máquina virtual
• Os limites superiores não são garantidos. Os limites oferecem orientação para selecionar o tipo de VM correto para o aplicativo pretendido. O desempenho real da rede dependerá de vários fatores, incluindo cargas de rede e aplicativos, bem como configurações de rede. Para saber mais sobre como otimizar a taxa de transferência de rede, consulte Otimização da taxa de transferência de rede para máquinas virtuais do Azure.
• Para obter o desempenho de rede esperado no Linux ou no Windows, pode ser necessário selecionar uma versão específica ou otimizar sua VM. Para obter mais informações, consulte Testes de taxa de transferência/largura de banda (NTTTCP).

Aceleradores

Informações do acelerador (GPUs, FPGAs etc.) para cada tamanho

Tamanho do Nome	Aceleradores (Qty.)	Memória do Acelerador (GB)
Standard_ND96isr_H100_v5	8	640

Outras informações de tamanho

Lista de todos os tamanhos disponíveis: Tamanhos

Calculadora de Preços: Calculadora de Preços

Informações sobre os tipos de disco: Tipos de Disco

Próximas etapas

Saiba mais sobre como as ACUs (unidade de computação do Azure) podem ajudar você a comparar o desempenho de computação entre SKUs do Azure.

Confira Hosts Dedicados do Azure para servidores físicos com capacidade para hospedar uma ou mais máquinas virtuais atribuídas a uma assinatura do Azure.

Saiba como Monitorar as máquinas virtuais do Azure.