ND-H100-v5 크기 시리즈

ND H100 v5 시리즈 VM(가상 머신)은 Azure GPU 제품군에 새롭게 추가된 주력 제품입니다. 이 시리즈는 고급 딥 러닝 학습과 긴밀하게 결합된 스케일 업 및 스케일 아웃 생성형 AI 및 HPC 워크로드를 위해 설계되었습니다.

ND H100 v5 시리즈는 단일 VM과 8개의 NVIDIA H100 Tensor Core GPU로 시작합니다. ND H100 v5 기반 배포는 VM당 3.2Tbps의 상호 연결 대역폭을 사용하여 수천 개의 GPU로 스케일 업할 수 있습니다. VM 내의 각 GPU에는 고유한 전용 토폴로지 독립적 400Gb/s NVIDIA Quantum-2 CX7 InfiniBand 연결이 제공됩니다. 이러한 연결은 동일한 가상 머신 확장 집합을 차지하는 VM 간에 자동으로 구성되며 GPU 직접 RDMA를 지원합니다.

각 GPU는 VM 내 통신을 위한 NVLINK 4.0 연결을 제공하며 인스턴스에는 96개의 물리적 4세대 Intel Xeon 확장 가능 프로세서 코어에서 지원됩니다.

이러한 인스턴스는 GPU 가속화를 ‘기본으로’ 지원하는 많은 AI, ML, 분석 도구(예: TensorFlow, Pytorch, Caffe, RAPIDS, 다른 프레임워크)에 탁월한 성능을 제공합니다. 또한 스케일 아웃 InfiniBand 상호 연결은 GPU의 원활한 클러스터링을 위해 NVIDIA의 NCCL 통신 라이브러리를 기반으로 하는 대규모 기존 AI 및 HPC 도구 집합에서 지원됩니다.

호스트 사양

요소	수량 개수 단위	사양 SKU ID, 성능 단위 등
프로세서	96개 vCPU	Intel Xeon(Sapphire Rapids) [x86-64]
메모리	1900GiB
로컬 스토리지	1개 디스크	28000GiB
원격 스토리지	32디스크
네트워크	8NIC
가속기	GPU 8개	Nvidia H100 GPU(80GB)

기능 지원

Premium Storage: 지원됨
Premium Storage 캐싱: 지원됨
실시간 마이그레이션: 지원되지 않음
메모리 보존 업데이트: 지원되지 않음
2세대 VM: 지원됨
1세대 VM: 지원되지 않음
가속화된 네트워킹: 지원됨
임시 OS 디스크: 지원됨
중첩 가상화: 지원되지 않음
Infiniband: 지원됨

Important

ND H100 v5 VM을 시작하려면 HPC 워크로드 구성 및 최적화에서 드라이버 및 네트워크 구성 등의 단계를 참조하세요. GPU 메모리 I/O 공간 증가로 인해 ND H100 v5에는 2세대 VM 및 마켓플레이스 이미지를 사용해야 합니다.

Azure는 ND H100 v5 VM용 Ubuntu 20.04/22.04, RHEL 7.9/8.7/9.3, AlmaLinux 8.8/9.2 및 SLES 15를 지원합니다. 현재 Ubuntu-HPC 20.4/22.04 및 AlmaLinux-HPC 8.6/8.7 VM 이미지가 지원됩니다.

다양한 HPC 도구 및 라이브러리가 설치된 HPC/AI 워크로드에 최적화되고 미리 구성된 Linux VM 이미지가 제공되므로 권장됩니다.

이미지를 다운로드하려면 Azure Marketplace로 이동하세요.

시리즈별 크기

기본 사항

각 크기별 vCPU(수량) 및 메모리

크기 이름	vCPU(수량)	메모리(GB)
Standard_ND96isr_H100_v5	96	1900

VM 기본 리소스

• vCPU 할당량 확인

로컬 스토리지

각 크기에 대한 로컬(임시) 스토리지 정보

크기 이름	최대 임시 스토리지 디스크(수량)	임시 디스크 크기(GiB)
Standard_ND96isr_H100_v5	1	28000

스토리지 리소스

• Azure 관리형 디스크 소개
• Azure 관리 디스크 형식
• Azure 관리 디스크 공유

테이블 정의

• ¹임시 디스크 속도는 RR(임의 읽기) 작업과 RW(임의 쓰기) 작업 간에 다른 경우가 많습니다. RR 작업은 일반적으로 RW 작업보다 빠릅니다. RW 속도는 대개 RR 속도 값만 나열되는 계열의 RR 속도보다 느립니다.
• 스토리지 용량 단위는 GiB(1024^3바이트) 단위로 표시됩니다. GB(1000^3바이트) 단위로 측정된 디스크를 GiB(1024^3바이트) 단위로 측정된 디스크와 비교할 때는 GiB 단위로 지정된 용량 수치가 더 작게 표시될 수 있음에 유의해야 합니다. 예를 들어 1023GiB = 1098.4GB입니다.
• 디스크 처리량은 IOPS(초당 입/출력 작업 수) 및 MBps로 측정되며, MBps = 10^6바이트/초입니다.
• VM에 가장 적합한 스토리지 성능을 얻는 방법에 대해 알아보려면 가상 머신 및 디스크 성능을 참조하세요.

원격 스토리지

각 크기에 대한 원격(캐시되지 않은) 스토리지 정보

크기 이름	최대 원격 스토리지 디스크(수량)	캐시되지 않은 디스크 IOPS	캐시되지 않은 디스크 속도(MBps)
Standard_ND96isr_H100_v5	32	40800	612

스토리지 리소스

• Azure 관리형 디스크 소개
• Azure 관리 디스크 형식
• Azure 관리 디스크 공유

테이블 정의

• ¹일부 크기는 디스크 성능을 일시적으로 높이기 위한 버스팅을 지원합니다. 버스트 속도는 한 번에 최대 30분 동안 유지될 수 있습니다.
• ²특수 스토리지는 Ultra Disk 또는 프리미엄 SSD v2 스토리지를 의미합니다.
• 스토리지 용량 단위는 GiB(1024^3바이트) 단위로 표시됩니다. GB(1000^3바이트) 단위로 측정된 디스크를 GiB(1024^3바이트) 단위로 측정된 디스크와 비교할 때는 GiB 단위로 지정된 용량 수치가 더 작게 표시될 수 있음에 유의해야 합니다. 예를 들어 1023GiB = 1098.4GB입니다.
• 디스크 처리량은 IOPS(초당 입/출력 작업 수) 및 MBps로 측정되며, MBps = 10^6바이트/초입니다.
• 데이터 디스크는 캐시된 모드 또는 캐시되지 않은 모드에서 작동할 수 있습니다. 캐시된 데이터 디스크 작업의 경우 호스트 캐시 모드가 ReadOnly 또는 ReadWrite로 설정됩니다. 캐시되지 않은 데이터 디스크 작업의 경우에는 호스트 캐시 모드가 None으로 설정됩니다.
• VM에 가장 적합한 스토리지 성능을 얻는 방법에 대해 알아보려면 가상 머신 및 디스크 성능을 참조하세요.

네트워크

각 크기에 대한 네트워크 인터페이스 정보

크기 이름	최대 NIC(수량)	최대 대역폭(Mbps)
Standard_ND96isr_H100_v5	8	80000

네트워킹 리소스

• Azure의 가상 네트워크 및 가상 머신
• 가상 머신 네트워크 대역폭

테이블 정의

• 예상 네트워크 대역폭은 모든 NIC에서 모든 대상에 대해 VM 유형별로 할당된 최대 집계 대역폭입니다. 자세한 내용은 가상 머신 네트워크 대역폭 참조
• 상한은 보장되지 않습니다. 제한은 원하는 애플리케이션에 적합한 VM 유형을 선택하기 위한 지침을 제공합니다. 실제 네트워크 성능은 네트워크 정체, 애플리케이션 로드 및 네트워크 설정을 비롯한 여러 요인에 따라 달라집니다. 네트워크 처리량 최적화에 대한 정보는 Azure 가상 머신에 대한 네트워크 처리량 최적화를 참조하세요.
• Linux 또는 Windows에서 예상되는 네트워크 성능을 달성하려면 특정 버전을 선택하거나 VM을 최적화해야 할 수도 있습니다. 자세한 내용은 대역폭/처리량 테스트(NTTTCP)를 참조하세요.

가속기

각 크기별 가속기(GPU, FPGA 등) 정보

크기 이름	가속기(수량)	가속기 메모리(GB)
Standard_ND96isr_H100_v5	8	640

기타 사이즈 정보

사용 가능한 모든 크기 목록: 크기

가격 계산기: 가격 계산기

디스크 유형에 대한 정보: 디스크 유형

다음 단계

ACU(Azure 컴퓨팅 단위)가 Azure SKU 간의 Compute 성능을 비교하는 데 어떻게 도움을 줄 수 있는지 알아봅니다.

하나의 Azure 구독에 할당된 하나 이상의 가상 머신을 호스팅할 수 있는 실제 서버에 대해서는 Azure Dedicated Host를 확인합니다.

Azure Virtual Machines 모니터링 방법을 알아봅니다.