ND_MI300X_v5 크기 시리즈

ND MI300X v5 시리즈 VM(가상 머신)은 Azure GPU 제품군에 추가된 새로운 주력 제품입니다. 고급 딥 러닝 학습과 긴밀하게 결합된 스케일 업 및 스케일 아웃 생성형 AI 및 HPC 워크로드를 위해 설계되었습니다.

ND MI300X v5 시리즈 VM은 총 96개의 물리적 코어에 대해 8개의 AMD Instinct MI300 GPU와 2개의 4세대 Intel Xeon Scalable 프로세서로 시작합니다. 그런 다음 VM 내의 각 GPU는 GPU당 128GB/s 대역폭 및 896GB/s 총 대역폭을 갖춘 4세대 AMD Infinity Fabric 링크를 통해 서로 연결됩니다.

ND MI300X v5 기반 배포는 VM당 3.2Tb/s의 상호 연결 대역폭으로 최대 수천 개의 GPU로 스케일 업할 수 있습니다. VM 내의 각 GPU에는 고유한 전용 토폴로지 독립적 400Gb/s NVIDIA Quantum-2 CX7 InfiniBand 연결이 제공됩니다. 이러한 연결은 동일한 가상 머신 확장 집합을 차지하는 VM 간에 자동으로 구성되며 GPUDirect RDMA를 지원합니다.

이러한 인스턴스는 GPU 가속화를 '기본으로' 지원하는 많은 AI, ML, 분석 도구(예: TensorFlow, Pytorch, 다른 프레임워크)에 탁월한 성능을 제공합니다. 또한 스케일 아웃 InfiniBand 상호 연결은 GPU의 원활한 클러스터링을 위해 AMD의 RCCL(ROCm Communication Collectives Library)을 기반으로 빌드된 대규모 기존 AI 및 HPC 도구 집합을 지원합니다.

호스트 사양

요소	수량 개수 단위	사양 SKU ID, 성능 단위 등
프로세서	96개 vCPU	Intel Xeon(Sapphire Rapids) [x86-64]
메모리	1850GiB
로컬 스토리지	1개 임시 디스크 8개의 NVMe 디스크	1000GiB 임시 디스크 28000GiB NVMe 디스크
원격 스토리지	32개 디스크	80000 IOPS 1200MBps
네트워크	8NIC
가속기	GPU 8개	AMD Instinct MI300X GPU(192GB)

기능 지원

Premium Storage: 지원됨
Premium Storage 캐싱: 지원됨
실시간 마이그레이션: 지원되지 않음
메모리 보존 업데이트: 지원되지 않음
2세대 VM: 지원됨
1세대 VM: 지원되지 않음
가속화된 네트워킹: 지원됨
임시 OS 디스크: 지원됨
중첩 가상화: 지원되지 않음

시리즈별 크기

기본 사항

각 크기별 vCPU(수량) 및 메모리

크기 이름	vCPU(수량)	메모리(GB)
Standard_ND96isr_MI300X_v5	96	1850

VM 기본 리소스

• vCPU 할당량 확인

로컬 스토리지

각 크기에 대한 로컬(임시) 스토리지 정보

크기 이름	최대 임시 스토리지 디스크(수량)	임시 디스크 크기(GiB)	최대 NVMe 디스크(수량)	NVMe 디스크 크기(TiB)
Standard_ND96isr_MI300X_v5	1	1000	8	28

스토리지 리소스

• Azure 관리형 디스크 소개
• Azure 관리 디스크 형식
• Azure 관리 디스크 공유

테이블 정의

• ¹임시 디스크 속도는 RR(임의 읽기) 작업과 RW(임의 쓰기) 작업 간에 다른 경우가 많습니다. RR 작업은 일반적으로 RW 작업보다 빠릅니다. RW 속도는 대개 RR 속도 값만 나열되는 계열의 RR 속도보다 느립니다.
• 스토리지 용량 단위는 GiB(1024^3바이트) 단위로 표시됩니다. GB(1000^3바이트) 단위로 측정된 디스크를 GiB(1024^3바이트) 단위로 측정된 디스크와 비교할 때는 GiB 단위로 지정된 용량 수치가 더 작게 표시될 수 있음에 유의해야 합니다. 예를 들어 1023GiB = 1098.4GB입니다.
• 디스크 처리량은 IOPS(초당 입/출력 작업 수) 및 MBps로 측정되며, MBps = 10^6바이트/초입니다.
• VM에 가장 적합한 스토리지 성능을 얻는 방법에 대해 알아보려면 가상 머신 및 디스크 성능을 참조하세요.

원격 스토리지

각 크기에 대한 원격(캐시되지 않은) 스토리지 정보

크기 이름	최대 원격 스토리지 디스크(수량)	캐시되지 않은 디스크 IOPS	캐시되지 않은 디스크 속도(MBps)
Standard_ND96isr_MI300X_v5	16	80000	1200

스토리지 리소스

• Azure 관리형 디스크 소개
• Azure 관리 디스크 형식
• Azure 관리 디스크 공유

테이블 정의

• ¹일부 크기는 디스크 성능을 일시적으로 높이기 위한 버스팅을 지원합니다. 버스트 속도는 한 번에 최대 30분 동안 유지될 수 있습니다.
• ²특수 스토리지는 Ultra Disk 또는 프리미엄 SSD v2 스토리지를 의미합니다.
• 스토리지 용량 단위는 GiB(1024^3바이트) 단위로 표시됩니다. GB(1000^3바이트) 단위로 측정된 디스크를 GiB(1024^3바이트) 단위로 측정된 디스크와 비교할 때는 GiB 단위로 지정된 용량 수치가 더 작게 표시될 수 있음에 유의해야 합니다. 예를 들어 1023GiB = 1098.4GB입니다.
• 디스크 처리량은 IOPS(초당 입/출력 작업 수) 및 MBps로 측정되며, MBps = 10^6바이트/초입니다.
• 데이터 디스크는 캐시된 모드 또는 캐시되지 않은 모드에서 작동할 수 있습니다. 캐시된 데이터 디스크 작업의 경우 호스트 캐시 모드가 ReadOnly 또는 ReadWrite로 설정됩니다. 캐시되지 않은 데이터 디스크 작업의 경우에는 호스트 캐시 모드가 None으로 설정됩니다.
• VM에 가장 적합한 스토리지 성능을 얻는 방법에 대해 알아보려면 가상 머신 및 디스크 성능을 참조하세요.

네트워크

각 크기에 대한 네트워크 인터페이스 정보

크기 이름	최대 NIC(수량)	최대 대역폭(Mbps)
Standard_ND96isr_MI300X_v5	8	80000

네트워킹 리소스

• Azure의 가상 네트워크 및 가상 머신
• 가상 머신 네트워크 대역폭

테이블 정의

• 예상 네트워크 대역폭은 모든 NIC에서 모든 대상에 대해 VM 유형별로 할당된 최대 집계 대역폭입니다. 자세한 내용은 가상 머신 네트워크 대역폭 참조
• 상한은 보장되지 않습니다. 제한은 원하는 애플리케이션에 적합한 VM 유형을 선택하기 위한 지침을 제공합니다. 실제 네트워크 성능은 네트워크 정체, 애플리케이션 로드 및 네트워크 설정을 비롯한 여러 요인에 따라 달라집니다. 네트워크 처리량 최적화에 대한 정보는 Azure 가상 머신에 대한 네트워크 처리량 최적화를 참조하세요.
• Linux 또는 Windows에서 예상되는 네트워크 성능을 달성하려면 특정 버전을 선택하거나 VM을 최적화해야 할 수도 있습니다. 자세한 내용은 대역폭/처리량 테스트(NTTTCP)를 참조하세요.

가속기

각 크기별 가속기(GPU, FPGA 등) 정보

크기 이름	가속기(수량)	가속기-메모리(GB)
Standard_ND96isr_MI300X_v5	8	1535

기타 사이즈 정보

사용 가능한 모든 크기 목록: 크기

가격 계산기: 가격 계산기

디스크 유형에 대한 정보: 디스크 유형

다음 단계

가상 머신의 크기를 변경하여 워크로드에 사용할 수 있는 최신 성능과 기능을 활용합니다.

Azure Cobalt VM을 사용하여 Microsoft의 사내 디자인 ARM 프로세서를 활용합니다.

Azure Virtual Machines 모니터링 방법을 알아봅니다.