Funcionamiento de Azure HPC
Hay cuatro componentes principales para el sistema HPC: Proceso, Almacenamiento, Redes y Visualización.
Proceso
Los recursos informáticos de alto rendimiento se ofrecen a escala casi ilimitada en Azure. Puede usar las diferentes series H, N y Cray para aplicaciones administradas, gráficas y de memoria.
- Máquinas virtuales de la serie H para aplicaciones enlazadas a memoria
- Máquinas virtuales de la serie N para aplicaciones basadas en CUDA/OpenCL y con uso intensivo de gráficos
- Cray para un superordenador totalmente dedicado y personalizado entregado como un servicio administrado
Storage
Los clientes pueden disponer de almacenamiento en la nube altamente seguro a gran escala. Permite a las aplicaciones de HPC usarlo de forma eficaz y personalizarlo con HPC Cache, Azure NetApp Files o Cray ClusterSor.
- Expanda las aplicaciones de HPC en Azure mediante datos almacenados en dispositivos NAS locales con HPC Cache.
- Acceda a grandes cantidades de E/S con una latencia inferior a milisegundos con Azure NetApp Files, entregado como un servicio de Azure de forma nativa dentro de un centro de datos de Azure.
- En el caso de una solución de almacenamiento de alto rendimiento, use Cray ClusterSor, una solución de almacenamiento HPC sin sistema operativo basada en Lustre y totalmente integrada con Azure.
Redes
Azure permite crear redes virtuales privadas en la nube, lo que simplifica la arquitectura de red y protege la conexión entre puntos de conexión al deshabilitar la exposición de datos a la red pública de Internet.
- Establezca túneles privados y seguros para la conectividad en la nube híbrida mediante Azure ExpressRoute.
- Aproveche el acceso directo a memoria remota (RDMA) de Linux con InfiniBand para las cargas de trabajo de la interfaz de paso de mensajes (MPI) en el centro de datos.
Visualización
Ejecute cargas de trabajo de visualización con HPC y Azure Virtual Machines que aumenten la productividad, reduzcan los costos y tengan implementaciones flexibles.
- Visualice datos de simulación y ejecute escenarios de streaming, juegos, codificación y VDI en máquinas virtuales de la serie NV de Azure con tecnología GPU.
- Para las aplicaciones gráficas con aceleración por GPU más extremas, como el modelado 3D CAD, la representación 3D y la visualización científica, use máquinas virtuales de la serie NVv3 de alto rendimiento.
- Las máquinas virtuales de la serie NVv3 admiten almacenamiento prémium y cuentan con el doble de memoria del sistema (RAM) que las de las serie NV anteriores.
Asignación de productos de Azure VM y Storage a componentes de un sistema HPC
Soluciones de máquina virtual de Azure Compute
Máquinas virtuales con baja latencia (SKU de HPC)
Las siguientes máquinas virtuales de las series H y N que son compatibles con RDMA y pueden comunicarse por la red InfiniBand de baja latencia y ancho de banda alto. La funcionalidad de RDMA sobre dicha interconexión es crítica para potenciar la escalabilidad y el rendimiento de las cargas de trabajo de inteligencia artificial y HPC de nodos distribuidos.
Máquinas virtuales con aceleradores
| CPU | GP-GPU | VISUAL |
|---|---|---|
| Las máquinas virtuales de la serie HB están optimizadas para aplicaciones que consumen mucha memoria, como las de dinámica de fluidos, análisis explícito de elementos finitos y creación de modelos meteorológicos. Las máquinas virtuales de la serie HC están optimizadas para aplicaciones con un elevado consumo de proceso, como las de dinámica molecular, análisis de elementos finitos implícitos y química computacional. |
Las máquinas virtuales de la serie NC funcionan con la tarjeta NVIDIA Tesla K80 y el procesador Intel Xeon E5-2690 v3 (Haswell). Los usuarios pueden trabajar con datos con mayor rapidez si utilizan CUDA para las aplicaciones de exploración de energía, simulaciones de accidentes, representación de trazado de rayos, aprendizaje profundo y mucho más. Las máquinas virtuales de la serie ND son una novedad incorporada a la familia GPU diseñadas para inteligencia artificial y cargas de trabajo de aprendizaje profundo. Ofrece una configuración con una baja latencia secundaria, una red de alta productividad mediante RDMA y conectividad InfiniBand, lo que permite ejecutar trabajos de aprendizaje a gran escala que abarquen muchas GPU. |
Las máquinas virtuales de la serie NV están dirigidas a aplicaciones acelerada de escritorio y escritorios virtuales en los que los clientes pueden visualizar sus datos o simulaciones. Permite a los usuarios visualizar sus flujos de trabajo con muchos gráficos en las instancias de NV para obtener una excelente funcionalidad gráfica y ejecutar, además, cargas de trabajo de precisión únicas, como las de codificación y representación. |
Soluciones de Azure Storage
Azure Blob Storage
Permite el almacenamiento de objetos seguro y escalable de forma masiva para cargas de trabajo nativas de nube, archivos, lagos de datos, informática de alto rendimiento y aprendizaje automático. Es escalable y optimizado para lagos de datos con una administración de datos completa.
Estas son las principales características de su diseño:
- Visualización de imágenes o documentos directamente en un explorador.
- Almacenamiento de archivos para acceso distribuido.
- Streaming de audio y vídeo.
- Escribir en archivos de registro.
- Almacenamiento de datos para copia de seguridad y restauración, recuperación ante desastres y archivado.
- Almacenamiento de datos para el análisis en local o en un servicio hospedado de Azure.
Azure NetApp Files
Facilita a los profesionales empresariales de línea de negocio y de almacenamiento la migración y ejecución de aplicaciones complejas basadas en archivos sin necesidad de cambiar el código. Se usa como el servicio de almacenamiento de archivos compartido subyacente en varios escenarios, como la migración mediante lift-and-shift de aplicaciones compatibles con POSIX para Linux y Windows, SAP HANA, bases de datos y aplicaciones web empresariales.
Entre las ventajas clave se incluyen las siguientes:
- Disponibilidad del 99,99 %, alto rendimiento y seguridad.
- Servicio PaaS: fácil de usar y administrar.
- Aumento o reducción del escalado en línea o niveles de servicio.
- Protección de datos mediante la replicación entre regiones.
- Características avanzadas de administración de datos empresarial.
Archivos de Azure
Azure Files ofrece recursos compartidos de archivos totalmente administrados en la nube a los que se puede acceder mediante el protocolo SMB (Bloque de mensajes del servidor) o el protocolo NFS (Network File System) estándar del sector.
- Se pueden montar de manera simultánea en implementaciones locales o en la nube.
- A los recursos compartidos de archivos SMB de Azure Files se puede acceder desde clientes Windows, Linux y macOS.
- A los recursos compartidos de archivos NFS de Azure Files se puede acceder desde clientes Linux y macOS.
- Además, los recursos compartidos de archivos SMB de Azure Files se pueden almacenar en la caché de instancias de Windows Server con Azure File Sync, lo que permite un acceso rápido allí donde se usen los datos.
Son útiles para:
- Reemplazar o complementar servidores de archivos locales.
- Aplicaciones "lift-and-shift".
- Simplificar el desarrollo en la nube.
- Creación de contenedores.
Entre las ventajas clave se incluyen las siguientes:
- Acceso compartido
- Totalmente administrada
- Herramientas y scripting
- Resistencia
- Programación amigable
Azure HPC Cache
Azure HPC Cache acelera el acceso a los datos para las tareas de informática de alto rendimiento (HPC).
- Mediante el almacenamiento en caché de archivos en Azure, Azure HPC Cache aporta la escalabilidad de la informática en la nube al flujo de trabajo existente.
- Se puede usar incluso para flujos de trabajo en los que se almacenan los datos mediante vínculos WAN, como por ejemplo el entorno de almacenamiento conectado a la red (NAS) local del centro de datos.
Cuándo usarlo:
- Flujo de trabajo de acceso a archivos de lectura intensiva.
- Datos almacenados en almacenamiento accesible desde NFS, blobs de Azure o ambos.
- Granjas de Compute de hasta 75 000 núcleos de CPU.
Entre las ventajas clave se incluyen las siguientes:
- Es fácil de iniciar y supervisar desde Azure Portal. El almacenamiento de NFS existente o los nuevos contenedores de blobs pueden formar parte de su espacio de nombres agregado, lo que hace que el acceso del cliente sea sencillo aunque cambie el destino de almacenamiento de back-end.
- Alto rendimiento con un rendimiento de hasta 8 GB/s, lo que reduce la latencia de las cargas de trabajo almacenables en caché.
- Escalable para satisfacer la cambiante demanda de proceso.
- Espacio de nombres agregado que reúne varios orígenes de archivos.
Sistemas de archivos basados en máquinas virtuales
NAS de máquina virtual única
- El almacenamiento conectado a la red (NAS) basado en la nube le ayuda a abordar las necesidades de almacenamiento en la nube mediante las mismas construcciones que un sistema NAS local.
- Proporciona a las organizaciones almacenamiento que es tan eficaz como su NAS local con la capacidad adicional de escalar en la nube, y todo sin tener que realizar cambios importantes en sus interfaces y procesos de aplicación existentes.
- NAS es un dispositivo de almacenamiento centralizado que permite a aplicaciones y servicios acceder a los datos desde una ubicación centralizada en la red.
- Virtual NAS es la versión de dispositivo virtual de los sistemas NAS que se puede ejecutar en plataformas de virtualización como VMware, Hyper-V, etc.
Entre las ventajas clave se incluyen las siguientes:
- Los dispositivos de red que acceden al almacenamiento Virtual NAS pueden seguir haciéndolo mediante los mismos protocolos sin cambiar la configuración.
- La administración de la capacidad también es más fácil, ya que cualquier almacenamiento necesario se puede asignar desde la capa de virtualización subyacente.
Sistemas de archivos paralelos con varios nodos
- Los sistemas de archivos paralelos distribuyen el almacenamiento de nivel de bloque entre varios nodos de almacenamiento en red.
- Los datos de archivo se distribuyen entre estos nodos, lo que significa que los datos de archivo se distribuyen entre varios dispositivos de almacenamiento. Agrupa las solicitudes de E/S de almacenamiento individuales en varios nodos de almacenamiento a los que se puede acceder mediante un espacio de nombres común.
- Se usan varios dispositivos de almacenamiento y varias rutas de acceso a los datos para proporcionar un alto grado de paralelismo, lo que reduce los cuellos de botella impuestos mediante el acceso a un solo nodo a la vez.
- Los sistemas de archivos paralelos se dividen en dos partes principales:
- Servicios de metadatos: almacenan metadatos de espacio de nombres, como nombres de archivo, directorios, permisos de acceso y diseño de archivos. En función del sistema de archivos paralelo, los servicios de metadatos se proporcionan como parte integrada de una distribución general de nodos de almacenamiento, o bien mediante un clúster de servidores independiente.
- Almacenamiento de objetos: contiene datos de archivo reales. Los clientes extraen la ubicación de los archivos y directorios de los servicios de metadatos y, después, acceden directamente al almacenamiento de archivos.
- Las ventajas del almacenamiento distribuido y el rendimiento de E/S superior hacen que se prefieran los sistemas de archivos paralelos a NFS en la mayoría de los escenarios de HPC, sobre todo cuando se trata del espacio de almacenamiento de trabajo compartido.
Cray ClusterStor
Cray ClusterStor en el sistema de almacenamiento de Azure es una solución de almacenamiento de alta capacidad y alto rendimiento para acelerar las simulaciones de HPC.
Es un dispositivo sin sistema operativo que está totalmente integrado en el tejido de Azure y es accesible para una gran selección de otros servicios de Azure.
Cray ClusterStor en Azure ofrece un entorno de HPC basado en Lustre, de un solo inquilino, sin sistema operativo y totalmente administrado en Microsoft Azure.
Entre las ventajas clave se incluyen las siguientes:
- Se puede usar con superequipos de las series XC y CS de Cray, y ahora también admite el procesamiento de datos de trabajos de HPC ejecutados en máquinas virtuales de la serie H de Azure.
- Puede mover los datos dentro de Azure desde cero de alto rendimiento a almacenamiento de blobs de Azure intermedio y almacenamiento de archivos en frío.
- Obtenga acceso a alto rendimiento y capacidad durante la simulación. Mueva los datos posteriores a la simulación a una solución de almacenamiento en la nube redundante y menos costosa, para que se distribuyan con facilidad o estén disponibles para la siguiente simulación.
- Habilita más de tres veces el rendimiento en GB/s por cada servidor de almacenamiento de objetos de Lustre (OSS) que la oferta de Lustre disponible actualmente.