Qué es Azure CycleCloud
Azure CycleCloud es una herramienta fácil de manejar para orquestar y administrar entornos de informática de alto rendimiento (HPC) en Azure. Con CycleCloud, los usuarios pueden aprovisionar infraestructura para sistemas HPC, implementar programadores de HPC conocidos y escalar automáticamente la infraestructura para ejecutar trabajos de forma eficaz a cualquier escala. A través de CycleCloud, los usuarios pueden crear diferentes tipos de sistemas de archivos y montarlos en los nodos del clúster de proceso para admitir cargas de trabajo de HPC.
Azure CycleCloud está dirigido a administradores y usuarios de HPC que desean implementar un entorno de HPC con un programador específico en mente, programadores usados habitualmente, como Slurm, PBSPro, LSF, Grid Engine y HT-Condor se admiten de forma predeterminada. CycleCloud es el producto hermana para Azure Batch, que proporciona un Programador como servicio en Azure.
Consulte Informática de alto rendimiento (HPC) en Azure para obtener información sobre cómo CycleCloud se compara con otras soluciones de Azure HPC.
¿Por qué debo usar Azure CycleCloud?
Las organizaciones que han operado entornos de HPC durante un tiempo suelen acumular años de experiencia y herramientas internas en torno a un programador específico, y volver a diseñar o implementar estos entornos en Azure puede resultar abrumador. CycleCloud abstrae los bloques de creación básicos de Azure, como máquinas virtuales, conjuntos de escalado, interfaces de red y discos. Esto permite a un administrador de HPC centrarse en lo conocido: un clúster de HPC que consta de nodos y un programador configurable de elección.
CycleCloud implementa complementos de escalado automático sobre los programadores admitidos, por lo que los usuarios no necesitan implementar complejas funciones y rutinas de escalado automático, sino que solo interactúan con configuraciones de nivel de programador con las que están familiarizados.
Con un formato enriquecido, declarativo y de plantillas, CycleCloud proporciona herramientas eficaces para construir entornos completos de HPC en Azure. Los usuarios pueden implementar entornos que incluyen servidores NFS, sistemas de archivos paralelos, hosts de inicio de sesión, servidores de licencias y servicios de directorio, básicamente todos los componentes necesarios en un sistema HPC, a través de un único plano de administración.
CycleCloud se integra con servicios de Azure, como Azure Monitor y las herramientas de Azure Cost Management.
Funcionalidades de CycleCloud
|
Independiente del programador Use programadores de HPC estándar, como Slurm, PBS Pro, LSF, Grid Engine y HTCondor, o amplíe los complementos de escalado automático de CycleCloud para trabajar con su propio programador. |
|
|
Administración de recursos de proceso Administración de máquinas virtuales y conjuntos de escalado para proporcionar un conjunto flexible de recursos de proceso que pueden cumplir los requisitos de carga de trabajo dinámicos |
|
|
Escalado automático de recursos Ajuste automático del tamaño y los componentes del clúster en función de los requisitos de carga, disponibilidad y tiempo del trabajo |
|
|
Supervisión y análisis Recopilación y análisis de datos de rendimiento mediante herramientas de visualización |
|
|
Clústeres de plantillas Uso de plantillas de CycleCloud para compartir topologías de clúster con la comunidad |
|
|
Personalización y ampliación de la funcionalidad Use la API de RESTful completa para personalizar y ampliar la funcionalidad, implementar su propio programador y dar soporte técnico a los administradores de carga de trabajo existentes |
|
|
Integración en flujos de trabajo existentes Integración en flujos de trabajo y herramientas existentes mediante la CLI integrada |
|
|
Independiente del programador Use programadores de HPC estándar, como Slurm, PBS Pro, LSF, Grid Engine y HTCondor, o amplíe los complementos de escalado automático de CycleCloud para trabajar con su propio programador. |
|
|
Administración de recursos de proceso Administración de máquinas virtuales y conjuntos de escalado para proporcionar un conjunto flexible de recursos de proceso que pueden cumplir los requisitos de carga de trabajo dinámicos |
|
|
Escalado automático de recursos Ajuste automático del tamaño y los componentes del clúster en función de los requisitos de carga, disponibilidad y tiempo del trabajo |
|
|
Supervisión y análisis Recopilación y análisis de datos de rendimiento mediante herramientas de visualización |
|
|
Clústeres de plantillas Uso de plantillas de CycleCloud para compartir topologías de clúster con la comunidad |
|
|
Personalización y ampliación de la funcionalidad Use la API de RESTful completa para personalizar y ampliar la funcionalidad, implementar su propio programador y dar soporte técnico a los administradores de carga de trabajo existentes |
|
|
Integración en flujos de trabajo existentes Integración en flujos de trabajo y herramientas existentes mediante la CLI integrada |
|
¿Cómo se usa Azure CycleCloud?
Azure CycleCloud es una aplicación web instalable que se puede ejecutar de forma local o en una máquina virtual de Azure. Una vez instalado, CycleCloud se puede configurar para usar recursos de proceso y datos en la suscripción de Azure preparada. CycleCloud proporciona una serie de plantillas de clúster oficiales para programadores (PBSPro, LSF, Grid Engine, Slurm, HTCondor) y sistemas de archivos (NFS, BeeGFS). Las plantillas de clúster proporcionadas por la comunidad de CycleCloud también están disponibles. Puede usar estas plantillas de clúster sin modificar o personalizarlas para sus necesidades específicas.
Una vez creado un clúster, se configura automáticamente para el escalado automático de forma predeterminada para controlar los trabajos de cálculo que se envían al programador. Las características administrativas de CycleCloud rigen el acceso al clúster de CycleCloud para otros usuarios de su organización.
Las herramientas que usan plantillas y scripts de configuración le permiten crear entornos de HPC complejos rápidamente y replicarlos para equipos independientes en toda la organización.
¿Qué no es CycleCloud?
No hay ninguna funcionalidad de programación de trabajos en CycleCloud. En otras palabras, CycleCloud no es un programador, sino una plataforma que permite a los usuarios implementar su propio programador en Azure. CycleCloud incluye compatibilidad integrada con varios programadores de uso frecuente (PBSPro, Slurm, IBM LSF, Grid Engine y HT Condor), pero los usuarios de CycleCloud suelen implementar su propio programador sobre la API de escalado automático proporcionada.
CycleCloud no dicta topología de clúster; la instalación incluye plantillas diseñadas para que los sistemas HPC funcionen y funcionen rápidamente en Azure, pero los operadores de HPC pueden personalizar estas plantillas para adaptar la infraestructura a fin de satisfacer sus requisitos. La comunidad de Azure HPC proporciona plantillas fundamentadas optimizadas para diferentes tipos de cargas de trabajo y sectores.
Aspecto de un entorno implementado de CycleCloud
Se puede implementar un sistema HPC de CycleCloud completo en la infraestructura de Azure. CycleCloud se instala como un servidor de aplicaciones en una máquina virtual de Azure que requiere acceso saliente a las API del proveedor de recursos de Azure. Después, CycleCloud inicia y administra las máquinas virtuales que forman los sistemas HPC: normalmente constan de los nodos principales y los nodos de proceso del programador de HPC, pero también pueden incluir almacenamiento conectado a la red basado en máquinas virtuales, como un servidor NFS o un clúster de BeeGFS, nodos de inicio de sesión, hosts bastión y otros componentes necesarios para admitir una infraestructura de HPC. El maquillaje del sistema HPC se define completamente a través de plantillas de CycleCloud. Además, los entornos hpC de CycleCloud pueden usar otros servicios PaaS, como Azure NetApp Files, Azure HPC Cache y Azure Dominio de Active Directory Service.