O que é Azure CycleCloud?
O Azure CycleCloud é uma ferramenta corporativa para orquestrar e gerenciar ambientes de HPC (computação de alto desempenho) no Azure. Com o CycleCloud, os usuários podem provisionar a infraestrutura para sistemas HPC, implantar agendadores de HPC familiares e dimensionar automaticamente a infraestrutura para executar trabalhos com eficiência em qualquer escala. Por meio do CycleCloud, os usuários podem criar diferentes tipos de sistemas de arquivos e montá-los nos nós de cluster de computação para dar suporte a cargas de trabalho de HPC.
O Azure CycleCloud é direcionado a administradores de HPC e usuários que desejam implantar um ambiente HPC com um agendador específico em mente – agendadores comumente usados, como Slurm, PBSPro, LSF, Mecanismo de Grade e HT-Condor têm suporte pronto. CycleCloud é o produto irmão para Lote do Azure, que fornece um Agendador como Serviço no Azure.
Consulte HPC (Computação de Alto Desempenho) no Azure para obter informações sobre como o CycleCloud se compara a outras soluções de HPC do Azure.
Por que devo usar o Azure CycleCloud?
As organizações que operam ambientes de HPC por um tempo normalmente acumulam anos de experiência e ferramentas internas em torno de um agendador específico, e re-arquitetar ou implantar esses ambientes no Azure podem ser assustadoras. O CycleCloud abstrai os blocos de construção básicos do Azure, como VMs, conjuntos de dimensionamento, interfaces de rede e discos. Isso permite que um administrador de HPC se concentre no familiar: um cluster HPC composto por nós e um agendador configurável de escolha.
O CycleCloud implanta plug-ins de dimensionamento automático sobre os agendadores com suporte, portanto, os usuários não precisam implementar funções e rotinas complexas de dimensionamento automático em si, mas, em vez disso, interface apenas com configurações no nível do agendador com as quais estão familiarizados.
Com um formato avançado, declarativo e modelagem, o CycleCloud fornece ferramentas poderosas para construir ambientes HPC completos no Azure. Os usuários podem implantar ambientes que incluem servidores NFS, sistemas de arquivos paralelos, hosts de logon, servidores de licença e serviços de diretório -- essencialmente todos os componentes necessários em um sistema HPC -- por meio de um único plano de gerenciamento.
O CycleCloud integra-se aos serviços do Azure, como o Azure Monitor e as ferramentas de Gerenciamento de Custos do Azure.
Funcionalidades do CycleCloud
|
Agnóstico agendador Use agendadores HPC padrão, como Slurm, PBS Pro, LSF, Grid Engine e HTCondor, ou estenda plug-ins de dimensionamento automático do CycleCloud para trabalhar com seu próprio agendador |
|
|
Gerenciar recursos de computação Gerenciar máquinas virtuais e conjuntos de dimensionamento para fornecer um conjunto flexível de recursos de computação que podem atender aos seus requisitos dinâmicos de carga de trabalho |
|
|
Recursos de dimensionamento automático Ajustar automaticamente o tamanho e os componentes do cluster com base nos requisitos de carga de trabalho, disponibilidade e tempo |
|
|
Monitorar e analisar Coletar e analisar dados de desempenho usando ferramentas de visualização |
|
|
Clusters de modelo Usar modelos do CycleCloud para compartilhar topologias de cluster com a comunidade |
|
|
Personalizar e estender a funcionalidade Use a API RESTful abrangente para personalizar e estender a funcionalidade, implantar seu próprio agendador e dar suporte a gerentes de carga de trabalho existentes |
|
|
Integrar-se a fluxos de trabalho existentes Integrar-se a fluxos de trabalho e ferramentas existentes usando a CLI interna |
|
|
Agnóstico agendador Use agendadores HPC padrão, como Slurm, PBS Pro, LSF, Grid Engine e HTCondor, ou estenda plug-ins de dimensionamento automático do CycleCloud para trabalhar com seu próprio agendador |
|
|
Gerenciar recursos de computação Gerenciar máquinas virtuais e conjuntos de dimensionamento para fornecer um conjunto flexível de recursos de computação que podem atender aos seus requisitos dinâmicos de carga de trabalho |
|
|
Recursos de dimensionamento automático Ajustar automaticamente o tamanho e os componentes do cluster com base nos requisitos de carga de trabalho, disponibilidade e tempo |
|
|
Monitorar e analisar Coletar e analisar dados de desempenho usando ferramentas de visualização |
|
|
Clusters de modelo Usar modelos do CycleCloud para compartilhar topologias de cluster com a comunidade |
|
|
Personalizar e estender a funcionalidade Use a API RESTful abrangente para personalizar e estender a funcionalidade, implantar seu próprio agendador e dar suporte a gerentes de carga de trabalho existentes |
|
|
Integrar-se a fluxos de trabalho existentes Integrar-se a fluxos de trabalho e ferramentas existentes usando a CLI interna |
|
Como usar o Azure CycleCloud?
O Azure CycleCloud é um aplicativo Web instalável que você pode executar localmente ou em uma VM do Azure. Depois de instalado, o CycleCloud pode ser configurado para usar recursos de computação e dados em sua assinatura preparada do Azure. O CycleCloud fornece vários modelos de cluster oficiais para agendadores (PBSPro, LSF, Mecanismo de Grade, Slurm, HTCondor) e sistemas de arquivos (NFS, BeeGFS). Modelos de cluster fornecidos pela comunidade CycleCloud também estão disponíveis. Você pode usar esses modelos de cluster não modificados ou personalizá-los para suas necessidades específicas.
Depois que um cluster é criado, ele é configurado automaticamente para dimensionamento automático por padrão para lidar com os trabalhos computacionais enviados ao agendador. Os recursos administrativos do CycleCloud regem o acesso ao cluster CycleCloud para outros usuários em sua organização.
As ferramentas que usam modelos e scripts de configuração permitem criar ambientes HPC complexos rapidamente e replicá-los para equipes separadas em toda a sua organização.
O que o CycleCloud não é?
Não há nenhuma funcionalidade de agendamento de trabalho no CycleCloud. Em outras palavras, o CycleCloud não é um agendador, mas sim uma plataforma que permite que os usuários implantem seu próprio agendador no Azure. O CycleCloud vem com suporte interno para vários agendadores comumente usados (PBSPro, Slurm, IBM LSF, Grid Engine e HT Condor), mas os usuários do CycleCloud frequentemente implementam seu próprio agendador sobre a API de dimensionamento automático fornecida.
O CycleCloud não determina a topologia do cluster; a instalação vem com modelos projetados para colocar os sistemas HPC em funcionamento no Azure rapidamente, mas os operadores HPC podem personalizar esses modelos para adaptar a infraestrutura para atender aos seus requisitos. A comunidade de HPC do Azure fornece modelos opinativos otimizados para diferentes tipos de cargas de trabalho e setores.
Qual é a aparência de um ambiente implantado do CycleCloud
Um sistema HPC do CycleCloud inteiro pode ser implantado na infraestrutura do Azure. O CycleCloud em si é instalado como um servidor de aplicativos em uma VM no Azure que requer acesso de saída às APIs do Provedor de Recursos do Azure. Em seguida, o CycleCloud inicia e gerencia VMs que formam os sistemas HPC , normalmente consistem nos nós de cabeçalho do agendador HPC e nós de computação, mas também podem incluir armazenamento anexado à rede baseado em VM, como um servidor NFS ou cluster BeeGFS, nós de logon, hosts de bastião e outros componentes necessários para dar suporte a uma infraestrutura HPC. A composição do sistema HPC é definida inteiramente por meio de modelos do CycleCloud. Além disso, os ambientes de HPC do CycleCloud podem utilizar outros serviços de PaaS, como Azure NetApp Files, Azure HPC Cache e Serviço de Domínio do Active Directory do Azure.