Compartilhar via

Zona de aterrissagem para HPC

  • Artigo

A metodologia Ready da Cloud Adoption Framework for Azure pode guiá-lo durante a preparação do seu ambiente para a adoção da nuvem. Durante a fase de preparação, você pode usar uma zona de aterrissagem do Azure. Uma zona de aterrissagem é um acelerador técnico que fornece o bloco de construção básico para qualquer ambiente de adoção de nuvem. Uma zona de aterrissagem pode automatizar a configuração do seu ambiente do Azure, alinhando-se com as diretrizes de práticas recomendadas da Estrutura de Adoção de Nuvem. Ao se preparar para a computação de alto desempenho (HPC), você pode encontrar configurações de ambiente que dependem do caso de uso e dos requisitos do setor.

Arquitetura conceitual de zona de destino do Azure

Ao preparar seu ambiente para a adoção sustentada da nuvem, você pode usar uma arquitetura conceitual de zona de aterrissagem do Azure que representa um estado final de destino. Para HPC, há várias referências de arquitetura conceitual baseadas nos três setores que o Cloud Adoption Framework aborda atualmente:

Considere essas referências de arquitetura ao desenvolver uma visão de longo prazo para sua zona de pouso. Essas referências fornecem um ponto de partida. Com base nos requisitos de negócios da sua organização e nas necessidades dos usuários finais, talvez seja necessário modificá-los.

Avaliação para HPC

As decisões que você toma durante a avaliação de impacto estratégico e o planejamento técnico influenciam a configuração da zona de aterrissagem escolhida para suas implantações de HPC no Azure. Recomendamos que você considere as seguintes perguntas:

  • Quão maduro é o seu ambiente no Azure? Está na fase de prova de conceito? Ou já é um aplicativo maduro que atende aos usuários? Dependendo do estágio, você pode incluir ou omitir governança, segurança ou organização de recursos.
  • O aplicativo que você está criando no Azure é de curta duração ou um projeto de longa duração? A resposta a essa pergunta pode ajudá-lo a escolher suas opções de computação e armazenamento.
  • Sua organização exige que as pessoas acessem os recursos do Azure em vários níveis?

Como você pode ver nessas perguntas, o modelo de implantação varia de acordo com sua empresa, setor e uso do aplicativo.

Aceleração da zona de aterrissagem do Azure para HPC

O Lote do Azure e o Azure CycleCloud são ambos serviços de terceiros fornecidos pelo Azure, enquanto a Plataforma Azure HPC OnDemand (AzHOP) é uma automação criada sobre a Nuvem de Ciclo do Azure que fornece um mecanismo de implantação de ponta a ponta para uma solução de cluster HPC completa no Azure.

Lote do Azure

  • O Batch foi projetado para executar trabalhos em lote HPC e paralelos em grande escala de forma eficiente no Azure.
  • O Batch cria e gerencia um pool de nós de computação ou máquinas virtuais (VMs). Você também pode usar o Batch para instalar os aplicativos que deseja executar e agendar trabalhos para execução nos nós.
  • Não há nenhum software de cluster ou de agendador de trabalho para instalar, gerenciar ou escalar.
  • O Lote funciona bem com cargas de trabalho intrinsecamente paralelas. Essas cargas de trabalho têm aplicativos que podem ser executados de forma independente, com cada instância concluindo parte do trabalho.
  • Você também pode usar o Batch para executar cargas de trabalho fortemente acopladas, em que os aplicativos executados precisam se comunicar entre si em vez de serem executados de forma independente.
  • As tarefas em lote podem ser executadas diretamente em VMs ou nós em um pool de lotes. Mas você também pode configurar um pool de lotes para executar tarefas em contêineres compatíveis com Docker nos nós.

Azure CycleCloud

  • Ele suporta vários programadores HPC, como SLURM, OpenPBS, PBSPro, LSF, Grid Engine e HTCondor12.
  • Ele permite provisionar infraestrutura para sistemas HPC, como máquinas virtuais, conjuntos de escala, interfaces de rede e discos.
  • Ele dimensiona automaticamente a infraestrutura para executar trabalhos de forma eficiente em qualquer escala com base na carga do trabalho, disponibilidade e requisitos de tempo.
  • Ele fornece um formato avançado, declarativo e de modelagem para construir ambientes HPC completos no Azure.
  • Ele se integra aos serviços do Azure, como o Azure Monitor e as ferramentas de Gerenciamento de Custos da Microsoft.

AzHop

  • O AzHop fornece um mecanismo de implantação de ponta a ponta para uma infraestrutura HPC básica no Azure utilizando o CycleCloud para orquestrar trabalhos.
  • Ele fornece uma solução de cluster HPC completa que está pronta para os usuários executarem aplicativos e que é fácil para os administradores de HPC implantarem e gerenciarem.
  • AzHop usa vários aplicativos internos que você pode usar "como está," ou você pode facilmente personalizar e estender para atender a quaisquer requisitos não atendidos.
  • Ele inclui um portal Open OnDemand para acesso unificado de usuário, acesso remoto ao shell, acesso à visualização remota, envio de trabalhos, acesso a arquivos e muito mais.
  • Ele usa o Active Directory para autenticação de usuário e controle de domínio.
  • Ele usa OpenPBS ou Simple Linux Utility for Resource Management (SLURM) como um agendador de trabalho.
  • O provisionamento dinâmico de recursos e o dimensionamento automático são feitos por filas de trabalho pré-configuradas do CycleCloud e verificações de integridade integradas para evitar rapidamente nós não ideais.
  • O Azure NetApp Files fornece um sistema de arquivos compartilhado para o diretório base e aplicativos.

Gráfico de comparação

Recurso Lote do Azure Azure CycleCloud
Agendador APIs e ferramentas em lote estão disponíveis. Você também pode usar scripts de linha de comando nativos da nuvem no portal do Azure. Você pode usar programadores HPC padrão, como SLURM, OpenPBS, PBSPro, LSF, Grid Engine e HTCondor. Ou você pode estender os plug-ins de dimensionamento automático do Azure CycleCloud para trabalhar com seu próprio agendador.
Recursos de computação Nós de software como serviço (SaaS) – plataforma como serviço (PaaS). PaaS software – PaaS.
Ferramentas de monitoramento Azure Monitor. Azure Monitor e Grafana.
Personalização Você pode usar pools de imagens personalizadas, imagens de terceiros ou acesso à API em lote. Você pode usar a API RESTful abrangente para personalizar e estender a funcionalidade, implantar seu próprio agendador e oferecer suporte a gerenciadores de carga de trabalho existentes.
Integração Pipelines do Azure Synapse Analytics, Azure Data Factory e a CLI do Azure. Uma CLI integrada para Windows e Linux.
Tipo de usuário Desenvolvedores. Administradores e usuários clássicos de HPC.
Tipo de trabalho Lotes e fluxos de trabalho. Fluxos de trabalho fortemente acoplados que usam a Interface de Passagem de Mensagens (MPI).
Suporte do Windows Desde que. Depende da escolha do agendador.

O Azure CycleCloud e o Lote do Azure são ferramentas poderosas para tarefas de HPC no Azure, mas foram projetados para diferentes casos de uso.

O Azure CycleCloud é uma ferramenta empresarial para orquestrar e gerenciar ambientes HPC no Azure. Ele é direcionado a administradores de HPC e usuários que desejam implantar um ambiente de HPC com um agendador específico em mente. O Azure CycleCloud fornece ferramentas poderosas para construir ambientes HPC completos no Azure, incluindo servidores NFS (Compartilhamento de Arquivos de Rede), sistemas de arquivos paralelos, hosts de entrada, servidores de licenças e serviços de diretório. É útil para organizações que operam ambientes de HPC há algum tempo e acumularam anos de experiência e ferramentas internas em torno de um agendador específico.

Em contraste, o Batch é voltado principalmente para desenvolvedores e equipes que criam um recurso em seu próprio produto ou serviço. O Batch inclui seu próprio agendador e foi projetado para executar trabalhos paralelos em grande escala de forma eficiente, sem software de cluster ou agendador de tarefas. O lote é útil quando você não precisa gerenciar um agendador de carga de trabalho.

Em resumo, use o Azure CycleCloud quando quiser implantar um ambiente HPC com um agendador específico em mente e precisar de um ambiente HPC completo. Use o Lote ao desenvolver um produto ou serviço que exija processamento paralelo em grande escala e não quiser gerenciar um agendador de carga de trabalho.

Próximas etapas