O termo macrocomputação descreve as cargas de trabalho em grande escala que necessitam de um grande número de núcleos, atingindo, muitas vezes, as centenas ou milhares. Os cenários incluem composição de imagem, dinâmica de fluidos, modelação de riscos financeiros, exploração petrolífera, conceção de medicamentos e análise de tensões em engenharia, entre outros.
Seguem-se algumas características típicas de aplicações de macrocomputação:
- O trabalho pode ser dividido em tarefas discretas, que podem ser executadas em simultâneo por vários núcleos.
- Cada tarefa é finita. Obtém alguns dados de entrada, faz o processamento e produz um resultado. Toda a aplicação é executada durante um período de tempo finito (de minutos a dias). Um padrão comum consiste em aprovisionar um grande número de núcleos de rajada e, em seguida, baixar para zero assim que a aplicação estiver concluída.
- Não é necessário que a aplicação se mantenha ligada 24 horas por dia, sete dias por semana. No entanto, o sistema deve processar falhas de nó ou da aplicação.
- Para algumas aplicações, as tarefas são independentes e podem ser executadas em paralelo. Noutros casos, as tarefas estão fortemente conjugadas, o que significa que têm de interagir ou trocar resultados intermédios. Nesse caso, considere a utilização de tecnologias de rede de alta velocidade, tais como InfiniBand e acesso remoto direto à memória (RDMA).
- Consoante a carga de trabalho, poderá utilizar os tamanhos de VM de computação intensiva (H16r, H16mr e A9).
Quando utilizar esta arquitetura
- Operações computacionalmente intensivas, como a simulação e o processamento estatístico.
- Simulações que são computacionalmente intensivas e têm de ser divididas por CPUs em vários computadores (de 10 a milhares).
- Simulações que requerem demasiada memória para um computador e têm de ser divididas por vários computadores.
- Cálculos de longa execução que demorariam demasiado tempo a concluir num único computador.
- Operações mais pequenas que têm de ser executadas centenas ou milhares de vezes, como as simulações Monte Carlo.
Benefícios
- Elevado desempenho com processamento “constrangedoramente paralelo”.
- Pode tirar partido de centenas ou milhares de núcleos de computador para resolver rapidamente problemas grandes.
- Acesso a hardware especializado de elevado desempenho, com redes InfiniBand dedicadas de alta velocidade.
- Pode aprovisionar VMs conforme necessário para trabalhar e, em seguida, fechá-las.
Desafios
- Gerir a infraestrutura de VM.
- Gerenciando o volume de processamento de números
- Aprovisionar milhares de núcleos atempadamente.
- Para tarefas fortemente conjugadas, a adição de mais núcleos pode dar origem a devoluções diminutas. Terá de testar para determinar o número ideal de núcleos.
Macrocomputação com o Azure Batch
O Azure Batch é um serviço gerido para executar aplicações de computação de alto desempenho (HPC) em larga escala.
Através do Azure Batch, pode configurar um conjunto de VMs e carregar as aplicações e os ficheiros de dados. O serviço Batch aprovisiona as VMs, atribui tarefas às VMs, executa as tarefas e monitoriza o progresso. O Batch pode aumentar horizontalmente as VMs de forma automática em resposta à carga de trabalho. O Batch também concede o agendamento de tarefas.
Macrocomputação em execução em Máquinas Virtuais
Pode utilizar o Microsoft HPC Pack para administrar um cluster de VMs, e agendar e monitorizar tarefas HPC. Com esta abordagem, tem de aprovisionar e gerir as VMs e a infraestrutura de rede. Considere esta abordagem se tiver cargas de trabalho HPC existentes e pretender mover algumas ou todas para o Azure. Você pode mover todo o cluster HPC para o Azure ou pode manter seu cluster HPC local, mas usar o Azure para capacidade de intermitência. Para obter mais informações, veja Soluções Batch e HPC para cargas de trabalho de computação em grande escala.
HPC Pack implementado no Azure
Neste cenário, o cluster HPC é criado inteiramente no Azure.
O nó principal fornece serviços de gestão e agendamento de tarefas ao cluster. Para tarefas fortemente conjugadas, utilize uma rede RDMA que fornece uma largura de banda muito elevada e comunicação de baixa latência entre as VMs. Para obter mais informações, consulte Implantar um cluster HPC Pack 2016 no Azure.
Impulsar um cluster HPC para o Azure
Neste cenário, uma organização está a executar o HPC Pack no local e utiliza as VMs do Azure para impulsar a capacidade. O nó principal do cluster está no local. O ExpressRoute ou o Gateway de VPN liga a rede no local à VNet do Azure.
