Como o Azure HPC funciona
O sistema HPC tem quatro componentes principais: Computação, Armazenamento, Rede e Visualização.
Computação
Recursos de computação de alto desempenho são oferecidos em escala quase ilimitada no Azure. Você pode usar as diferentes séries H, N e Cray para aplicativos de memória, gráficos e gerenciados.
- Máquinas virtuais da série H para aplicativos associados à memória
- Máquinas virtuais da série N para aplicativos baseados em CUDA/OpenCL com uso intensivo de gráficos
- Cray para um supercomputador totalmente dedicado e personalizado fornecido como um serviço gerenciado
Armazenamento
O armazenamento em nuvem altamente seguro está disponível para clientes em grande escala. Permite que aplicativos HPC o usem com eficiência para personalização com o HPC Cache, com arquivos do Azure NetApp ou com Cray ClusterSor.
- Faça a intermitência de seus aplicativos HPC no Azure usando dados armazenados em dispositivos NAS locais com o HPC Cache.
- Acesse grandes quantidades de E/S com latência de menos que milissegundos com o Azure NetApp Files, fornecido como um serviço do Azure nativamente em um datacenter do Azure.
- Para uma solução de armazenamento de alta taxa de transferência, use o Cray ClusterSor, uma solução de armazenamento HPC bare metal baseada em Lustre totalmente integrada ao Azure.
Rede
O Azure permite que você crie redes virtuais privadas na nuvem, o que simplifica a arquitetura de rede e protege a conexão entre pontos de extremidade desabilitando a exposição de dados à Internet pública.
- Estabeleça túneis privados e seguros para conectividade de nuvem híbrida usando o Azure ExpressRoute.
- Aproveite o RDMA (acesso remoto direto à memória) do Linux com o InfiniBand para cargas de trabalho de MPI (interface de passagem de mensagens) no datacenter.
Visualização
Execute cargas de trabalho de visualização com o HPC e as Máquinas Virtuais do Azure, que aumentam a produtividade, reduzem os custos e têm implantações flexíveis.
- Visualize dados de simulação e execute cenários de streaming, jogos, codificação e VDI em VMs (Máquinas Virtuais) da série NV do Azure da plataforma GPU.
- Para os aplicativos gráficos mais extremos com aceleração de GPU, como modelagem de CAD 3D, renderização 3D e visualização científica, use VMs da série NVv3 de alto desempenho.
- As VMs NVv3 dão suporte ao armazenamento Premium e têm o dobro de RAM (memória do sistema) que as VMs NV anteriores.
Mapeando produtos de VM e Armazenamento do Azure para componentes em um sistema HPC
Soluções de Máquina Virtual da Computação do Azure
VMs com baixa latência (SKUs HPC)
As VMs das séries H e N com capacidade de RDMA e capazes de se comunicar pela rede InfiniBand de baixa latência e alta largura de banda. A funcionalidade RDMA em uma interconexão como essa é crítica para aumentar a escalabilidade e o desempenho de cargas de trabalho de HPC e IA de nó distribuído.
VMs com aceleradores
| CPU | GP-GPU | VISUAL |
|---|---|---|
| As VMs da série HB são otimizadas para aplicativos com uso intensivo de memória, como na dinâmica de fluidos, na análise de elementos finitos explícita e na modelagem de clima. As VMs da série HC são otimizadas para aplicativos com uso intensivo de computação, como na análise de elementos finitos implícita, na dinâmica molecular e na química computacional. |
As VMs série NC são da plataforma da placa NVIDIA Tesla K80 e do processador Intel Xeon E5-2690 v3 (Haswell). Os usuários podem processar os dados mais rapidamente usando o CUDA para aplicativos de exploração de energia, simulações de falhas, renderização de traçados de raio, aprendizado profundo e muito mais. As VMs da série ND são uma nova adição à família de GPU projetada para cargas de trabalho de IA e aprendizado profundo. Ela oferece uma configuração com uma rede secundária de baixa latência e alta taxa de transferência por meio de RDMA, e a conectividade InfiniBand permite a execução de trabalhos de treinamento de grande escala que abrangem várias GPUs. |
As VMs da série NV foram criadas para aplicativos acelerados para área de trabalho e áreas de trabalho virtuais, em que os clientes podem visualizar seus dados ou simulações. Permite que os usuários visualizem seus fluxos de trabalho com uso intensivo de gráficos em instâncias NV para obter capacidade gráfica superior, além de executar cargas de trabalho de precisão única, como codificação e renderização. |
Soluções de Armazenamento do Azure
Armazenamento de Blobs do Azure
Permite um armazenamento de objetos extremamente escalonável e seguro para cargas de trabalho nativas de nuvem, arquivos, data lakes, computação de alto desempenho e aprendizado de máquina. É escalonável e otimizado para data lakes com gerenciamento de dados abrangente.
Os principais de design recursos incluem:
- Fornecimento de imagens ou de documentos diretamente a um navegador.
- Armazenamento de arquivos para acesso distribuído.
- Transmissão por streaming de áudio e vídeo.
- Gravando nos arquivo de log.
- Armazenamento de dados de backup e restauração, recuperação de desastres e arquivamento.
- Armazenamento de dados para análise por um serviço local ou hospedado no Azure.
Azure NetApp Files
Facilita para profissionais de linha de negócios e de armazenamento em empresas a migração e a execução de aplicativos complexos baseados em arquivo, sem alteração de código. É usado como o serviço de armazenamento de arquivos compartilhado subjacente em vários cenários, como a migração lift-shift de aplicativos Linux e Windows compatíveis com POSIX, SAP HANA, bancos de dados e aplicativos Web corporativos.
Entre os principais benefícios estão:
- Disponibilidade de 99,99%, alto desempenho, seguro.
- Serviço de PaaS – fácil de usar e gerenciar.
- Escalar/reduzir verticalmente o tamanho e/ou os níveis de serviço online.
- Proteção de dados usando replicação entre regiões.
- Recursos avançados de gerenciamento de dados empresariais.
Arquivos do Azure
Os Arquivos do Azure oferecem compartilhamentos de arquivos totalmente gerenciados na nuvem que são acessíveis por meio do Protocolo SMB ou do Protocolo NFS (Network File System) padrão do setor.
- Eles podem ser montados de maneira simultânea por implantações locais ou na nuvem.
- É possível acessar os compartilhamentos de arquivos do protocolo SMB dos Arquivos do Azure em clientes Windows, Linux e macOS.
- É possível acessar os compartilhamentos de arquivos do protocolo NFS dos Arquivos do Azure em clientes Linux e macOS.
- Além disso, os compartilhamentos de arquivos do protocolo SMB dos Arquivos do Azure podem ser armazenados em cache nos Windows Servers com a Sincronização de Arquivos do Azure para acesso rápido perto de onde os dados estão sendo usados.
Útil para:
- Substituir ou complementar servidores de arquivos locais.
- Lift-and-shift de aplicativos.
- Simplificar o desenvolvimento na nuvem.
- Conteinerização.
Entre os principais benefícios estão:
- Acesso compartilhado
- Totalmente gerenciado
- Scripts e ferramentas
- Resiliência
- Programação familiar
Azure HPC Cache
O Azure HPC Cache acelera o acesso a suas tarefas de HPC (computação de alto desempenho).
- Ao armazenar arquivos em cache no Azure, o Azure HPC Cache traz a escalabilidade da computação em nuvem para seu fluxo de trabalho existente.
- Pode ser usado até mesmo para fluxos de trabalho em que seus dados são armazenados em links WAN, como no ambiente de NAS do datacenter local.
Quando usar:
- Fluxo de trabalho de acesso a arquivos com leitura intensa.
- Dados armazenados em armazenamento acessível por NFS, Blob do Azure ou ambos.
- Farms de computação com até 75.000 núcleos de CPU.
Entre os principais benefícios estão:
- É fácil de iniciar e monitorar no portal do Azure. O armazenamento de NFS existente ou novos contêineres de blobs podem se tornar parte de seu namespace agregado, o que simplifica o acesso do cliente mesmo quando você altera o destino de armazenamento de back-end.
- Alto desempenho com até 8 GB/s de taxa de transferência, reduzindo a latência para cargas de trabalho em cache.
- Escalonável para atender a mudanças na demanda de computação.
- Namespace agregado reunindo várias fontes de arquivo.
Sistemas de arquivos baseados em VM
NAS de VM única
- O NAS (Armazenamento Anexado à Rede) baseado em nuvem ajuda você a atender às necessidades de armazenamento na nuvem usando os mesmos constructos que um sistema NAS local.
- Fornece às organizações um armazenamento com desempenho equivalente ao do NAS local com a capacidade adicional de dimensionar na nuvem, tudo isso sem precisar fazer grandes alterações nos processos e interfaces de aplicativo existentes.
- O NAS é um dispositivo de armazenamento centralizado que permite que aplicativos e serviços acessem dados de um local centralizado na rede.
- O NAS virtual é a versão de solução de virtualização dos sistemas NAS que podem ser executados em plataformas de virtualização, como VMware, Hyper-V etc.
Entre os principais benefícios estão:
- Dispositivos de rede que acessam o armazenamento do NAS virtual podem continuar a fazê-lo usando os mesmos protocolos sem nenhuma reconfiguração.
- O gerenciamento de capacidade também é mais fácil, pois qualquer armazenamento necessário pode ser alocado da camada de virtualização subjacente.
Sistemas de arquivos paralelos de vários nós
- Os sistemas de arquivos paralelos distribuem o armazenamento no nível do bloco entre vários nós de armazenamento em rede.
- Os dados de arquivos são distribuídos entre esses nós, o que significa que são distribuídos entre vários dispositivos de armazenamento. Ele agrupa todas as solicitações de E/S de armazenamento individuais em vários nós de armazenamento acessíveis por meio de um namespace comum.
- Vários dispositivos de armazenamento e vários caminhos para os dados são utilizados para fornecer um alto grau de paralelismo, reduzindo os gargalos que ocorrem ao acessar apenas um nó por vez.
- Os sistemas de arquivos paralelos são divididos em duas partes principais:
- Serviços de metadados – armazene metadados de namespace, como nomes de arquivo, diretórios, permissões de acesso e layout de arquivo. Com base no sistema de arquivos paralelo, os serviços de metadados são fornecidos como parte integrada de uma distribuição geral de nós de armazenamento ou por meio de um cluster de servidor separado.
- Armazenamento de objetos – o armazenamento de objetos contém dados de arquivo reais. Os clientes extraem o local de arquivos e diretórios dos serviços de metadados e acessam o armazenamento de arquivos diretamente.
- As vantagens do armazenamento distribuído e o desempenho de E/S superior tornam os sistemas de arquivos paralelos preferíveis ao NFS na maioria dos cenários de HPC, especialmente quando se trata de espaço de armazenamento de trabalho compartilhado.
Cray ClusterStor
O Cray ClusterStor no sistema de armazenamento do Azure é uma solução de armazenamento de alta capacidade e alta taxa de transferência para acelerar simulações de HPC.
Trata-se de um dispositivo bare-metal totalmente integrado à malha do Azure e acessível por uma grande seleção de outros serviços do Azure.
O Cray ClusterStor no Azure oferece um ambiente HPC baseado em Lustre, de locatário único, bare-metal e totalmente gerenciado no Microsoft Azure.
Entre os principais benefícios estão:
- Pode ser usado com supercomputadores das séries Cray XC e CS e agora também dá suporte ao processamento de dados de trabalhos HPC executados em máquinas virtuais da série H do Azure.
- Pode mover dados no Azure de alto desempenho para o armazenamento de blobs de acesso frequente e o armazenamento de acesso esporádico do Azure.
- Tenha acesso a alto desempenho e capacidade durante a simulação. Mova dados pós-simulação para uma solução de armazenamento em nuvem redundante e mais acessível para que sejam facilmente distribuídos ou disponibilizados para a próxima simulação.
- Habilita mais de três vezes a taxa de transferência em GB/s por OSS (Servidores de Armazenamento de Objetos) do Lustre que a oferta do Lustre disponível no momento.