Configurar o HPC Pack com arquivos do Azure

Este artigo explica como configurar o HPC Pack com os Arquivos do Azure, configurar a identidade e a autenticação e atingir suas metas de desempenho.

Como os compartilhamentos de arquivos do Azure estão sem servidor, a implantação para cenários de produção não requer o gerenciamento de um servidor de arquivos ou dispositivo NAS (armazenamento anexado à rede). Os Arquivos do Azure também têm redundância interna para alta disponibilidade. Isso significa que as organizações não precisam aplicar patches de software ou distribuir vários discos para atender às necessidades de custo e desempenho para seus clusters de HPC (computação de alto desempenho).

Os compartilhamentos de arquivos premium dos Arquivos do Azure atendem aos requisitos típicos de desempenho e identidade do cliente, permitindo cenários de lift-and-shift facilmente configurados, econômicos e com desempenho. Os Arquivos do Azure dão suporte a diferentes configurações de identidade de acordo com as necessidades dos clientes.

Este artigo se concentra em como trazer sua carga de trabalho do HPC Pack local existente para o Azure. Ele se concentra em configurações comumente relatadas para esse cenário, que são compartilhamentos de arquivos premium com uma instância local do Azure AD DS (Azure Active Directory Domain Services) configurada com permissões de nível de compartilhamento padrão.

Por exemplo, se você estiver usando o HPC Pack para serviços financeiros, sua empresa poderá ter uma política para não sincronizar sua identidade com a nuvem. Nesse caso, as permissões padrão provavelmente atenderiam às suas necessidades. As ACLs (listas de controle de acesso) de nível de compartilhamento padrão permitem adicionar uma permissão de nível de compartilhamento padrão em sua conta de armazenamento para todos os usuários autenticados do AD DS. Em seguida, você pode aplicar controle de acesso refinado no nível de arquivo e diretório usando ACLs do Windows (também conhecidas como permissões NTFS).

Uma permissão de nível de compartilhamento padrão atribuída à sua conta de armazenamento se aplica a todos os compartilhamentos de arquivos contidos na conta de armazenamento. Em seguida, você pode usar o Active Directory local para permissões no nível de arquivo e no nível do diretório sem precisar sincronizar o Active Directory com a nuvem.

Planejando o uso de Arquivos do Azure com o HPC Pack

As seções a seguir descrevem como planejar e executar o lift and shift de uma solução local do HPC Pack usando os Arquivos do Azure como armazenamento.

Calcular destinos de desempenho

Os compartilhamentos de arquivos premium dos Arquivos do Azure montados usando SMB (Server Message Block) são ideais para aplicativos baseados no Windows que:

• Exigir soluções seguras com desempenho mais alto (em comparação com o armazenamento de camada padrão), como o HPC Pack. Saiba mais sobre a camada de armazenamento premium.
• Use o armazenamento provisionado em SSDs (unidades de estado sólido).

Depois de calcular as necessidades de desempenho do ambiente do HPC Pack, você pode calcular as metas de desempenho para vários tamanhos de compartilhamentos de arquivos:

• Para calcular a IOPS (entrada/saída por segundo) da linha de base, use esta fórmula:

  3.000 + 1 IOPS por GiB

  Por exemplo, para um compartilhamento de arquivo premium de 10 TiB, o cálculo é 3.000 + 10.240 GiB = 13.240 IOPS.

• Para calcular a taxa de transferência (entrada total e saída), use essa fórmula. Use a função CEILING, pois isso afetará o resultado dependendo do tamanho provisionado de entrada.

  100 + CEILING(.04 * GiB) + CEILING(.06 * GiB)

  Por exemplo, para um compartilhamento de arquivo premium de 10 TiB, o cálculo é 100 + CEILING(.04 * GiB) + CEILING(.06 * GiB) = 1.125 MiB/s.

Depois de saber o tamanho do compartilhamento de destino que fornece os valores esperados de IOPS e taxa de transferência, você poderá:

• Modele seus custos usando o custo fixo e previsível dos compartilhamentos de arquivos do Azure. Para obter mais informações, incluindo fórmulas autoritativas, consulte Noções básicas sobrede cobrança de Arquivos do Azure.
• Calcule os preços por região na página de preços dos Arquivos do Azure .

Escolher um esquema de identidade

Em seguida, você precisa decidir se deseja usar o Azure AD DS ou o AD DS local como um esquema de identidade. Você também precisa decidir se aplicará uma permissão de nível de compartilhamento padrão. Para obter mais informações, consulte Visão geral das opções de autenticação baseada em identidade dos Arquivos do Azure para acesso ao SMB.

Um padrão comum com o HPC Pack é que uma organização não deseja sincronizar o Active Directory com a nuvem. Se esse for o caso, e você não puder sincronizar sua instância do AD DS local com o Azure AD, use permissões de nível de compartilhamento padrão para definir o nível de acesso padrão para todas as identidades autenticadas, independentemente de seu status de sincronização. Em seguida, você pode usar ACLs do Windows para a imposição de permissões granulares em seus arquivos e diretórios.

Configurar arquivos do Azure para HPC Pack

1. Criar e configurar compartilhamentos de arquivos do Azure:

   1. Crie uma conta de armazenamento. Para criar uma conta de armazenamento do FileStorage, verifique se a opção de Desempenho está definida como Premium e Fileshares está selecionada na lista suspensa tipo de conta Premium. O nome da conta de armazenamento deve ter 15 caracteres ou menos.
   2. Crie um compartilhamento de arquivos com o tamanho que atenda às suas necessidades de desempenho. conforme indicado no cálculo anterior.
   3. HabilitarMulticanais SMB. Você aprenderá sobre os benefícios do SMB Multichannel posteriormente neste artigo.
   4. Configure a identidade habilitando a autenticação do Azure AD DS nos Arquivos do Azure ou habilitando a autenticação do AD DS para Arquivos do Azure na conta de armazenamento.
   5. Definir uma permissão de nível de compartilhamento padrão.
   6. Montar o compartilhamento de arquivos do Azure usando a chave da conta de armazenamento.
   7. configurarde ACLs do Windows.

2. Configure e use compartilhamentos de arquivos do HPC Pack. Para obter uma lista de compartilhamentos de arquivos do HPC Pack padrão, consulte Criar um cluster HPC Pack de alta disponibilidade no Azure. Observe que os compartilhamentos padrão são necessários apenas para determinados cenários de usuário. Para mover os compartilhamentos padrão para compartilhamentos de arquivos do Azure, siga estas etapas:

   1. Crie compartilhamentos de arquivos do Azure e configure as permissões NTFS de acordo com o compartilhamento de arquivos original (por exemplo, compartilhamento de runtime soa).
   2. Altere a configuração de cluster relacionada (por exemplo, cluscfg setenvs CCP_SERVICEREGISTRATION_PATH=\\<AzureFiles>\HpcServiceRegistration).

Alto desempenho com arquivos do Azure

SMB Multichannel

Os Arquivos do Azure dão suporte ao SMB Multichannel em compartilhamentos de arquivos premium (compartilhamentos de arquivos no FileStorage tipo de conta de armazenamento). Não há custo adicional para habilitar o SMB Multichannel nos Arquivos do Azure. O SMB Multichannel é desabilitado por padrão no recurso FileStorage .

O desempenho máximo de um único cliente de VM ainda está associado aos limites da VM. Por exemplo, Standard_D32s_v3 pode dar suporte a uma largura de banda máxima de 16.000 MBps (ou 2 GBps). A saída da VM (gravações no armazenamento) é limitada, mas a entrada (leituras do armazenamento) não é. O desempenho do compartilhamento de arquivos está sujeito a limites de rede do computador, CPUs, armazenamento interno disponível, largura de banda de rede, tamanhos de E/S, paralelismo e outros fatores. Para obter mais informações, consulte de desempenho multicanal SMB .

Desempenho típico do HPC Pack

O uso típico do HPC Pack é vários arquivos grandes sendo lidos e gravados em (60% de leitura e 40% de gravação, em média) com tamanhos de bloco grandes, armazenados em Arquivos do Azure. Esse tipo de uso deve experimentar o melhor desempenho de acordo com as expectativas de E/S e taxa de transferência publicadas, com base em configurações de identidade.

O uso atípico pode ser de milhões de arquivos pequenos e tamanhos de blocos pequenos. Nesses casos, as organizações precisam testar outras configurações para avaliar o desempenho ideal.

Medir o desempenho

Para testar o desempenho, você pode usar DiskSpd.exe. É uma ferramenta configurável que emula várias cargas de trabalho e mede latência, E/S de leitura e gravação, latência e taxa de transferência.

Otimizar e solucionar problemas de desempenho

Aqui estão alguns recursos e dicas:

• Otimizando de desempenho
• Solucionar problemas de desempenho do compartilhamento de arquivos do Azure
• Indicações de desempenho de armazenamento ruim em um ambiente do HPC Pack:
  • Tempos de inicialização longos para nós que aceitam tarefas e iniciam cálculos.
  • Os contadores de desempenho do Windows (Avg. Disk sec/Read, Avg. Disk sec/Transfer, Avg. Disk sec/Write e especialmente Avg Disk Queue Lengths) mostram valores altos ou limitados em nós de computação.
  • Latência em locais de saída. Em alguns cálculos, o local de saída designado RUNTIME$ Compartilhamento ou outros compartilhamentos SMB podem indicar saturação.
• Solução de problemas do cliente SMB avançado