Pré-requisitos para o Azure HPC Cache

Artigo
03/25/2023

Antes de criar um novo Azure HPC Cache, verifique se o seu ambiente atende a esses requisitos.

Assinatura do Azure

Uma assinatura paga é recomendada.

Infraestrutura da rede

Esses pré-requisitos relacionados à rede devem ser configurados para que você possa usar o cache:

Uma sub-rede dedicada à instância do Azure HPC Cache
Suporte à DNS para possibilitar que o cache acesse o armazenamento e outros recursos
Acesso da sub-rede a serviços adicionais de infraestrutura do Microsoft Azure, incluindo servidores NTP e o serviço de Armazenamento de Filas do Azure.

Sub-rede de cache

O Azure HPC Cache precisa de uma sub-rede dedicada com as seguintes características:

Ter, no mínimo, 64 endereços IP disponíveis.
A comunicação dentro da sub-rede precisa ser irrestrita. Se você usar um grupo de segurança de rede para a sub-rede de cache, verifique se ele permite todos os serviços entre endereços IP internos.
E não pode hospedar nenhuma outra VM, mesmo para serviços relacionados, como máquinas clientes.
Se forem utilizadas várias instâncias de cache do Azure HPC Cache, cada uma precisará de sua própria sub-rede.

O recomendado é criar uma nova sub-rede para cada cache. É possível criar uma nova rede virtual e uma sub-rede como parte da criação do cache.

Ao criar essa sub-rede, tenha cuidado para que suas configurações de segurança permitam acesso aos serviços de infraestrutura necessários mencionados mais adiante nesta seção. Você pode restringir a conectividade de saída da Internet, mas verifique se há exceções para os itens documentados aqui.

Acesso DNS

O cache precisa do DNS para acessar recursos fora de sua rede virtual. Dependendo de quais recursos você está usando, talvez seja necessário configurar um servidor DNS personalizado e configurar o encaminhamento entre esse servidor e os servidores DNS do Azure:

Para acessar os pontos de extremidade do armazenamento de Blobs do Azure, e outros recursos internos, você precisa do servidor DNS baseado no Azure.
Para acessar o armazenamento local, você precisa configurar um servidor DNS personalizado que possa resolver seus nomes de host de armazenamento. Você precisa fazer isso antes de criar o cache.

Se você usar apenas o armazenamento de Blobs, poderá usar o servidor DNS padrão fornecido pelo Azure para seu cache. No entanto, se precisar de acesso a armazenamento ou outros recursos fora do Azure, você deverá criar um servidor DNS personalizado e configurá-lo para encaminhar as solicitações de resolução específicas do Azure para o servidor DNS do Azure.

Para usar um servidor DNS personalizado, você precisa executar estas etapas de instalação antes de criar o cache:

Crie a rede virtual que hospedará o Azure HPC Cache.
Crie o servidor DNS.
Acrescente o servidor DNS à rede virtual do cache.

Siga estas etapas para adicionar o servidor DNS à rede virtual no portal do Azure:
1. Abra a rede virtual no portal do Azure.
2. Escolha os servidores DNS no menu Configurações na barra lateral.
3. Selecionar Personalizado
4. Insira o endereço IP do servidor DNS no campo correspondente.

Um servidor DNS simples também pode ser usado para balancear a carga de conexões de cliente entre todos os pontos de montagem de cache disponíveis.

Saiba mais sobre as configurações de servidor DNS e redes virtuais do Azure em Resolução de nomes para recursos em redes virtuais do Azure.

Acesso a NTP

O HPC Cache precisa de acesso a um servidor NTP para operação regular. Se você restringir o tráfego de saída de suas redes virtuais, certifique-se de permitir o tráfego para pelo menos um servidor NTP. O servidor padrão é time.windows.com e o cache faz contato com esse servidor na porta UDP 123.

Crie uma regra no grupo de segurança de rede da rede de cache que permita o tráfego de saída para o servidor NTP. A regra pode simplesmente permitir todo o tráfego de saída na porta UDP 123 ou ter mais restrições.

Este exemplo abre explicitamente o tráfego de saída para o endereço IP 168.61.215.74, que é o endereço usado pelo time.windows.com.

Prioridade	Nome	Porta	Protocolo	Origem	Destino	Ação
200	NTP	Algum	UDP	Algum	168.61.215.74	Permitir

Certifique-se de que a regra NTP tenha uma prioridade mais alta do que as regras que negam amplamente o acesso de saída.

Mais dicas para o acesso de NTP:

Se você tiver firewalls entre o HPC Cache e o servidor NTP, certifique-se de que esses firewalls também permitam o acesso NTP.
Você pode configurar qual servidor NTP seu HPC Cache usa na página Rede. Leia Definir configurações adicionais para obter mais informações.

Acesso ao Armazenamento de Filas do Azure

O cache deve acessar com segurança o serviço de Armazenamento de Filas do Azure de dentro de sua sub-rede dedicada. O Azure HPC Cache usa o serviço de filas ao comunicar informações de configuração e estado.

Se o cache não acessar o serviço de fila, você poderá ver uma mensagem CacheConnectivityError ao criar o cache.

Há duas maneiras de fornecer acesso:

Crie um ponto de extremidade de serviço do Armazenamento do Microsoft Azure em sua sub-rede de cache. Leia Adicionar uma sub-rede de rede virtual para obter instruções para adicionar o ponto de extremidade de serviço Microsoft.Storage.
Configure individualmente o acesso ao domínio do serviço de fila de armazenamento do Azure em seu grupo de segurança de rede ou em outros firewalls.

Adicione regras para permitir o acesso nessas portas:
- A porta TCP 443 para proteger o tráfego para qualquer host no domínio queue.core.windows.net (*.queue.core.windows.net).
- Porta TCP 80 – usada para verificação do certificado do lado do servidor. Às vezes, isso é chamado de verificação CRL (lista de certificados revogados) e comunicações do protocolo OCSP. Todo o *.queue.core.windows.net usa o mesmo certificado e, portanto, os mesmos servidores CRL/OCSP. O nome do host é armazenado no certificado SSL do lado do servidor.
Consulte as dicas de regra de segurança no Acesso de NTP para obter mais informações.

Este comando lista os servidores CRL e OSCP que precisam ter acesso permitido. Esses servidores devem ser resolvidos pelo DNS e acessíveis na porta 80 da sub-rede do cache.
```
openssl s_client -connect azure.queue.core.windows.net:443 2>&1 < /dev/null | sed -n '/-----BEGIN/,/-----END/p' | openssl x509 -noout -text -in /dev/stdin |egrep -i crl\|ocsp|grep URI
```
A saída é semelhante a esta e poderá ser alterada se o certificado SSL for atualizado:
```
OCSP - URI:http://ocsp.msocsp.com
CRL - URI:http://mscrl.microsoft.com/pki/mscorp/crl/Microsoft%20RSA%20TLS%20CA%2002.crl
CRL - URI:http://crl.microsoft.com/pki/mscorp/crl/Microsoft%20RSA%20TLS%20CA%2002.crl
```

É possível verificar a conectividade da sub-rede usando este comando de uma VM de teste dentro da sub-rede:

openssl s_client -connect azure.queue.core.windows.net:443 -status 2>&1 < /dev/null |grep "OCSP Response Status"

Uma conexão bem-sucedida fornece esta resposta:

OCSP Response Status: successful (0x0)

Acesso ao servidor do evento

O Azure HPC Cache usa pontos de extremidade do servidor de eventos do Azure para monitorar a integridade do cache e enviar informações de diagnóstico.

Verifique se o cache pode acessar com segurança os hosts no domínio events.data.microsoft.com, ou seja, abra a porta TCP 443 para o tráfego *.events.data.microsoft.com.

Permissões

Verifique esses pré-requisitos relacionados à permissão antes de começar a criar seu cache.

A instância de cache precisa ser capaz de criar NICs (interfaces de rede virtual). O usuário que cria o cache deve ter privilégios suficientes na assinatura para criar NICs.
Se estiver usando o armazenamento de Blobs, o cache HPC precisará de autorização para acessar a conta de armazenamento. Use o Azure RBAC (controle de acesso baseado em função) para fornecer ao cache acesso ao seu armazenamento de Blobs. São necessárias duas funções: colaborador da conta de armazenamento e colaborador de dados de blob de armazenamento.

Siga as instruções em Adicionar destinos de armazenamento para adicionar essas funções.

Infraestrutura de armazenamento

O cache é compatível com contêineres de Blob do Azure, exportações de armazenamento de hardware NFS e contêineres de Blob ADLS montados em NFS. Adicione destinos de armazenamento depois de criar o cache.

Cada tipo de armazenamento tem pré-requisitos específicos.

Requisitos de armazenamento de Blobs

Se você quiser usar o armazenamento de Blobs do Azure com o cache, precisará de uma conta de armazenamento compatível e de um contêiner de Blobs vazio, ou de um contêiner que preenchido com os dados formatados do Azure HPC Cache, conforme descrito em Mover dados para o armazenamento de Blobs do Azure.

Observação

Requisitos diferentes se aplicam ao armazenamento de Blobs montado em NFS. Leia Requisitos de armazenamento ADLS-NFS para ler mais detalhes.

Crie a conta antes de tentar adicionar um destino de armazenamento. Você pode criar um novo contêiner ao adicionar o destino.

Para criar uma conta de armazenamento compatível, use uma destas combinações:

Desempenho	Tipo	Replicação	Camada de acesso
Standard	StorageV2 (v2 de uso geral)	LRS (armazenamento com redundância local) ou ZRS (armazenamento com redundância de zona)	Frequente
Premium	Blobs de bloco	LRS (armazenamento com redundância local)	Frequente

A conta de armazenamento precisa ser acessível da sub-rede privada do seu cache. Se a sua conta usar um ponto de extremidade privado ou um ponto de extremidade público restrito a redes virtuais específicas, será necessário habilitar o acesso da sub-rede do cache. (Um ponto de extremidade público aberto não é recomendado.)

Leia Trabalhar com pontos de extremidade privados para ver dicas sobre como usar pontos de extremidade privados com destinos de armazenamento do HPC Cache.

Recomendamos usar uma conta de armazenamento na mesma região do Azure que o cache.

Você também deve conceder ao aplicativo de cache acesso à sua conta de armazenamento do Azure, conforme mencionado acima em Permissões. Siga o procedimento em Adicionar destinos de armazenamento para fornecer ao cache as funções de acesso necessárias. Se você não for o proprietário da conta de armazenamento, faça com que o proprietário execute esta etapa.

Requisitos de armazenamento NFS

Se estiver usando um sistema de armazenamento NFS (por exemplo, um sistema NAS de hardware local), verifique se ele atende a esses requisitos. Talvez seja necessário trabalhar com os administradores de rede ou os gerenciadores de firewall do seu sistema de armazenamento (ou data center) para verificar essas configurações.

Observação

A criação do destino de armazenamento falhará se o cache tiver acesso insuficiente ao sistema de armazenamento NFS.

Obtenha mais informações em Solucionar problemas de configuração do NAS e destino de armazenamento NFS.

Conectividade de rede: o Azure HPC Cache precisa de acesso à rede de alta largura de banda entre a sub-rede de cache e o data center do sistema NFS. O ExpressRoute ou acesso semelhante é recomendado. Se estiver usando uma VPN, talvez seja necessário configurá-la para fixar TCP MSS em 1350 para garantir que os pacotes grandes não sejam bloqueados. Leia Restrições de tamanho do pacote da VPN para obter mais ajuda solucionando problemas de configurações da VPN.
Acesso à porta: o cache precisa de acesso a portas TCP/UDP específicas no sistema de armazenamento. Tipos diferentes de armazenamento têm requisitos de porta diferentes.

Para verificar as configurações do seu sistema, siga este procedimento.
- Emita um comando rpcinfo ao sistema de armazenamento para verificar as portas necessárias. O comando a seguir lista as portas e formata os resultados relevantes em uma tabela. (Use o endereço IP do seu sistema no lugar do termo <storage_IP>).
  
  É possível emitir esse comando de qualquer cliente Linux que tenha a infraestrutura de NFS instalada. Ao usar um cliente dentro da sub-rede do cluster, ele também poderá ajudar a verificar a conectividade entre a sub-rede e o sistema de armazenamento.
```
rpcinfo -p <storage_IP> |egrep "100000\s+4\s+tcp|100005\s+3\s+tcp|100003\s+3\s+tcp|100024\s+1\s+tcp|100021\s+4\s+tcp"| awk '{print $4 "/" $3 " " $5}'|column -t
```
Verifique se todas as portas retornadas pela consulta rpcinfo permitem o tráfego irrestrito da sub-rede do Azure HPC Cache.
- Se você não puder usar o comando rpcinfo, verifique se essas portas comumente usadas permitem o tráfego de entrada e de saída:
  
  Protocolo Porta Serviço
  
  TCP/UDP 111 rpcbind
  
  TCP/UDP 2049 NFS
  
  TCP/UDP 4045 nlockmgr
  
  TCP/UDP 4046 mountd
  
  TCP/UDP 4047 status
  
  Alguns sistemas usam números de porta diferentes para esses serviços – consulte a documentação do seu sistema de armazenamento para ter certeza.
- Verifique as configurações de firewall para garantir que elas permitam o tráfego em todas as portas necessárias. Não esqueça de verificar os firewalls usados no Azure, bem como firewalls locais no seu data center.
O armazenamento de back-end NFS deve ser uma plataforma de hardware/software compatível. O armazenamento deve dar suporte ao NFS Versão 3 (NFSv3). Contate a equipe do Azure HPC Cache para obter detalhes.

Protocolo	Porta	Serviço
TCP/UDP	111	rpcbind
TCP/UDP	2049	NFS
TCP/UDP	4045	nlockmgr
TCP/UDP	4046	mountd
TCP/UDP	4047	status

Requisitos de armazenamento de Blobs (ADLS-NFS) montados em NFS

O Azure HPC Cache também pode usar um contêiner de Blob montado com o protocolo NFS como um destino de armazenamento.

Leia mais sobre esse recurso em Suporte ao protocolo NFS 3.0 no armazenamento de Blobs do Azure.

Os requisitos da conta de armazenamento são diferentes para um destino de armazenamento de Blobs ADLS-NFS e para um destino de armazenamento de Blobs padrão. Siga as instruções em Montar o armazenamento de Blobs usando o protocolo NFS 3.0 com cuidado para criar e configurar a conta de armazenamento habilitada para NFS.

Esta é uma visão geral das etapas. Essas etapas podem ser alteradas, portanto, sempre consulte as instruções do ADLS-NFS para obter os detalhes mais atuais.

Verifique se os recursos necessários estão disponíveis nas regiões em que você planeja trabalhar.
Habilite o recurso de protocolo NFS para sua assinatura. Faça isso antes de criar a conta de armazenamento.
Crie uma VNet (rede virtual) segura para a conta de armazenamento. Você deve usar a mesma rede virtual para a conta de armazenamento habilitada para NFS e para o Azure HPC Cache. (Não use a mesma sub-rede que o cache.)
Crie a conta de armazenamento.
- Em vez de usar as configurações da conta de armazenamento para uma conta de armazenamento de Blobs padrão, siga as orientações no documento de instruções. O tipo de conta de armazenamento com suporte pode variar por região do Azure.
- Na seção Rede, escolha um ponto de extremidade privado na rede virtual segura que você criou (recomendado) ou escolha um ponto de extremidade público com acesso restrito da VNet segura.
  
  Leia Trabalhar com pontos de extremidade privados para ver dicas sobre como usar pontos de extremidade privados com destinos de armazenamento do HPC Cache.
- Não se esqueça de concluir a seção Avançada, onde você habilita o acesso ao NFS.
- Conceda ao aplicativo de cache acesso à conta de armazenamento do Azure, conforme mencionado acima em Permissões acima. Você pode fazer isso na primeira vez em que criar um destino de armazenamento. Siga o procedimento em Adicionar destinos de armazenamento para fornecer ao cache as funções de acesso necessárias.
  
  Se você não for o proprietário da conta de armazenamento, faça com que o proprietário execute esta etapa.

Saiba mais sobre como usar destinos de armazenamento ADLS-NFS com o Azure HPC Cache em Usar armazenamento de blobs montado em NFS com o Azure HPC Cache.

Trabalhar com pontos de extremidade privados

O Armazenamento do Microsoft Azure dá suporte a pontos de extremidade privados a fim de permitir acesso seguro a dados. Você pode usar pontos de extremidade privados com destinos de armazenamento de blobs montados no Blob do Azure ou NFS.

Saiba mais sobre os pontos de extremidade privados

Um ponto de extremidade privado fornece um endereço IP específico que o HPC Cache usa para se comunicar com seu sistema de armazenamento de back-end. Se esse endereço IP mudar, o cache não poderá restabelecer automaticamente uma conexão com o armazenamento.

Se você precisar alterar a configuração de um ponto de extremidade privado, siga este procedimento para evitar problemas de comunicação entre o armazenamento e o HPC Cache:

Suspenda o destino de armazenamento (ou todos os destinos de armazenamento que usam esse ponto de extremidade privado).
Faça alterações no ponto de extremidade privado e salve essas alterações.
Coloque o destino de armazenamento de volta no serviço com o comando "retomar".
Atualize a configuração de DNS do destino de armazenamento.

Leia Exibir e gerenciar destinos de armazenamento para saber como suspender, retomar e atualizar o DNS para destinos de armazenamento.

Configurar o acesso de CLI do Azure (opcional)

Se você quiser criar ou gerenciar o Azure HPC Cache na CLI do Azure, instale a CLI do Azure e a extensão hpc-cache. Siga as instruções em Configurar a CLI do Azure para o Azure HPC Cache.

Próximas etapas

Crie um Azure HPC Cache no portal do Azure

Compartilhar via