Pré-requisitos do sistema de arquivos do Azure Managed Lustre
Este artigo explica os pré-requisitos que você deve configurar antes de criar um sistema de arquivos do Azure Managed Lustre.
- Pré-requisitos de rede
- Pré-requisitos de integração de Blob (opcional)
Pré-requisitos de rede
Os sistemas de ficheiros Azure Managed Lustre existem numa sub-rede de rede virtual. A sub-rede contém o Lustre Management Service (MGS) e lida com todas as interações do cliente com o cluster virtual do Lustre.
Não é possível mover um sistema de arquivos de uma rede ou sub-rede para outra depois de criar o sistema de arquivos.
O Azure Managed Lustre aceita apenas endereços IPv4. O IPv6 não é suportado.
Requisitos de tamanho de rede
O tamanho da sub-rede que você precisa depende do tamanho do sistema de arquivos criado. A tabela a seguir fornece uma estimativa aproximada do tamanho mínimo da sub-rede para sistemas de arquivos do Azure Managed Lustre de tamanhos diferentes.
| Capacidade de armazenamento | Valor de prefixo CIDR recomendado |
|---|---|
| 4 TiB a 16 TiB | /27 ou maior |
| 20 TiB a 40 TiB | /26 ou maiores |
| 44 TiB a 92 TiB | /25 ou maior |
| 96 TiB a 196 TiB | /24 ou maior |
| 200 TiB a 400 TiB | /23 ou maior |
Outras considerações sobre o tamanho da rede
Ao planejar sua rede virtual e sub-rede, leve em consideração os requisitos para quaisquer outros serviços que você deseja localizar na sub-rede ou rede virtual do Azure Managed Lustre.
Se estiver a utilizar um cluster do Serviço Kubernetes do Azure (AKS) com o seu sistema de ficheiros Azure Managed Lustre, pode localizar o cluster AKS na mesma sub-rede que o sistema de ficheiros. Nesse caso, você deve fornecer endereços IP suficientes para os nós e pods AKS, além do espaço de endereço para o sistema de arquivos Lustre. Se você usar mais de um cluster AKS na rede virtual, verifique se a rede virtual tem capacidade suficiente para todos os recursos em todos os clusters. Para saber mais sobre estratégias de rede para o Azure Managed Lustre e o AKS, consulte Acesso à sub-rede AKS.
Se você planeja usar outro recurso para hospedar suas VMs de computação na mesma rede virtual, verifique os requisitos para esse processo antes de criar a rede virtual e a sub-rede para seu sistema Azure Managed Lustre. Ao planejar vários clusters dentro da mesma sub-rede, é necessário usar um espaço de endereçamento grande o suficiente para acomodar os requisitos totais de todos os clusters.
Acesso e permissões de sub-rede
Por padrão, nenhuma alteração específica precisa ser feita para habilitar o Azure Managed Lustre. Se o seu ambiente incluir políticas de rede ou segurança restritas, as seguintes orientações devem ser consideradas:
| Tipo de acesso | Configurações de rede necessárias |
|---|---|
| Acesso DNS | Use o servidor DNS padrão baseado no Azure. |
| Acesso entre hosts na sub-rede do Azure Managed Lustre | Permitir acesso de entrada e saída entre hosts na sub-rede do Azure Managed Lustre. Por exemplo, o acesso à porta TCP 22 (SSH) é necessário para a implantação do cluster. |
| Acesso ao serviço de nuvem do Azure | Configure seu grupo de segurança de rede para permitir que o sistema de arquivos Azure Managed Lustre acesse os serviços de nuvem do Azure de dentro da sub-rede do Azure Managed Lustre. Adicione uma regra de segurança de saída com as seguintes propriedades: - Porto: Qualquer - Protocolo: Qualquer - Fonte: Rede Virtual - Destino: tag de serviço "AzureCloud" - Ação: Permitir Observação: a configuração do serviço de nuvem do Azure também habilita a configuração necessária do serviço de Fila do Azure. Para obter mais informações, consulte Marcas de serviço de rede virtual. |
| Acesso Lustre (Portas TCP 988, 1019-1023) |
O grupo de segurança de rede deve permitir o tráfego de entrada e saída para a porta TCP 988 e o intervalo de portas TCP 1019-1023. Essas regras precisam ser permitidas entre hosts na sub-rede do Azure Managed Lustre, bem como entre quaisquer sub-redes de cliente e a sub-rede do Azure Managed Lustre. Nenhum outro serviço pode reservar ou usar essas portas em seus clientes Lustre. As regras 65000 AllowVnetInBound padrão e 65000 AllowVnetOutBound atender a este requisito. |
Para obter orientações detalhadas sobre como configurar um grupo de segurança de rede para sistemas de arquivos do Azure Managed Lustre, consulte Criar e configurar um grupo de segurança de rede.
Limitações conhecidas
As seguintes limitações conhecidas aplicam-se às configurações de rede virtual para sistemas de arquivos do Azure Managed Lustre:
- Os recursos do Azure Managed Lustre e do Azure NetApp Files não podem compartilhar uma sub-rede. Se você usar o serviço Azure NetApp Files, deverá criar seu sistema de arquivos Azure Managed Lustre em uma sub-rede separada. A implantação falhará se você tentar criar um sistema de arquivos do Azure Managed Lustre em uma sub-rede que contenha ou tenha contido recursos do Azure NetApp Files.
- Se você usar o daemon em seus clientes para manter informações de vinculação do NIS (Serviços de Informações de Rede), deverá garantir que
ypbindnão reserve aypbindporta 988. Você pode ajustar manualmente as portas reservadasypbindou garantir que a infraestrutura de inicialização do sistema inicie a montagem do cliente Lustre antes de iniciar oypbind.
Nota
Depois de criar seu sistema de arquivos do Azure Managed Lustre, várias novas interfaces de rede aparecem no grupo de recursos do sistema de arquivos. Seus nomes começam com amlfs- e terminam com -snic. Não altere nenhuma configuração nessas interfaces. Especificamente, deixe o valor padrão, habilitado, para a configuração de rede acelerada. A desativação da rede acelerada nessas interfaces de rede degrada o desempenho do sistema de arquivos.
Pré-requisitos de integração de Blob (opcional)
Se você planeja integrar seu sistema de arquivos do Azure Managed Lustre ao Armazenamento de Blobs do Azure, preencha os seguintes pré-requisitos antes de criar seu sistema de arquivos.
Para saber mais sobre a integração de blob, consulte Usar o armazenamento de Blob do Azure com um sistema de arquivos Azure Managed Lustre.
O Azure Managed Lustre funciona com contas de armazenamento que têm namespace hierárquico habilitado e contas de armazenamento com um namespace não hierárquico ou simples. Aplicam-se as seguintes pequenas diferenças:
- Para uma conta de armazenamento com namespace hierárquico habilitado, o Azure Managed Lustre lê atributos POSIX do cabeçalho blob.
- Para uma conta de armazenamento que não tem namespace hierárquico habilitado, o Azure Managed Lustre lê atributos POSIX dos metadados de blob. Um arquivo separado e vazio com o mesmo nome do conteúdo do contêiner de blob é criado para armazenar os metadados. Esse arquivo é irmão do diretório de dados real no sistema de arquivos do Azure Managed Lustre.
Para integrar o Armazenamento de Blobs do Azure ao seu sistema de arquivos do Azure Managed Lustre, você deve criar ou configurar os seguintes recursos antes de criar o sistema de arquivos:
Conta de armazenamento
Você deve criar uma conta de armazenamento ou usar uma existente. A conta de armazenamento deve ter as seguintes configurações:
- Tipo de conta - Um tipo de conta de armazenamento compatível. Para saber mais, consulte Tipos de conta de armazenamento suportados.
- Funções de acesso - Atribuições de função que permitem que o sistema Azure Managed Lustre modifique dados. Para saber mais, consulte Funções de acesso necessárias.
- Chaves de acesso - A conta de armazenamento deve ter a configuração de acesso à chave da conta de armazenamento definida como Habilitado.
Tipos de conta de armazenamento suportados
Os seguintes tipos de conta de armazenamento podem ser usados com os sistemas de arquivos do Azure Managed Lustre:
| Storage account type | Redundância |
|---|---|
| Standard | Armazenamento com redundância local (LRS), armazenamento com redundância geográfica (GRS) Armazenamento com redundância de zona (ZRS), armazenamento com redundância geográfica de acesso de leitura (RAGRS), armazenamento com redundância de zona geográfica (GZRS), armazenamento com redundância de zona geográfica de acesso de leitura (RA-GZRS) |
| Premium - Blobs de bloco | LRS, ZRS |
Para obter mais informações sobre tipos de conta de armazenamento, consulte Tipos de contas de armazenamento.
Funções de acesso para integração de blob
O Azure Managed Lustre precisa de autorização para aceder à sua conta de armazenamento. Use o controle de acesso baseado em função do Azure (Azure RBAC) para dar ao sistema de arquivos acesso ao seu armazenamento de blobs.
O proprietário de uma conta de armazenamento deve adicionar estas funções antes de criar o sistema de arquivos:
Importante
Você deve adicionar essas funções antes de criar seu sistema de arquivos do Azure Managed Lustre. Se o sistema de arquivos não puder acessar seu contêiner de blob, a criação do sistema de arquivos falhará. A validação executada antes da criação do sistema de arquivos não pode detetar problemas de permissão de acesso ao contêiner. Pode levar até cinco minutos para que as configurações de função se propaguem pelo ambiente do Azure.
Para adicionar as funções para o provedor de recursos de cache HPC da entidade de serviço, execute estas etapas:
- Navegue pela sua conta de armazenamento e selecione Controle de acesso (IAM) no painel de navegação esquerdo.
- Selecione Adicionar>atribuição de função para abrir a página Adicionar atribuição de função.
- Atribua a função.
- Adicione o Provedor de Recursos de Cache HPC a essa função.
Gorjeta
Se não conseguir encontrar o HPC Cache Resource Provider, procure storagecache . storagecache Resource Provider era o nome principal do serviço antes da disponibilidade geral do produto.
- Repita as etapas 3 e 4 para adicionar cada função.
Para obter os passos detalhados, veja o artigo Atribuir funções do Azure com o portal do Azure.
Contentores de blobs
Você deve ter dois contêineres de blob separados na mesma conta de armazenamento, que são usados para as seguintes finalidades:
- Contêiner de dados: um contêiner de blob na conta de armazenamento que contém os arquivos que você deseja usar no sistema de arquivos do Azure Managed Lustre.
- Contêiner de registro: um segundo contêiner para logs de importação/exportação na conta de armazenamento. Você deve armazenar os logs em um contêiner diferente do contêiner de dados.
Nota
Você pode adicionar arquivos ao sistema de arquivos posteriormente a partir de clientes. No entanto, os arquivos adicionados ao contêiner de blob original depois de criar o sistema de arquivos não serão importados para o sistema de arquivos do Azure Managed Lustre, a menos que você crie um trabalho de importação.
Pontos finais privados (opcional)
Se você estiver usando um ponto de extremidade privado com sua configuração de blob, para garantir que o Azure Managed Lustre possa resolver o nome da SA, deverá habilitar a configuração de ponto de extremidade privado Integrar com a Zona DNS privada durante a criação de um novo ponto de extremidade.
- Integração com zona DNS privada: Deve ser definido como Sim.
