Partilhar via

O que é o Azure Managed Lustre?

  • Artigo

O serviço Azure Managed Lustre oferece a capacidade de criar rapidamente um sistema de arquivos Lustre baseado no Azure para trabalhos de computação de alto desempenho baseados em nuvem.

O Lustre é um sistema de arquivos paralelo de código aberto que pode ser dimensionado para grandes tamanhos de armazenamento e, ao mesmo tempo, fornecer uma taxa de transferência de alto desempenho. O Lustre é usado pelos supercomputadores mais rápidos do mundo e em fluxos de trabalho centrados em dados para muitos tipos de indústrias. Para obter mais informações, veja https://www.lustre.org.

O Azure Managed Lustre poupa-lhe o trabalho de provisionamento, configuração e gestão do seu próprio sistema de ficheiros Lustre. Usando um comando Create no portal do Azure, você pode implantar rapidamente um sistema de arquivos Lustre no tamanho necessário, conectar seus clientes e estar pronto para usar o sistema.

O Armazenamento de Blobs do Microsoft Azure é integrado ao Azure Managed Lustre, que permite especificar arquivos a serem importados de um contêiner de blob para uso do sistema de arquivos. Quando os trabalhos de computação de alto desempenho estiverem concluídos, você poderá exportar dados alterados para o Armazenamento de Blobs do Azure e excluir o sistema Azure Managed Lustre. Para obter mais informações, consulte Integração do Armazenamento de Blobs do Azure, mais adiante neste artigo.

Você também pode usar seu sistema de arquivos do Azure Managed Lustre com seus contêineres do Serviço Kubernetes do Azure (AKS). Para obter mais informações, consulte Usar o Azure Managed Lustre com o Kubernetes.

Segurança de dados no Azure Managed Lustre

Todos os dados armazenados no Azure são criptografados em repouso usando chaves gerenciadas do Azure por padrão. Se você quiser gerenciar as chaves usadas para criptografar os dados armazenados em seu cluster do Azure Managed Lustre, siga as instruções em Criptografia do lado do servidor do armazenamento em disco do Azure.

Todas as informações em um sistema de arquivos do Azure Managed Lustre também são protegidas pela criptografia de host de VM nos discos gerenciados que armazenam seus dados, mesmo se você adicionar uma chave gerenciada pelo cliente para os discos do Lustre. Adicionar uma chave gerenciada pelo cliente oferece um nível extra de segurança para clientes com altas necessidades de segurança. Para obter mais informações, consulte Criptografia do lado do servidor do armazenamento em disco do Azure.

Nota

O Azure Managed Lustre não armazena dados do cliente fora da região na qual você implanta a instância de serviço.

Resiliência de dados no Azure Managed Lustre

Seu sistema de arquivos do Azure Managed Lustre usa discos gerenciados do Azure como discos de dados de destino de armazenamento de objetos (OST).

Todos os sistemas de ficheiros Azure Managed Lustre criados como um tipo de sistema de ficheiros "durável" utilizam discos SSD Premium do Azure (unidade de estado sólido) configurados como armazenamento localmente redundante (LRS). O conteúdo do disco LRS é replicado três vezes dentro do data center local para proteger contra falhas de rack de unidade e servidor.

O próprio sistema de arquivos Azure Managed Lustre também contribui para a resiliência de dados por meio dos processos de armazenamento de objetos que usa para armazenar dados nesses discos.

Se precisar de redundância de dados regional ou global, você pode integrar seu sistema de arquivos ao Armazenamento de Blobs do Azure. Uma vez integrado, você pode iniciar um trabalho de exportação para exportar arquivos para um contêiner de Armazenamento de Blobs do Azure com uma política de redundância diferente para armazenamento de longo prazo. Configure a redundância do Armazenamento de Blobs do Azure para a conta de armazenamento. Você pode escolher redundância de dados zonais (ZRS) ou redundância de dados globais (GRS) ao criar a conta de armazenamento. Para saber mais sobre as opções de redundância de dados para seus arquivos do Azure Managed Lustre, consulte Tipos de conta de armazenamento suportados.

Integração do Armazenamento de Blobs do Azure

O Armazenamento de Blobs do Microsoft Azure é integrado ao Azure Managed Lustre, que permite especificar arquivos a serem importados de um contêiner de blob para uso do sistema de arquivos. A integração do Armazenamento de Blobs do Azure é uma aplicação do HSM (gerenciamento de armazenamento hierárquico) do Lustre. Não há necessidade de importar todo o conjunto de dados para cada trabalho. Em vez disso, você pode criar um sistema de arquivos diferente para trabalhos diferentes e armazenar dados em contêineres de blob do Azure de baixo custo entre usos. Quando os trabalhos de computação de alto desempenho estiverem concluídos, você poderá exportar dados alterados para o Armazenamento de Blobs do Azure e excluir o sistema Azure Managed Lustre.

O Azure Managed Lustre é personalizado para funcionar perfeitamente com o Armazenamento de Blobs do Azure. Você pode especificar um contêiner de blob existente para tornar seus dados existentes acessíveis a partir do seu sistema de arquivos do Azure Managed Lustre ou especificar um contêiner vazio que você preenche com dados ou usa para armazenar sua saída. A configuração e a manutenção são feitas por si. Basta especificar qual contêiner de blob usar.

Se você integrar o Armazenamento de Blobs do Azure ao criar um sistema de arquivos do Lustre, poderá usar os recursos do Lustre HSM. Se você não quiser os benefícios do Lustre HSM, poderá importar e exportar dados para o sistema de arquivos do Azure Managed Lustre usando comandos de cliente diretamente.

Usar o Azure Managed Lustre com o Kubernetes

Se quiser usar um sistema de armazenamento do Azure Managed Lustre com seus contêineres do Kubernetes, você pode usar o driver da interface de suporte de contêiner (CSI) do Azure Lustre para Kubernetes, que é compatível com o Serviço Kubernetes do Azure (AKS). Outros tipos de instalação do Kubernetes não são suportados no momento.

O Kubernetes pode simplificar a configuração e a implantação de pontos de extremidade de cliente virtual para sua carga de trabalho do Azure Managed Lustre, automatizando tarefas de configuração, como:

  • Criando Conjuntos de Escala de Máquina Virtual do Azure usados pelo Serviço Kubernetes do Azure (AKS) para executar os pods.
  • Carregando o software cliente Lustre correto em instâncias de VM.
  • Especificar o ponto de montagem do Azure Managed Lustre e propagar essas informações para os pods do cliente.

O driver CSI do Azure Lustre para Kubernetes pode automatizar a instalação do software cliente e a montagem de unidades. O driver fornece um plug-in de controlador CSI como uma implantação com duas réplicas por padrão, e um plug-in de nó CSI, como um DaemonSet. Pode alterar o número de réplicas.

Para descobrir quais versões de driver usar, consulte Versões compatíveis do Kubernetes.

Próximos passos