Adicionar destinos de armazenamento

Os destinos de armazenamento são armazenamento back-end para arquivos acessados por meio de um Cache HPC do Azure. Você pode adicionar armazenamento NFS (como um sistema de hardware local) ou armazenar dados no Blob do Azure.

O cache apresenta todos os destinos de armazenamento em um namespace agregado. Os caminhos de namespace são configurados separadamente depois que você adiciona os destinos de armazenamento.

Lembre-se de que as exportações de armazenamento devem estar acessíveis a partir da rede virtual do cache. Para armazenamento de hardware local, talvez seja necessário configurar um servidor DNS que possa resolver nomes de host para acesso ao armazenamento NFS. Leia mais em Acesso DNS.

Adicione destinos de armazenamento depois de criar o cache. Siga este processo:

1. Criar a cache
2. Definir um destino de armazenamento (informações neste artigo)
3. Criar os caminhos voltados para o cliente (para o namespace agregado)

O procedimento para adicionar um destino de armazenamento é ligeiramente diferente, dependendo do tipo de armazenamento usado. Os detalhes de cada um estão abaixo.

Escolha o tipo de destino de armazenamento correto

Você pode selecionar entre três tipos de destino de armazenamento: NFS, Blob e ADLS-NFS. Escolha o tipo que corresponde ao tipo de sistema de armazenamento que você usará para armazenar seus arquivos durante este projeto de cache HPC.

• NFS - Crie um destino de armazenamento NFS para acessar dados em um sistema de armazenamento conectado à rede (NAS). Pode ser um sistema de armazenamento local ou outro tipo de armazenamento acessível com NFS.

  • Requisitos: Requisitos de armazenamento NFS
  • Instruções: Adicionar um novo destino de armazenamento NFS

• Blob - Use um destino de armazenamento de blob para armazenar seus arquivos de trabalho em um novo contêiner de Blob do Azure. Esse contêiner só pode ser lido ou gravado a partir do Cache HPC do Azure.

  • Pré-requisitos: Requisitos de armazenamento de Blob
  • Instruções: Adicionar um novo destino de armazenamento de Blob do Azure

• ADLS-NFS - O destino de armazenamento ADLS-NFS acessa dados de um contêiner de Blob habilitado para NFS. Você pode pré-carregar o contêiner usando comandos NFS padrão, e os arquivos podem ser lidos posteriormente com NFS.

  • Pré-requisitos: Requisitos de armazenamento ADLS-NFS
  • Instruções: Adicionar um novo destino de armazenamento ADLS-NFS

Adicionar um novo destino de armazenamento de Blob do Azure

Um novo destino de armazenamento de Blob precisa de um contêiner de Blob vazio ou um contêiner preenchido com dados no formato de sistema de arquivos em nuvem do Cache HPC do Azure. Leia mais sobre como pré-carregar um contêiner de Blob em Mover dados para o armazenamento de Blob do Azure.

A página Adicionar destino de armazenamento do portal do Azure inclui a opção de criar um novo contêiner de Blob antes de adicioná-lo.

Nota

• Para armazenamento de blob montado em NFS, use o tipo de destino de armazenamento ADLS-NFS.
• As configurações de cache de alta taxa de transferência não dão suporte a destinos de armazenamento de Blob do Azure padrão. Em vez disso, use o armazenamento de blob habilitado para NFS (ADLS-NFS).

Portal

No portal do Azure, abra sua instância de cache e clique em Destinos de armazenamento na barra lateral esquerda.

A página Destinos de armazenamento lista todos os destinos existentes e fornece um link para adicionar um novo.

Clique no botão Adicionar destino de armazenamento.

Para definir um contêiner de Blob do Azure, insira essas informações.

• Nome do destino de armazenamento - Defina um nome que identifique esse destino de armazenamento no Cache HPC do Azure.

• Tipo de destino - Escolha Blob.

• Conta de armazenamento - Selecione a conta que deseja usar.

  Você precisará autorizar a instância de cache para acessar a conta de armazenamento, conforme descrito em Adicionar as funções de acesso.

  Para obter informações sobre o tipo de conta de armazenamento que você pode usar, leia Requisitos de armazenamento de Blob.

• Contêiner de armazenamento - Selecione o contêiner de Blob para este destino ou clique em Criar novo.

  

Quando terminar, clique em OK para adicionar o destino de armazenamento.

Nota

Se o firewall da sua conta de armazenamento estiver configurado para restringir o acesso apenas a "redes selecionadas", use a solução temporária documentada em Contornar as configurações de firewall da conta de armazenamento de Blob.

Adicionar as funções de controle de acesso à sua conta

O Cache HPC do Azure usa o controle de acesso baseado em função do Azure (Azure RBAC) para autorizar o serviço de cache a acessar sua conta de armazenamento para destinos de armazenamento de Blob do Azure.

O proprietário da conta de armazenamento deve adicionar explicitamente as funções Colaborador da Conta de Armazenamento e Colaborador de Dados de Blob de Armazenamento para o usuário "Provedor de Recursos de Cache HPC".

Você pode fazer isso com antecedência ou clicando em um link na página do portal onde você adiciona um destino de armazenamento de Blob. Lembre-se de que pode levar até cinco minutos para que as configurações de função se propaguem pelo ambiente do Azure. Aguarde alguns minutos após adicionar as funções antes de criar um destino de armazenamento.

1. Controle de acesso aberto (IAM) para sua conta de armazenamento.

2. Selecione Adicionar>Adicionar atribuição de funções para abrir o painel Adicionar atribuição de funções.

3. Atribua as seguintes funções, uma de cada vez. Para obter os passos detalhados, veja o artigo Atribuir funções do Azure com o portal do Azure.

   Definição	Value
   Funções	Contribuidor de Conta de Armazenamento Contribuidor de Dados de Blobs de Armazenamento
   Atribuir acesso a	"Provedor de recursos de cache HPC" ou "Provedor de recursos StorageCache"

   

CLI do Azure

Pré-requisito: Acesso à conta de armazenamento

Configure a CLI do Azure para o Cache HPC do Azure.

Antes de adicionar um destino de armazenamento de blob, verifique se o cache tem as funções corretas para acessar a conta de armazenamento e se as configurações de firewall permitirão a criação do destino de armazenamento.

O Cache HPC do Azure usa o controle de acesso baseado em função do Azure (Azure RBAC) para autorizar o serviço de cache a acessar sua conta de armazenamento para destinos de armazenamento de Blob do Azure.

O proprietário da conta de armazenamento deve adicionar explicitamente as funções Colaborador da Conta de Armazenamento e Colaborador de Dados de Blob de Armazenamento para o usuário "Provedor de Recursos de Cache HPC".

A criação do destino de armazenamento falhará se o cache não tiver essas funções.

Pode levar até cinco minutos para que as configurações de função se propaguem pelo ambiente do Azure, portanto, você deve aguardar alguns minutos depois de adicionar as funções antes de criar um destino de armazenamento.

Leia Adicionar ou remover atribuições de função do Azure usando a CLI do Azure para obter instruções detalhadas.

Verifique também as configurações de firewall da sua conta de armazenamento. Se o firewall estiver definido para restringir o acesso apenas a "redes selecionadas", a criação do destino de armazenamento poderá falhar. Use a solução alternativa documentada em Configurações de firewall da conta de armazenamento de Blob.

Adicionar um destino de armazenamento de blob com a CLI do Azure

Use a interface az hpc-cache blob-storage-target add para definir um destino de armazenamento de Blob do Azure.

Nota

Atualmente, os comandos da CLI do Azure exigem que você crie um caminho de namespace ao adicionar um destino de armazenamento. Isso é diferente do processo usado com a interface do portal do Azure.

Além do grupo de recursos padrão e dos parâmetros de nome de cache, você deve fornecer estas opções para o destino de armazenamento:

• --name - Defina um nome que identifique esse destino de armazenamento no Cache HPC do Azure.

• --storage-account- O identificador da conta, neste formato: /subscriptions/<subscription_id>/resourceGroups/<storage_resource_group>/providers/Microsoft.Storage/storageAccounts/account_name<>

  Para obter informações sobre o tipo de conta de armazenamento que você pode usar, leia Requisitos de armazenamento de Blob.

• --container-name - Especifique o nome do contêiner a ser usado para este destino de armazenamento.

• --virtual-namespace-path - Defina o caminho do arquivo voltado para o cliente para esse destino de armazenamento. Coloque caminhos entre aspas. Leia Planejar o namespace agregado para saber mais sobre o recurso de namespace virtual.

Exemplo de comando:

az hpc-cache blob-storage-target add --resource-group "hpc-cache-group" \
    --cache-name "cache1" --name "blob-target1" \
    --storage-account "/subscriptions/<subscriptionID>/resourceGroups/myrgname/providers/Microsoft.Storage/storageAccounts/myaccountname" \
    --container-name "container1" --virtual-namespace-path "/blob1"

Adicionar um novo destino de armazenamento NFS

Um destino de armazenamento NFS tem configurações diferentes de um destino de armazenamento de Blob, incluindo uma configuração de modelo de uso que informa ao cache como armazenar dados desse sistema de armazenamento.

Nota

Antes de criar um destino de armazenamento NFS, verifique se o sistema de armazenamento está acessível a partir do Cache HPC do Azure e atende aos requisitos de permissão. A criação do destino de armazenamento falhará se o cache não puder acessar o sistema de armazenamento. Leia os requisitos de armazenamento NFS e Solucionar problemas de configuração de NAS e de destino de armazenamento NFS para obter detalhes.

Escolha um modelo de utilização

Ao criar um destino de armazenamento que usa NFS para alcançar seu sistema de armazenamento, você precisa escolher um modelo de uso para esse destino. Este modelo determina como seus dados são armazenados em cache.

Leia Compreender modelos de uso para obter mais detalhes sobre todas essas configurações.

Os modelos de utilização integrados da Cache HPC permitem-lhe escolher como equilibrar a resposta rápida com o risco de obter dados obsoletos. Se você quiser otimizar a velocidade de leitura de arquivos, talvez não se importe se os arquivos no cache são verificados em relação aos arquivos back-end. Como alternativa, se você quiser garantir que seus arquivos estejam sempre atualizados com o armazenamento remoto, escolha um modelo que verifique com frequência.

Nota

Os caches de estilo de alta taxa de transferência suportam somente cache de leitura.

Estas três opções abrangem a maioria das situações:

• Leituras pesadas e pouco frequentes - Acelera o acesso de leitura a ficheiros estáticos ou raramente alterados.

  Essa opção armazena em cache os arquivos das leituras do cliente, mas passa as gravações do cliente para o armazenamento back-end imediatamente. Os arquivos armazenados no cache não são comparados automaticamente com os arquivos no volume de armazenamento NFS.

  Não use essa opção se houver o risco de que um arquivo possa ser modificado diretamente no sistema de armazenamento sem primeiro gravá-lo no cache. Se isso acontecer, a versão em cache do arquivo estará fora de sincronia com o arquivo back-end.

• Mais de 15% de gravações - Esta opção acelera o desempenho de leitura e gravação.

  As leituras e gravações do cliente são armazenadas em cache. Presume-se que os arquivos no cache sejam mais recentes do que os arquivos no sistema de armazenamento back-end. Os arquivos armazenados em cache só são verificados automaticamente em relação aos arquivos no armazenamento back-end a cada oito horas. Os arquivos modificados no cache são gravados no sistema de armazenamento back-end depois de ficarem no cache por uma hora, sem outras alterações.

  Não use essa opção se algum cliente montar o volume de armazenamento back-end diretamente, porque há o risco de que ele tenha arquivos desatualizados.

• Os clientes gravam no destino NFS, ignorando o cache - Escolha esta opção se algum cliente em seu fluxo de trabalho gravar dados diretamente no sistema de armazenamento sem primeiro gravar no cache, ou se você quiser otimizar a consistência dos dados.

  Os arquivos solicitados pelos clientes são armazenados em cache, mas todas as alterações feitas nesses arquivos pelo cliente são passadas para o sistema de armazenamento back-end imediatamente. Os arquivos no cache são frequentemente verificados em relação às versões de back-end em busca de atualizações. Essa verificação mantém a consistência dos dados quando os arquivos são alterados diretamente no sistema de armazenamento, em vez de através do cache.

Para obter detalhes sobre as outras opções, leia Compreender modelos de uso.

Esta tabela resume as diferenças entre todos os modelos de uso:

Modelo de utilização	Modo de cache	Temporizador de verificação	Temporizador de write-back
Cache somente leitura	Lida	30 segundos	Nenhuma
Cache de leitura/gravação	Leitura/escrita	8 horas	Uma hora

Nota

O valor de verificação de back-end mostra quando o cache compara automaticamente seus arquivos com os arquivos de origem no armazenamento remoto. No entanto, você pode acionar uma comparação enviando uma solicitação de cliente que inclua uma operação readdirplus no sistema de armazenamento back-end. Readdirplus é uma API NFS padrão (também chamada de leitura estendida) que retorna metadados de diretório, o que faz com que o cache compare e atualize arquivos.

Criar um destino de armazenamento NFS

Portal

No portal do Azure, abra sua instância de cache e clique em Destinos de armazenamento na barra lateral esquerda.

A página Destinos de armazenamento lista todos os destinos existentes e fornece um link para adicionar um novo.

Clique no botão Adicionar destino de armazenamento.

Forneça estas informações para um destino de armazenamento apoiado por NFS:

• Nome do destino de armazenamento - Defina um nome que identifique esse destino de armazenamento no Cache HPC do Azure.

• Tipo de destino - Escolha NFS.

• Nome do host - Insira o endereço IP ou o nome de domínio totalmente qualificado do seu sistema de armazenamento NFS. (Use um nome de domínio somente se o cache tiver acesso a um servidor DNS que possa resolver o nome.) Você pode inserir vários endereços IP se o sistema de armazenamento for referenciado por vários IPs.

• Modelo de uso - Escolha um dos perfis de cache de dados com base no seu fluxo de trabalho, descrito em Escolha um modelo de uso acima.

Quando terminar, clique em OK para adicionar o destino de armazenamento.

CLI do Azure

Configure a CLI do Azure para o Cache HPC do Azure.

Use o comando da CLI do Azure az hpc-cache nfs-storage-target add para criar o destino de armazenamento.

Nota

Atualmente, os comandos da CLI do Azure exigem que você crie um caminho de namespace ao adicionar um destino de armazenamento. Isso é diferente do processo usado com a interface do portal do Azure.

Forneça estes valores, além do nome do cache e do grupo de recursos de cache:

• --name - Defina um nome que identifique esse destino de armazenamento no Cache HPC do Azure.

• --nfs3-target - O endereço IP do seu sistema de armazenamento NFS. (Você pode usar um nome de domínio totalmente qualificado aqui se o cache tiver acesso a um servidor DNS que possa resolver o nome.)

• --nfs3-usage-model - Um dos perfis de cache de dados, descrito em Escolha um modelo de uso, acima.

  Verifique os nomes dos modelos de uso com o comando az hpc-cache usage-model list.

• --junction - O parâmetro junction vincula o caminho do arquivo virtual voltado para o cliente a um caminho de exportação no sistema de armazenamento.

  Um destino de armazenamento NFS pode ter vários caminhos virtuais, desde que cada caminho represente uma exportação ou subdiretório diferente no mesmo sistema de armazenamento. Crie todos os caminhos para um sistema de armazenamento em um destino de armazenamento.

  Você pode adicionar e editar caminhos de namespace em um destino de armazenamento a qualquer momento.

  O --junction parâmetro usa estes valores:

  • namespace-path - O caminho de arquivo virtual voltado para o cliente
  • nfs-export - A exportação do sistema de armazenamento para associar ao caminho voltado para o cliente
  • target-path (opcional) - Um subdiretório da exportação, se necessário

  Exemplo: --junction namespace-path="/nas-1" nfs-export="/datadisk1" target-path="/test"

  Leia Configurar namespace agregado para saber mais sobre o recurso de namespace virtual.

Exemplo de comando:

az hpc-cache nfs-storage-target add --resource-group "hpc-cache-group" --cache-name "doc-cache0629" \
    --name nfsd1 --nfs3-target 10.0.0.4 --nfs3-usage-model WRITE_WORKLOAD_15 \
    --junction namespace-path="/nfs1/data1" nfs-export="/datadisk1" target-path=""

Saída:

{- Finished ..
  "clfs": null,
  "id": "/subscriptions/<subscriptionID>/resourceGroups/hpc-cache-group/providers/Microsoft.StorageCache/caches/doc-cache0629/storageTargets/nfsd1",
  "junctions": [
    {
      "namespacePath": "/nfs1/data1",
      "nfsExport": "/datadisk1",
      "targetPath": ""
    }
  ],
  "location": "eastus",
  "name": "nfsd1",
  "nfs3": {
    "target": "10.0.0.4",
    "usageModel": "WRITE_WORKLOAD_15"
  },
  "provisioningState": "Succeeded",
  "resourceGroup": "hpc-cache-group",
  "targetType": "nfs3",
  "type": "Microsoft.StorageCache/caches/storageTargets",
  "unknown": null
}

Adicionar um novo destino de armazenamento ADLS-NFS

Os destinos de armazenamento ADLS-NFS usam contêineres de Blob do Azure que dão suporte ao protocolo NFS (Network File System) 3.0.

Leia o suporte ao protocolo NFS 3.0 para saber mais sobre esse recurso.

Os destinos de armazenamento ADLS-NFS têm algumas semelhanças com os destinos de armazenamento de Blob e alguns com os destinos de armazenamento NFS. Por exemplo:

• Como um destino de armazenamento de Blob, você precisa dar permissão ao Cache HPC do Azure para acessar sua conta de armazenamento.

• Como um destino de armazenamento NFS, você precisa definir um modelo de uso de cache.

• Como os contêineres de blob habilitados para NFS têm uma estrutura hierárquica compatível com NFS, você não precisa usar o cache para ingerir dados e os contêineres são legíveis por outros sistemas NFS.

  Você pode pré-carregar dados em um contêiner ADLS-NFS, adicioná-los a um cache HPC como destino de armazenamento e, em seguida, acessar os dados posteriormente de fora de um cache HPC. Quando você usa um contêiner de blob padrão como um destino de armazenamento de Cache HPC, os dados são gravados em um formato proprietário e só podem ser acessados de outros produtos compatíveis com o Cache HPC do Azure.

Antes de criar um destino de armazenamento ADLS-NFS, você deve criar uma conta de armazenamento habilitada para NFS. Siga as etapas em Pré-requisitos para o Cache HPC do Azure e as instruções no armazenamento de Blob de montagem usando NFS. Se você não usar a mesma rede virtual para o cache e a conta de armazenamento, verifique se a vnet do cache pode acessar a vnet da conta de armazenamento.

Depois que sua conta de armazenamento estiver configurada, você poderá criar um novo contêiner ao criar o destino de armazenamento.

Leia Usar armazenamento de blob montado em NFS com o Cache HPC do Azure para saber mais sobre essa configuração.

Para criar um destino de armazenamento ADLS-NFS, abra a página Adicionar destino de armazenamento no portal do Azure. (Outros métodos estão em desenvolvimento.)

Insira essas informações.

• Nome do destino de armazenamento - Defina um nome que identifique esse destino de armazenamento no Cache HPC do Azure.

• Tipo de destino - Escolha ADLS-NFS.

• Conta de armazenamento - Selecione a conta que deseja usar. Se sua conta de armazenamento habilitada para NFS não aparecer na lista, verifique se ela está em conformidade com os pré-requisitos e se o cache pode acessá-la.

  Você precisará autorizar a instância de cache para acessar a conta de armazenamento, conforme descrito em Adicionar as funções de acesso.

• Contêiner de armazenamento - Selecione o contêiner de blob habilitado para NFS para este destino ou clique em Criar novo.

• Modelo de uso - Escolha um dos perfis de cache de dados com base no seu fluxo de trabalho, descrito em Escolha um modelo de uso acima.

Quando terminar, clique em OK para adicionar o destino de armazenamento.

Exibir destinos de armazenamento

Você pode usar o portal do Azure ou a CLI do Azure para mostrar os destinos de armazenamento já definidos para seu cache.

Portal

No portal do Azure, abra sua instância de cache e clique em Destinos de armazenamento, que está sob o título Configurações na barra lateral esquerda. A página de destinos de armazenamento lista todos os destinos e controles existentes para adicioná-los ou excluí-los.

Clique no nome de um destino de armazenamento para abrir sua página de detalhes.

Leia Exibir e gerenciar destinos de armazenamento e Editar destinos de armazenamento para saber mais.

CLI do Azure

Configure a CLI do Azure para o Cache HPC do Azure.

Use a opção az hpc-cache storage-target list para mostrar os destinos de armazenamento existentes para um cache. Forneça o nome do cache e o grupo de recursos (a menos que você o tenha definido globalmente).

az hpc-cache storage-target list --resource-group "scgroup" --cache-name "sc1"

Use az hpc-cache storage-target show para ver detalhes sobre um destino de armazenamento específico. (Especifique o destino de armazenamento pelo nome.)

Exemplo:

$ az hpc-cache storage-target show --cache-name doc-cache0629 --name nfsd1

{
  "clfs": null,
  "id": "/subscriptions/<subscription_ID>/resourceGroups/scgroup/providers/Microsoft.StorageCache/caches/doc-cache0629/storageTargets/nfsd1",
  "junctions": [
    {
      "namespacePath": "/nfs1/data1",
      "nfsExport": "/datadisk1",
      "targetPath": ""
    }
  ],
  "location": "eastus",
  "name": "nfsd1",
  "nfs3": {
    "target": "10.0.0.4",
    "usageModel": "WRITE_WORKLOAD_15"
  },
  "provisioningState": "Succeeded",
  "resourceGroup": "scgroup",
  "targetType": "nfs3",
  "type": "Microsoft.StorageCache/caches/storageTargets",
  "unknown": null
}
$

Próximos passos

Depois de criar destinos de armazenamento, continue com estas tarefas para preparar o cache para uso:

• Configurar o namespace agregado
• Montar o Azure HPC Cache
• Mover dados para o armazenamento de Blob do Azure

Se precisar atualizar alguma configuração, você pode editar um destino de armazenamento.