Metas de desempenho e escala do Migrador de Armazenamento do Azure
O desempenho de um serviço de migração de armazenamento é um aspecto fundamental para qualquer migração. Neste artigo, compartilhamos resultados de teste de desempenho, embora como o Azure Storage Mover é um novo serviço, sua experiência pode variar.
Destinos de escala
O Migrador de Armazenamento do Azure é testado com 100 milhões de itens de namespace (arquivos e pastas), migrados de uma origem com suporte para um destino com suporte no Azure.
Como testamos
O Migrador de Armazenamento do Azure é um serviço de nuvem híbrida. Os serviços híbridos têm um componente de serviço em nuvem e um componente de infraestrutura que o administrador do serviço executa no ambiente corporativo. Para o Migrador de Armazenamento, esse componente híbrido é um agente de migração. Os agentes são máquinas virtuais, executadas em um host próximo ao armazenamento de origem.
Apenas o agente é uma parte relevante do serviço para teste de desempenho. Para omitir preocupações com privacidade e desempenho, os dados trafegam diretamente do agente do Migrador de Armazenamento para o armazenamento de destino no Azure. Somente mensagens de controle e telemetria são enviadas para o serviço de nuvem.
Linhas de base de desempenho
Esses resultados de teste são criados em condições ideais. Eles servem como uma linha de base dos componentes que o serviço e o agente do Migrador de Armazenamento podem influenciar diretamente. Neste teste, não foram consideradas as diferenças em dispositivos de origem, discos e conexões de rede. O desempenho no mundo real varia.
A migração da montagem SMB para os testes de compartilhamento de arquivos do Azure foi executada da seguinte maneira:
A tabela a seguir descreve as características dos ambientes de teste que produziram os resultados do teste de desempenho de uma montagem SMB em um compartilhamento de arquivos do Azure.
| Teste nº. | Não. de arquivos | Peso total dos arquivos | Tamanho do arquivo | Estrutura de pastas |
|---|---|---|---|---|
| 1 | 12 milhões | 12 GB | 1 KB cada | 12 pastas, cada uma com 100 subpastas contendo 10.000 arquivos |
| 2 | 30 | 20 GB | 1 pasta | |
| 3 | 1 milhão | 100 GB | 100 KB cada | 1.000 pastas, cada uma com 1.000 arquivos |
| 4 | 1 | 4 TB | ||
| 5 | 117 milhões | 117 GB | 1 KB cada | 117 pastas, cada uma com 100 subpastas contendo 10.000 arquivos |
| 6 | 1 | 1 TB | ||
| 7 | 3,3 milhões | 45 GB | 13 KB cada | 200.000 pastas, cada uma contém 16\17 arquivos |
| 8 | 50 milhões | 1 TB | 20 KB cada | 2.940.000 pastas, cada uma contém 17 arquivos |
| 9 | 100 milhões | 2 TB | 20 KB cada | 5.880.000 pastas, cada uma contém 17 arquivos |
Diferentes configurações de recursos de agente são testadas em pontos de extremidade SMB:
Minspec: 4 CPU / 8 GB de RAM 4 núcleos de CPU virtuais a 2,7 GHz cada e 8 GiB de memória (RAM ) é a especificação mínima para um agente do Azure Storage Movers.
Teste nº. Tempo de execução Tempo de varredura 6 16 min, 42 seg 1,2 seg 7 55 min, 4 seg 1 min, 17 seg 8 9 Bootspec: 8 CPU / 16 GiB RAM, 8 núcleos de CPU virtuais a 2,7 GHz cada e 16 GiB de memória (RAM ) é a especificação mínima para um agente do Azure Storage Movers.
Resultados: Conta de armazenamento padrão
Teste nº. Tempo de execução Tempo de varredura 1 15 h, 59 min 2 h, 36 min, 34 seg 2 1 min, 54 seg 3,34 seg 3 1 h, 19 min, 27 seg 57,62 seg 4 1 h, 5 min, 57 seg 2,89 seg Resultados: Conta de armazenamento padrão com arquivos grandes habilitados
Teste nº. Tempo de execução Tempo de varredura 1 3 h, 51 min, 31 seg 41 min e 45 seg 5 25 horas, 47 min 23 horas, 35 min 6 11 min, 11 seg 0,7 seg 7 55 min, 10 seg 1 min, 3 seg 8 9 Resultados: Conta de armazenamento Premium
Teste nº. Tempo de execução Tempo de varredura 1 2 h, 35 min, 14 seg 24 min, 46 seg 5 23 horas, 34 minutos 21 h, 34 min
Examine os recursos de agente recomendados para o escopo de migração no artigo de implantação do agente.
Por que o desempenho da migração varia
Fundamentalmente, a qualidade da rede e a capacidade de processar os arquivos, as pastas e os metadados afetam a velocidade de migração.
Nas duas principais áreas de rede e computação, vários aspectos têm impacto:
- Cenário de migração
Copiar para um destino vazio é mais rápido em comparação com um destino com conteúdo. Esse comportamento é devido ao mecanismo de migração avaliar não apenas a origem, mas também o destino para tomar decisões de cópia. - Contagem de itens de namespace
A migração de 1 GiB de arquivos pequenos leva mais tempo do que a migração de 1 GiB de arquivos maiores. - Forma de namespace
Uma hierarquia de pastas ampla permite um processamento mais paralelo do que uma estrutura de diretório estreita ou profunda. A taxa de arquivo para pasta também reproduz um roll. - Rotatividade de namespace
Quantos arquivos, pastas e metadados foram alterados entre duas execuções de cópia da mesma origem para o mesmo destino. - Rede
- largura de banda e latência entre a origem e o agente de migração.
- largura de banda e latência entre o agente de migração e o destino no Azure.
- Recursos do agente de migração
A quantidade de memória (RAM), o número de núcleos de computação e até mesmo a quantidade de capacidade de disco local disponível no agente de migração podem ter um impacto profundo na velocidade de migração. Mais recursos de computação ajudam a otimizar a utilização da largura de banda disponível, especialmente quando for necessário processar grandes quantidades de arquivos menores em uma migração.
Por exemplo, uma migração tradicional exige uma estratégia para minimizar o tempo de inatividade da carga de trabalho que depende do armazenamento a ser migrado. O Migrador de Armazenamento do Azure dá suporte a essa estratégia. É chamada de migração n-pass e convergente.
Nessa estratégia, você copia da origem para o destino várias vezes. Durante essas iterações de cópia, a origem permanecerá disponível para leitura e gravação na carga de trabalho. Pouco antes da iteração de cópia final, você fica com a origem offline. O esperado é que a cópia final conclua mais rápido do que a primeira cópia que você fez e demore aproximadamente o mesmo tempo que a imediatamente anterior. Após a cópia final, a carga de trabalho passará por failover para usar o novo armazenamento de destino no Azure e ficará disponível para uso novamente.
Durante a primeira cópia da origem para o destino, o destino provavelmente estará vazio e todo o conteúdo de origem deverá trafegar para o destino. Como resultado, a primeira cópia provavelmente será mais restrita pelos recursos de rede disponíveis.
No final de uma migração, quando você já copiou a origem para o destino várias vezes, apenas alguns arquivos, pastas e metadados foram alterados desde a última cópia. Nessa última iteração de cópia, comparar cada arquivo na origem e no destino para verificar se atualizações serão necessárias exigirá mais recursos de computação e menos recursos de rede. As execuções de cópia nesse estágio final de uma migração geralmente são mais restritas à computação. O recurso adequado do agente do Storage Mover torna-se cada vez mais importante.
Próximas etapas
Os artigos a seguir podem ajudar com uma implantação do Migrador de Armazenamento do Azure bem-sucedida.