Objetivos de escala y rendimiento de Azure Storage Mover
El rendimiento de un servicio de migración de almacenamiento es un aspecto clave para cualquier migración. En este artículo, compartimos los resultados de las pruebas de rendimiento, aunque dado que Azure Storage Mover es un nuevo servicio, la experiencia puede variar.
Objetivos de escalabilidad
Azure Storage Mover se prueba con 100 millones de elementos de espacio de nombres (archivos y carpetas), migrados de un origen admitido a un destino admitido en Azure.
Cómo se prueba
Azure Storage Mover es un servicio en la nube híbrida. Los servicios híbridos tienen un componente de servicio en la nube y un componente de infraestructura que el administrador del servicio ejecuta en su entorno corporativo. Para Storage Mover, ese componente híbrido es un agente de migración. Los agentes son máquinas virtuales, que se ejecutan en un host cerca del almacenamiento de origen.
Solo el agente es una parte relevante del servicio para las pruebas de rendimiento. Para omitir los problemas de privacidad y rendimiento, los datos viajan directamente desde el agente de Storage Mover al almacenamiento de destino en Azure. Solo se envían mensajes de telemetría y de control al servicio en la nube.
Líneas de base de rendimiento
Estos resultados de prueba se crean en condiciones ideales. Están diseñados como base de referencia de los componentes que el servicio Storage Mover y el agente pueden influir directamente. Las diferencias en los dispositivos de origen, los discos y las conexiones de red no se consideran en esta prueba. El rendimiento real varía.
La migración desde el montaje de SMB a pruebas de recursos compartidos de archivos de Azure se ejecutó de la siguiente manera:
En la tabla siguiente se describen las características de los entornos de prueba que generaron los resultados de las pruebas de rendimiento de un montaje SMB en un recurso compartido de archivos de Azure.
| Prueba no. | No. de archivos | Peso total de los archivos | Tamaño de archivo | Estructura de carpetas |
|---|---|---|---|---|
| 1 | 12 millones | 12 GB | 1 KB cada uno | 12 carpetas, cada una con 100 subcarpetas que contienen 10 000 archivos |
| 2 | 30 | 20 GB | 1 carpeta | |
| 3 | 1 millón | 100 GB | 100 KB cada uno | 1000 carpetas, cada una con 1000 archivos |
| 4 | 1 | 4 TB | ||
| 5 | 117 millones | 117 GB | 1 KB cada uno | 117 carpetas, cada una con 100 subcarpetas que contienen 10 000 archivos |
| 6 | 1 | 1 TB | ||
| 7 | 3,3 millones | 45 GB | 13 KB cada uno | 200 000 carpetas, cada una contiene 16\17 archivos |
| 8 | 50 millones | 1 TB | 20 KB cada uno | 2.940.000 carpetas, cada una contiene 17 archivos |
| 9 | 100 millones | 2 TB | 20 KB cada uno | 580 000 carpetas, cada una contiene 17 archivos |
Las distintas configuraciones de recursos del agente se prueban en los puntos de conexión de SMB:
Minspec: 4 CPU / 8 GB RAM 4 núcleos de CPU virtuales a 2,7 GHz cada uno y 8 GiB de memoria (RAM) es la especificación mínima para un agente de Azure Storage Mover.
Prueba no. Tiempo de ejecución Tiempo de examen 6 16 min, 42 s 1,2 segundos 7 55 minutos, 4 segundos 1 min, 17 s 8 9 Bootspec: 8 CPU/ 16 GiB RAM 8 núcleos de CPU virtuales a 2,7 GHz cada uno y 16 GiB de memoria (RAM) es la especificación mínima para un agente de Azure Storage Mover.
Resultados: cuenta de almacenamiento estándar
Prueba no. Tiempo de ejecución Tiempo de examen 1 15 h, 59 minutos 2 h, 36 min, 34 s 2 1 min, 54 s 3,34 s 3 1 h, 19 min, 27 s 57,62 s 4 1 h, 5 minutos, 57 s 2,89 segundos Resultados: cuenta de almacenamiento estándar con archivos grandes habilitados
Prueba no. Tiempo de ejecución Tiempo de examen 1 3 h, 51 min, 31 s 41 min y 45 s 5 25 h, 47 minutos 23 h, 35 minutos 6 11 min, 11 s 0,7 segundos 7 55 minutos, 10 segundos 1 minuto, 3 segundos 8 9 Resultados: cuenta de Premium Storage
Prueba no. Tiempo de ejecución Tiempo de examen 1 2 h, 35 min, 14 s 24 min, 46 s 5 23 h, 34 minutos 21 h, 34 minutos
Revise los recursos del agente recomendados para el ámbito de migración en el artículo de implementación del agente.
¿Por qué varía el rendimiento de la migración?
Fundamentalmente, la calidad de la red y la capacidad de procesar archivos, carpetas y sus metadatos afectan a la velocidad de migración.
En las dos áreas principales de red y proceso, varios aspectos tienen un impacto:
- Escenario de migración
La copia en un destino vacío es más rápida en comparación con un destino con contenido. Este comportamiento se debe a que el motor de migración evalúa no solo el origen, sino también el destino para tomar decisiones de copia. - Recuento de elementos de espacio de nombres
La migración de 1 GiB de archivos pequeños tarda más tiempo que la migración de 1 GiB de archivos más grandes. - Forma de espacio de nombres
Una jerarquía de carpetas anchas se presta a un procesamiento más paralelo que una estructura de directorio estrecha o profunda. La proporción de archivos a carpetas también reproduce un rollo. - Renovación del espacio de nombres
Cuántos archivos, carpetas y metadatos han cambiado entre dos ejecuciones de copia del mismo origen al mismo destino. - Network
- ancho de banda y latencia entre el agente de origen y migración
- ancho de banda y latencia entre el agente de migración y el destino en Azure
- Recursos del agente de migración
La cantidad de memoria (RAM), el número de núcleos de proceso e incluso la cantidad de capacidad de disco local disponible en el agente de migración puede tener un impacto profundo en la velocidad de migración. Más recursos de proceso ayudan a optimizar el uso del ancho de banda disponible, especialmente cuando es necesario procesar grandes cantidades de archivos más pequeños en una migración.
Por ejemplo, una migración tradicional requiere una estrategia para minimizar el tiempo de inactividad de la carga de trabajo que depende del almacenamiento que se va a migrar. Azure Storage Mover admite esta estrategia. Se denomina migración convergente y de paso.
En esta estrategia, se copia de origen a destino varias veces. Durante estas iteraciones de copia, el origen permanece disponible para lectura y escritura en la carga de trabajo. Justo antes de la iteración de copia final, se desconecta el origen. Se espera que la copia final finalice más rápido de lo que diga la primera copia que ha realizado y tarda tanto como lo inmediatamente anterior. Después de la copia final, la carga de trabajo se conmuta por error para usar el nuevo almacenamiento de destino en Azure y está disponible para su uso de nuevo.
Durante la primera copia del origen al destino, es probable que el destino esté vacío y todo el contenido de origen debe viajar al destino. Como resultado, es probable que la primera copia esté más restringida por los recursos de red disponibles.
Al final de una migración, cuando ha copiado el origen en el destino varias veces, solo han cambiado algunos archivos, carpetas y metadatos desde la última copia. En esta última iteración de copia, comparando cada archivo de origen y destino para ver si es necesario actualizarlo, requiere más recursos de proceso y menos recursos de red. Las ejecuciones de copia en esta fase tardía de una migración suelen estar más restringidas a los procesos. El recurso adecuado del agente de Storage Mover se vuelve cada vez más importante.
Pasos siguientes
Los artículos siguientes pueden ayudar con una implementación correcta de Azure Storage Mover.