Škálování a výkonnostní cíle služby Azure Storage Mover
Výkon služby migrace úložiště je klíčovým aspektem jakékoli migrace. V tomto článku sdílíme výsledky testů výkonnosti, protože Azure Storage Mover je nová služba, vaše prostředí se může lišit.
Cíle škálování
Azure Storage Mover se testuje s 100 miliony položek oboru názvů (souborů a složek) migrovaných z podporovaného zdroje do podporovaného cíle v Azure.
Jak testujeme
Azure Storage Mover je hybridní cloudová služba. Hybridní služby mají komponentu cloudové služby a komponentu infrastruktury, která správce služby běží v podnikovém prostředí. Pro službu Storage Mover je tato hybridní komponenta agentem migrace. Agenti jsou virtuální počítače, které běží na hostiteli poblíž zdrojového úložiště.
Pouze agent je relevantní součástí služby pro testování výkonu. Pokud chcete vynechat obavy z ochrany osobních údajů a výkonu, data putují přímo z agenta Storage Mover do cílového úložiště v Azure. Do cloudové služby se odesílají jenom zprávy o řízení a telemetrii.
Standardní hodnoty výkonu
Tyto výsledky testů se vytvářejí za ideálních podmínek. Jsou určené jako základní hodnoty komponent, které může služba Storage Mover a agent přímo ovlivnit. Rozdíly ve zdrojových zařízeních, discích a síťových připojeních se v tomto testu nepovažují. Skutečný výkon se liší.
Migrace z připojení SMB do testů sdílených složek Azure se spustila takto:
Následující tabulka popisuje charakteristiky testovacích prostředí, která vytvořila výsledky testu výkonnosti z připojení SMB ke sdílené složce Azure.
| Test Ne. | Č. souborů | Celková hmotnost souborů | Velikost souboru | Struktura složek |
|---|---|---|---|---|
| 1 | 12 milionů | 12 GB | 1 kB každý | 12 složek, z nichž každý obsahuje 100 podsložek obsahujících 10 000 souborů |
| 2 | 30 | 20 GB | 1 složka | |
| 3 | 1 milion | 100 GB | 100 kB každý | 1 000 složek, z nichž každý má 1 000 souborů |
| 4 | 0 | 4 TB | ||
| 5 | 117 milionů | 117 GB | 1 kB každý | 117 složek, z nichž každý obsahuje 100 podsložek obsahujících 10 000 souborů |
| 6 | 0 | 1 TB | ||
| 7 | 3,3 milionu | 45 GB | 13 kB každý | 200 000 složek, z nichž každý obsahuje 16\17 souborů |
| 8 | 50 milionů | 1 TB | Každý z nich je 20 kB | 2 940 000 složek, z nichž každý obsahuje 17 souborů |
| 9 | 100 milionů | 2 TB | Každý z nich je 20 kB | 5 880 000 složek, z nichž každý obsahuje 17 souborů |
Na koncových bodech SMB se testují různé konfigurace prostředků agenta:
Minspec: 4 PROCESOR / 8 GB RAM 4 virtuální procesor jádra na 2,7 GHz každý a 8 GiB paměti (RAM) je minimální specifikace pro agenta Azure Storage Mover.
Test Ne. Doba spouštění Čas skenování 6 16 minut, 42 sekund 1,2 s 7 55 minut, 4 sekundy 1 minuta, 17 sekund 8 9 Bootspec: 8 CPU / 16 GiB RAM 8 virtuální procesor jádra na 2,7 GHz každý a 16 GiB paměti (RAM) je minimální specifikace pro agenta Azure Storage Mover.
Výsledky: Účet úložiště úrovně Standard
Test Ne. Doba spouštění Čas skenování 1 15 hodin, 59 min. 2 hod, 36 min, 34 sekund 2 1 minuta, 54 sekund 3,34 sekundy 3 1 hodina, 19 min, 27 sekund 57,62 s 4 1 hodina, 5 min, 57 sekund 2,89 sekundy Výsledky: Účet úložiště úrovně Standard s povolenými velkými soubory
Test Ne. Doba spouštění Čas skenování 1 3 hod, 51 min, 31 sekund 41 minut a 45 sekund 5 25 hodin, 47 min. 23 hodin, 35 min. 6 11 minut, 11 sekund 0,7 s 7 55 minut, 10 sekund 1 minuta, 3 sekundy 8 9 Výsledky: Účet služby Premium Storage
Test Ne. Doba spouštění Čas skenování 1 2 hod, 35 min, 14 sekund 24 minut, 46 sekund 5 23 hodin, 34 min. 21 hodin, 34 min.
Projděte si doporučené prostředky agenta pro váš rozsah migrace v článku o nasazení agenta.
Proč se výkon migrace liší
Kvalita sítě a schopnost zpracovávat soubory, složky a jejich metadata mají zásadní vliv na rychlost migrace.
Mezi dvěma základními oblastmi sítě a výpočetních prostředků má několik aspektů dopad:
- Scénář migrace
Kopírování do prázdného cíle je rychlejší než cíl s obsahem. Toto chování je způsobeno tím, že modul migrace vyhodnocuje nejen zdroj, ale také cíl rozhodovat o kopírování. - Počet položek oboru názvů
Migrace 1 GiB malých souborů trvá déle než migrace 1 GiB větších souborů. - Obrazec oboru názvů
Široká hierarchie složek se hodí k více paralelnímu zpracování než úzká nebo hloubková adresářová struktura. Přehrává se také poměr souborů ke složce. - Četnost změn oboru názvů
Kolik souborů, složek a metadat se mezi dvěma kopiemi změnilo, se spustí ze stejného zdroje do stejného cíle. - Síť
- šířka pásma a latence mezi zdrojovým a migračním agentem
- šířka pásma a latence mezi agentem migrace a cílem v Azure
- Prostředky agenta migrace
Množství paměti (RAM), počet výpočetních jader a dokonce i množství dostupné kapacity místního disku v agentu migrace může mít hluboký dopad na rychlost migrace. Větší množství výpočetních prostředků pomáhá optimalizovat využití dostupné šířky pásma, zejména v případě, že při migraci je potřeba zpracovat velké objemy menších souborů.
Například tradiční migrace vyžaduje strategii pro minimalizaci výpadků úlohy, která závisí na úložišti, které se má migrovat. Azure Storage Mover takovou strategii podporuje. Říká se tomu sblížená migrace n-pass.
V této strategii několikrát zkopírujete zdroj do cíle. Během těchto iterací kopírování zůstane zdroj dostupný pro čtení a zápis do úlohy. Těsně před dokončením iterace kopírování přejdete zdroj do offline režimu. Očekává se, že poslední kopie se dokončí rychleji, než když řeknete první kopii, kterou jste kdy vytvořili, a trvá přibližně tak dlouho, dokud ta, která před ní bezprostředně předchází. Po dokončení kopírování se úloha převezme při selhání, aby používala nové cílové úložiště v Azure a je k dispozici pro opětovné použití.
Během první kopie ze zdroje do cíle je cíl pravděpodobně prázdný a veškerý zdrojový obsah musí cestovat do cíle. V důsledku toho je první kopie pravděpodobně omezena dostupnými síťovými prostředky.
Na konci migrace se po několikanásobné zkopírování zdroje do cíle změnilo od poslední kopie jenom několik souborů, složek a metadat. V této poslední iteraci kopírování je potřeba porovnat každý soubor ve zdroji a cíli, abyste zjistili, jestli je potřeba aktualizovat, vyžaduje více výpočetních prostředků a méně síťových prostředků. Kopírování v této pozdní fázi migrace je často omezenějšími výpočetními prostředky. Stále důležitější je správné obnovení agenta Storage Mover.
Další kroky
Následující články vám můžou pomoct s úspěšným nasazením služby Azure Storage Mover.