Cele skalowania i wydajności usługi Azure Storage Mover
Wydajność usługi migracji magazynu jest kluczowym aspektem każdej migracji. W tym artykule udostępniamy wyniki testów wydajnościowych, chociaż ponieważ usługa Azure Storage Mover jest nową usługą, środowisko może się różnić.
Skalowanie obiektów docelowych
Usługa Azure Storage Mover jest testowana przy użyciu 100 milionów elementów przestrzeni nazw (plików i folderów) migrowanych z obsługiwanego źródła do obsługiwanego miejsca docelowego na platformie Azure.
Jak testujemy
Azure Storage Mover to hybrydowa usługa w chmurze. Usługi hybrydowe mają składnik usługi w chmurze i składnik infrastruktury, który jest administratorem usługi działającej w ich środowisku firmowym. W przypadku usługi Storage Mover ten składnik hybrydowy jest agentem migracji. Agenci to maszyny wirtualne, uruchomione na hoście w pobliżu magazynu źródłowego.
Tylko agent jest odpowiednią częścią usługi do testowania wydajnościowego. Aby pominąć obawy dotyczące prywatności i wydajności, dane są przesyłane bezpośrednio z agenta usługi Storage Mover do magazynu docelowego na platformie Azure. Do usługi w chmurze są wysyłane tylko komunikaty kontroli i telemetrii.
Punkty odniesienia wydajności
Te wyniki testów są tworzone w idealnych warunkach. Są one przeznaczone jako punkt odniesienia składników, na które może mieć bezpośredni wpływ usługa Storage Mover i agent. Różnice w urządzeniach źródłowych, dyskach i połączeniach sieciowych nie są brane pod uwagę w tym teście. Wydajność w świecie rzeczywistym różni się.
- Instalacja SMB: udział plików platformy Azure
- Instalowanie systemu plików NFS: kontener obiektów blob platformy Azure
Migracja z instalacji SMB do testów udziału plików platformy Azure została wykonana w następujący sposób:
W poniższej tabeli opisano cechy środowisk testowych, które wygenerowały wyniki testu wydajnościowego z instalacji SMB do udziału plików platformy Azure.
| Test nr. | Nie plików | Łączna waga plików | Rozmiar pliku | Struktura folderów |
|---|---|---|---|---|
| 1 | 12 milionów | 12 GB | 1 KB każdy | 12 folderów z 100 podfolderami zawierającymi 10 000 plików |
| 2 | 30 | 20 GB | 1 folder | |
| 3 | 1 mln | 100 GB | 100 KB każdy | 1000 folderów, z których każdy ma 1000 plików |
| 4 | 1 | 4 TB | ||
| 5 | 117 milionów | 117 GB | 1 KB każdy | 117 folderów z 100 podfolderami zawierającymi 10 000 plików |
| 6 | 1 | 1 TB | ||
| 7 | 3,3 mln | 45 GB | 13 KB każdy | 200 000 folderów, z których każdy zawiera 16\17 plików |
| 8 | 50 milionów | 1 TB | 20 KB każdy | 2940 000 folderów, z których każdy zawiera 17 plików |
| 9 | 100 milionów | 2 TB | 20 KB każdy | 5880 000 folderów, z których każdy zawiera 17 plików |
Różne konfiguracje zasobów agenta są testowane w punktach końcowych protokołu SMB:
Minspec: 4 PROCESOR / 8 GB pamięci RAM 4 rdzenie wirtualne procesora CPU na 2,7 GHz każdy i 8 GiB pamięci (RAM) jest minimalną specyfikacją agenta usługi Azure Storage Mover.
Test nr. Czas wykonywania Czas skanowania 6 16 min, 42 s 1,2 s 7 55 min, 4 s 1 min, 17 s 8 9 Bootspec: 8 PROCESOR /16 GiB PAMIĘCI RAM 8 rdzeni wirtualnych procesora CPU z 2,7 GHz każdy i 16 GiB pamięci (RAM) jest minimalną specyfikacją agenta usługi Azure Storage Mover.
Wyniki: konto magazynu w warstwie Standardowa
Test nr. Czas wykonywania Czas skanowania 1 15 godz., 59 min 2 godz., 36 min, 34 s 2 1 min, 54 s 3,34 s 3 1 godz., 19 min, 27 s 57,62 s 4 1 godz., 5 min, 57 s 2,89 s Wyniki: standardowe konto magazynu z włączonymi dużymi plikami
Test nr. Czas wykonywania Czas skanowania 1 3 godz., 51 min, 31 sek. 41 min i 45 s 5 25 godz., 47 min 23 godz., 35 min 6 11 min, 11 s 0,7 s 7 55 min, 10 s 1 min, 3 s 8 9 Wyniki: konto usługi Premium Storage
Test nr. Czas wykonywania Czas skanowania 1 2 godz., 35 min, 14 sek. 24 min, 46 s 5 23 godz., 34 min 21 godz., 34 min
Zapoznaj się z zalecanymi zasobami agenta dla zakresu migracji w artykule dotyczącym wdrażania agenta.
Dlaczego wydajność migracji różni się
Zasadniczo jakość sieci i możliwość przetwarzania plików, folderów i ich metadanych wpływają na szybkość migracji.
W dwóch podstawowych obszarach sieci i obliczeń kilka aspektów ma wpływ:
- Scenariusz migracji
Kopiowanie do pustego obiektu docelowego jest szybsze w porównaniu z obiektem docelowym z zawartością. To zachowanie jest spowodowane tym, że aparat migracji ocenia nie tylko źródło, ale także cel podejmowania decyzji dotyczących kopiowania. - Liczba elementów przestrzeni nazw
Migrowanie 1 GiB małych plików zajmuje więcej czasu niż migrowanie 1 GiB większych plików. - Kształt przestrzeni nazw
Szeroka hierarchia folderów nadaje się do bardziej równoległego przetwarzania niż wąska lub głęboka struktura katalogów. Współczynnik plików do folderu również odtwarza rzut. - Współczynnik zmian przestrzeni nazw
Liczba plików, folderów i metadanych uległa zmianie między dwoma przebiegami kopiowania z tego samego źródła do tego samego miejsca docelowego. - Sieciowe
- przepustowość i opóźnienie między agentem źródłowym a agentem migracji
- przepustowość i opóźnienie między agentem migracji a obiektem docelowym na platformie Azure
- Zasoby agenta migracji
Ilość pamięci (RAM), liczba rdzeni obliczeniowych, a nawet ilość dostępnej pojemności dysku lokalnego na agencie migracji może mieć głęboki wpływ na szybkość migracji. Więcej zasobów obliczeniowych pomaga zoptymalizować wykorzystanie dostępnej przepustowości, zwłaszcza gdy w migracji należy przetworzyć duże ilości mniejszych plików.
Na przykład tradycyjna migracja wymaga strategii zminimalizowania przestojów obciążenia, które zależy od magazynu, który ma zostać zmigrowany. Usługa Azure Storage Mover obsługuje taką strategię. Jest to nazywane zbieżną migracją n-pass.
W tej strategii wielokrotnie kopiujesz ze źródła do elementu docelowego. Podczas tych iteracji kopiowania źródło pozostaje dostępne do odczytu i zapisu w obciążeniu. Tuż przed ostateczną iterację kopiowania możesz przejąć źródło w tryb offline. Oczekuje się, że ostateczna kopia zakończy się szybciej niż mówisz, że pierwsza kopia, którą kiedykolwiek wykonano i trwa około tak długo, jak ta bezpośrednio poprzedzająca ją. Po zakończeniu kopiowania obciążenie zostanie przełączone w tryb failover, aby użyć nowego magazynu docelowego na platformie Azure i będzie dostępne do ponownego użycia.
Podczas pierwszej kopii ze źródła do miejsca docelowego obiekt docelowy jest prawdopodobnie pusty, a cała zawartość źródłowa musi być przenoszona do miejsca docelowego. W rezultacie pierwsza kopia jest prawdopodobnie najbardziej ograniczona przez dostępne zasoby sieciowe.
Pod koniec migracji, gdy źródło zostało skopiowane do obiektu docelowego kilka razy, tylko kilka plików, folderów i metadanych uległo zmianie od ostatniej kopii. W tej ostatniej iteracji kopiowania porównywanie każdego pliku źródłowego i docelowego w celu sprawdzenia, czy trzeba je zaktualizować, wymaga większej ilości zasobów obliczeniowych i mniejszej liczby zasobów sieciowych. Operacje kopiowania na tym późnym etapie migracji są często bardziej ograniczone do obliczeń. Odpowiednie zasoby agenta usługi Storage Mover stają się coraz ważniejsze.
Następne kroki
Poniższe artykuły mogą pomóc w pomyślnym wdrożeniu usługi Azure Storage Mover.