Udostępnij za pośrednictwem

Migrowanie z magazynu dołączonego do sieci (NAS) do udziałów plików platformy Azure przy użyciu usługi DataBox

  • Artykuł

Ten artykuł migracji jest jednym z kilku z udziałem słów kluczowych NAS i Azure DataBox. Sprawdź, czy ten artykuł ma zastosowanie do twojego scenariusza:

  • Źródło danych: magazyn dołączony do sieci (NAS)
  • Trasa migracji: nas ⇒ DataBox ⇒ udziału plików platformy Azure
  • Brak plików buforowania w środowisku lokalnym: ponieważ ostatnim celem jest użycie udziałów plików platformy Azure bezpośrednio w chmurze, nie ma planu korzystania z usługi Azure File Sync.

Jeśli twój scenariusz jest inny, zapoznaj się z tabelą przewodników migracji.

W tym artykule przedstawiono kompleksowe instrukcje dotyczące planowania, wdrażania i konfiguracji sieci potrzebnych do migracji z urządzenia NAS do funkcjonalnych udziałów plików platformy Azure. W tym przewodniku jest używana usługa Azure DataBox do transportu danych zbiorczych (transport danych w trybie offline).

Dotyczy

Typ udziału plików SMB NFS
Udziały plików w warstwie Standardowa (GPv2), LRS/ZRS Tak Nie
Udziały plików w warstwie Standardowa (GPv2), GRS/GZRS Tak Nie
Udziały plików w warstwie Premium (FileStorage), LRS/ZRS Tak Nie.

Cele migracji

Celem jest przeniesienie udziałów na urządzeniu NAS na platformę Azure i przeniesienie ich na natywne udziały plików platformy Azure. Możesz używać natywnych udziałów plików platformy Azure bez konieczności korzystania z systemu Windows Server. Ta migracja musi odbywać się w sposób gwarantujący integralność danych produkcyjnych i dostępności podczas migracji. Ten ostatni wymaga minimalnego przestoju, dzięki czemu może mieścić się w oknach obsługi lub tylko nieznacznie przekraczać regularne okna obsługi.

Omówienie migracji

Proces migracji składa się z kilku faz. Musisz wdrożyć konta magazynu platformy Azure i udziały plików oraz skonfigurować sieć. Następnie zmigrujesz pliki przy użyciu usługi Azure DataBox i narzędzia RoboCopy, aby nadrobić zaległości w zmianach. Na koniec przecięcie użytkowników i aplikacji do nowo utworzonych udziałów plików platformy Azure. W poniższych sekcjach szczegółowo opisano fazy procesu migracji.

Napiwek

Jeśli wrócisz do tego artykułu, użyj nawigacji po prawej stronie, aby przejść do fazy migracji, w której została przerwana.

Faza 1. Identyfikowanie liczby potrzebnych udziałów plików platformy Azure

W tym kroku określisz, ile potrzebnych udziałów plików platformy Azure. Być może masz więcej folderów na woluminach, które obecnie udostępniasz lokalnie jako udziały SMB użytkownikom i aplikacjom. W zależności od liczby udziałów plików, które chcesz migrować do chmury, możesz użyć mapowania 1:1 lub grupowania udziałów.

Używanie mapowania 1:1

Jeśli masz wystarczającą liczbę udziałów, zalecamy mapowanie 1:1. Najprostszym sposobem na zniesienie tego scenariusza jest przewidywanie udziału lokalnego mapowania 1:1 na udział plików platformy Azure.

Korzystanie z grupowania udziałów

Jeśli masz dużą liczbę udziałów plików, rozważ grupowanie udziałów. Jeśli na przykład dział kadr (HR) ma 15 udziałów, możesz rozważyć przechowywanie wszystkich danych kadrowych w jednym udziale plików platformy Azure. W ten sposób dla tej grupy udziałów lokalnych jest wymagany tylko jeden udział plików platformy Azure w chmurze.

Faza 2. Wdrażanie zasobów usługi Azure Storage

W tej fazie aprowizujesz konta usługi Azure Storage i udziały plików w nich.

Pamiętaj, że udział plików platformy Azure jest wdrażany w chmurze na koncie usługi Azure Storage. W przypadku standardowych udziałów plików rozwiązanie to sprawia, że konto magazynu jest celem skalowania dla liczb wydajności, takich jak liczba operacji we/wy na sekundę i przepływność. Jeśli umieszczasz wiele udziałów plików na jednym koncie magazynu, tworzysz udostępnioną pulę operacji we/wy na sekundę i przepływność dla tych udziałów.

Ogólnie rzecz biorąc, można umieścić wiele udziałów plików platformy Azure na tym samym koncie magazynu, jeśli masz udziały archiwalne lub oczekujesz w nich niskiej aktywności z dnia na dzień. Jeśli jednak masz wysoce aktywne udziały (udziały używane przez wielu użytkowników i/lub aplikacje), należy wdrożyć konta magazynu z jednym udziałem plików. Te ograniczenia nie mają zastosowania do kont magazynu FileStorage (Premium), w których wydajność jest jawnie aprowizowana i gwarantowana dla każdego udziału.

Uwaga

Istnieje limit 250 kont magazynu na subskrypcję na region świadczenia usługi Azure. W przypadku zwiększenia limitu przydziału można utworzyć maksymalnie 500 kont magazynu na region. Aby uzyskać więcej informacji, zobacz Zwiększanie limitów przydziału kont usługi Azure Storage.

Kolejną kwestią podczas wdrażania konta magazynu jest nadmiarowość. Zobacz Nadmiarowość usługi Azure Files.

Jeśli utworzono listę udziałów, należy zamapować każdy udział na konto magazynu, w którym zostanie utworzony.

Nazwy zasobów są również ważne. Jeśli na przykład pogrupujesz wiele udziałów dla działu kadr na konto usługi Azure Storage, należy odpowiednio nazwać konto magazynu. Podobnie podczas nadawania nazw udziałom plików platformy Azure należy używać nazw podobnych do używanych dla ich lokalnych odpowiedników.

Teraz wdróż odpowiednią liczbę kont usługi Azure Storage z odpowiednią liczbą udziałów plików platformy Azure w nich, postępując zgodnie z instrukcjami w temacie Tworzenie udziału plików SMB. W większości przypadków należy upewnić się, że region każdego konta magazynu jest taki sam.

Faza 3. Określanie liczby potrzebnych urządzeń Azure DataBox

Uruchom ten krok tylko po zakończeniu poprzedniej fazy. Zasoby usługi Azure Storage (konta magazynu i udziały plików) powinny zostać utworzone w tej chwili. W ramach zamówienia usługi DataBox należy określić, do których kont magazynu są przenoszone dane przez urządzenie DataBox.

W tej fazie należy zamapować wyniki planu migracji z poprzedniej fazy na limity dostępnych opcji DataBox. Te zagadnienia pomogą Ci w planowaniu opcji databox, które należy wybrać i ilu z nich będzie potrzebnych do przeniesienia udziałów NAS do udziałów plików platformy Azure.

Aby określić liczbę potrzebnych urządzeń, należy wziąć pod uwagę następujące ważne limity:

  • Każda usługa Azure DataBox może przenosić dane na maksymalnie 10 kont magazynu.
  • Każda opcja DataBox ma własną pojemność do wykorzystania. Zobacz Opcje usługi DataBox.

Zapoznaj się z planem migracji, aby uzyskać informacje o liczbie kont magazynu, które podjęto decyzję o utworzeniu i udziałach w każdym z nich. Następnie przyjrzyj się rozmiarowi poszczególnych udziałów na serwerze NAS. Połączenie tych informacji pozwoli zoptymalizować i zdecydować, które urządzenie powinno wysyłać dane do których kont magazynu. Możesz mieć dwa urządzenia DataBox przenoszą pliki na to samo konto magazynu, ale nie dzielą zawartości pojedynczego udziału plików w 2 urządzeniach DataBoxes.

Opcje urządzenia DataBox

W przypadku migracji standardowej należy wybrać jedną lub kombinację tych dwóch opcji DataBox:

  • DataBox Jest to najbardziej typowa opcja. Urządzenie DataBox o wzmocnionym rozmiarze, które działa podobnie do nas, zostanie wysłane do Ciebie. Ma do wykorzystania pojemność 80 TiB. Aby uzyskać więcej informacji, zobacz dokumentację usługi DataBox.
  • DataBox Heavy Ta opcja oferuje odporne urządzenie DataBox na kołach, które działa podobnie jak nas, z pojemnością 1 PiB. Pojemność do wykorzystania wynosi około 20% mniej ze względu na obciążenie związane z szyfrowaniem i systemem plików. Aby uzyskać więcej informacji, zobacz dokumentację usługi DataBox Heavy.

Ostrzeżenie

Usługa Data Box Disk nie jest zalecana w przypadku migracji do udziałów plików platformy Azure. Usługa Data Box Disk nie zachowuje metadanych pliku, takich jak uprawnienia dostępu (ACL) i inne atrybuty.

Faza 4. Aprowizuj tymczasowy system Windows Server

Podczas oczekiwania na nadejście urządzenia Azure DataBox(es) możesz już wdrożyć co najmniej jeden serwer z systemem Windows, który będzie potrzebny do uruchamiania zadań narzędzia RoboCopy.

  • Pierwszym zastosowaniem tych serwerów będzie skopiowanie plików do urządzenia DataBox.
  • Drugim zastosowaniem tych serwerów będzie nadrobienie zaległości w zmianach, które wystąpiły na urządzeniu NAS, podczas gdy urządzenie DataBox było w transporcie. Takie podejście utrzymuje przestój po stronie źródłowej do minimum.

Szybkość pracy zadań narzędzia RoboCopy zależy głównie od następujących czynników:

Ważne jest, aby pamiętać o odwołanych szczegółach podczas podejmowania decyzji o pamięci RAM i liczbie wątków, które zostaną podane dla tymczasowych systemów Windows Server.

Faza 5. Przygotowywanie do korzystania z udziałów plików platformy Azure

Aby zaoszczędzić czas, należy kontynuować tę fazę podczas oczekiwania na nadejście urządzenia DataBox. Dzięki informacjom w tej fazie będziesz w stanie zdecydować, w jaki sposób serwery i użytkownicy na platformie Azure i poza platformą Azure będą mogli korzystać z udziałów plików platformy Azure. Najważniejsze decyzje to:

  • Sieć: umożliwia sieciom kierowanie ruchu SMB.
  • Uwierzytelnianie: skonfiguruj konta usługi Azure Storage na potrzeby uwierzytelniania Kerberos. Program AdConnect i domena dołączania do konta magazynu umożliwi aplikacjom i użytkownikom używanie tożsamości usługi AD do uwierzytelniania
  • Autoryzacja: Listy ACL na poziomie udziału dla każdego udziału plików platformy Azure umożliwią użytkownikom i grupom usługi AD dostęp do danego udziału plików i w udziale plików platformy Azure, natywne listy ACL systemu plików NTFS zostaną przejęty. Autoryzacja oparta na listach ACL plików i folderów działa podobnie jak w przypadku lokalnych udziałów SMB.
  • Ciągłość działania: integracja udziałów plików platformy Azure z istniejącym środowiskiem często wiąże się z zachowaniem istniejących adresów udziałów. Jeśli nie używasz jeszcze przestrzeni nazw systemu plików DFS, rozważ ustanowienie go w danym środowisku. Możesz zachować możliwość udostępniania adresów używanych przez użytkowników i skrypty bez zmian. Użyj systemu plików DFS-N jako usługi routingu przestrzeni nazw dla protokołu SMB, przekierowując obiekty docelowe przestrzeni nazw systemu plików DFS do udziałów plików platformy Azure po migracji.

Ten film wideo jest przewodnikiem i pokazem dotyczącym bezpiecznego uwidaczniania udziałów plików platformy Azure bezpośrednio dla pracowników i aplikacji informacyjnych w pięciu prostych krokach.
Klip wideo zawiera dokumentację dedykowaną w następujących tematach. Pamiętaj, że usługa Azure Active Directory jest teraz identyfikatorem Entra firmy Microsoft. Więcej informacji można znaleźć w sekcji Nowa nazwa usługi Azure AD.

Faza 6. Kopiowanie plików do urządzenia DataBox

Po nadejściu urządzenia DataBox należy skonfigurować urządzenie DataBox z nieskrępowaną łącznością sieciową z urządzeniem NAS. Postępuj zgodnie z dokumentacją konfiguracji dla uporządkowanego typu DataBox.

W zależności od typu DataBox może być dostępne narzędzia do kopiowania DataBox. W tym momencie nie są one zalecane w przypadku migracji do udziałów plików platformy Azure, ponieważ nie kopiują plików z pełną wiernością do urządzenia DataBox. Zamiast tego użyj narzędzia RoboCopy.

Po nadejściu urządzenia DataBox będą dostępne wstępnie aprowidowane udziały SMB dla każdego konta magazynu określonego w momencie jego zamawiania.

  • Jeśli pliki przechodzą do udziału plików platformy Azure w warstwie Premium, będzie istnieć jeden udział SMB na konto magazynu "File Storage" w warstwie Premium.
  • Jeśli pliki przechodzą do konta magazynu w warstwie Standardowa, będą istnieć trzy udziały SMB na konto magazynu w warstwie Standardowa (GPv1 i GPv2). Tylko udziały plików kończące się _AzFiles na twoich migracjach są istotne. Ignoruj wszystkie udziały blokowych i stronicowych obiektów blob.

Wykonaj kroki opisane w dokumentacji usługi Azure DataBox:

  1. Nawiązywanie połączenia z urządzeniem Data Box
  2. Kopiowanie danych na urządzenie Data Box
  3. Przygotowywanie urządzenia DataBox do wyjazdu na platformę Azure

Połączona dokumentacja usługi DataBox określa polecenie RoboCopy. Jednak polecenie nie jest odpowiednie do zachowania pełnej wierności pliku i folderu. Zamiast tego użyj tego polecenia:

Robocopy /MT:32 /NP /NFL /NDL /B /MIR /IT /COPY:DATSO /DCOPY:DAT /UNILOG:<FilePathAndName> <SourcePath> <Dest.Path>
  • Aby dowiedzieć się więcej na temat szczegółów poszczególnych flag narzędzia RoboCopy, zapoznaj się z tabelą w nadchodzącej sekcji narzędzia RoboCopy.
  • Aby dowiedzieć się więcej na temat odpowiedniego rozmiaru liczby /MT:nwątków, zoptymalizować szybkość narzędzia RoboCopy i uczynić narzędzie RoboCopy dobrym sąsiadem w centrum danych, zapoznaj się z sekcją rozwiązywania problemów z narzędziem RoboCopy.

Napiwek

Alternatywą dla narzędzia Robocopy jest usługa Data Box, która utworzyła usługę kopiowania danych. Za pomocą tej usługi można załadować pliki na urządzenie Data Box z pełną wiernością. Postępuj zgodnie z tym samouczkiem dotyczącym kopiowania danych i upewnij się, że ustawiono prawidłowy docelowy udział plików platformy Azure.

Faza 7. Nadrabianie zaległości za pomocą narzędzia RoboCopy z serwera NAS

Gdy urządzenie DataBox zgłosi, że wszystkie pliki i foldery zostały umieszczone w planowanych udziałach plików platformy Azure, możesz kontynuować tę fazę. Narzędzie RoboCopy do nadrabiania zaległości jest potrzebne tylko wtedy, gdy dane na serwerze NAS mogły ulec zmianie od czasu rozpoczęcia kopiowania urządzenia DataBox. W niektórych scenariuszach, w których używasz udziału do celów archiwizacji, może być możliwe zatrzymanie zmian udziału w serwerze NAS do momentu zakończenia migracji. Możesz również mieć możliwość obsługi wymagań biznesowych, ustawiając udziały NAS na tylko do odczytu podczas migracji.

W przypadkach, gdy podczas migracji potrzebny jest udział do odczytu i zapisu i może wchłonąć tylko małe okno przestoju, ten krok programu RoboCopy będzie ważny przed przejściem w tryb failover dostępu użytkownika bezpośrednio do udziału plików platformy Azure.

W tym kroku uruchomisz zadania narzędzia RoboCopy, aby nadrobić zaległości udziałów w chmurze z najnowszymi zmianami na serwerze NAS od czasu rozwidlenia udziałów na urządzeniu DataBox. Ten program RoboCopy może zakończyć się szybko lub trochę potrwać, w zależności od ilości zmian, które wystąpiły w udziałach NAS.

Uruchom pierwszą kopię lokalną do folderu docelowego systemu Windows Server:

  1. Zidentyfikuj pierwszą lokalizację na urządzeniu NAS.
  2. Zidentyfikuj pasujący udział plików platformy Azure.
  3. Instalowanie udziału plików platformy Azure jako dysku sieciowego lokalnego w tymczasowym systemie Windows Server
  4. Uruchom kopię przy użyciu narzędzia RoboCopy zgodnie z opisem

Instalowanie udziału plików platformy Azure

Przed rozpoczęciem korzystania z narzędzia RoboCopy należy udostępnić udział plików platformy Azure za pośrednictwem protokołu SMB. Najprostszym sposobem jest zainstalowanie udziału jako dysku sieciowego lokalnego do systemu Windows Server, którego planujesz używać na potrzeby narzędzia RoboCopy.

Ważne

Aby pomyślnie zainstalować udział plików platformy Azure w lokalnym systemie Windows Server, musisz ukończyć fazę : przygotowanie do korzystania z udziałów plików platformy Azure!

Gdy wszystko będzie gotowe, zapoznaj się z artykułem Używanie udziału plików platformy Azure z systemem Windows i zainstaluj udział plików platformy Azure, dla którego chcesz uruchomić program RoboCopy pod kątem nas.

RoboCopy

Następujące polecenie RoboCopy skopiuje tylko różnice (zaktualizowane pliki i foldery) z magazynu NAS do udziału plików platformy Azure.

robocopy <SourcePath> <Dest.Path> /MT:20 /R:2 /W:1 /B /MIR /IT /COPY:DATSO /DCOPY:DAT /NP /NFL /NDL /XD "System Volume Information" /UNILOG:<FilePathAndName>
Przełącznik Znaczenie
/MT:n Umożliwia wielowątkowe uruchomienie narzędzia Robocopy. Wartość domyślna to n 8. Maksymalna liczba wątków to 128. Chociaż duża liczba wątków pomaga usycić dostępną przepustowość, nie oznacza to, że migracja zawsze będzie szybsza z większą liczbą wątków. Testy z usługą Azure Files wskazują między 8 a 20 pokazuje zrównoważoną wydajność początkowego przebiegu kopiowania. Kolejne /MIR uruchomienia są stopniowo dotknięte dostępną przepustowością obliczeniową a dostępną przepustowością sieci. W przypadku kolejnych przebiegów dokładniej dopasuj liczbę wątków do liczby rdzeni procesora i liczby wątków na rdzeń. Zastanów się, czy trzeba zarezerwować rdzenie dla innych zadań serwera produkcyjnego. Testy w usłudze Azure Files wykazały, że maksymalnie 64 wątki generują dobrą wydajność, ale tylko wtedy, gdy procesory mogą utrzymać je w tym samym czasie.
/R:n Maksymalna liczba ponownych prób dla pliku, którego nie udało się skopiować przy pierwszej próbie. Narzędzie Robocopy spróbuje czasy n przed trwałym niepowodzeniem kopiowania pliku w przebiegu. Możesz zoptymalizować wydajność przebiegu: wybierz wartość dwóch lub trzech, jeśli uważasz, że problemy z przekroczeniem limitu czasu spowodowały błędy w przeszłości. Może to być bardziej typowe w przypadku łączy sieci WAN. Jeśli uważasz, że plik nie może skopiować pliku, ponieważ był aktywnie używany, wybierz wartość bez ponawiania prób. Próba ponownie kilka sekund później może nie być wystarczająca do zmiany stanu w użyciu pliku. Użytkownicy lub aplikacje z otwartym plikiem mogą potrzebować więcej godzin. W takim przypadku zaakceptowanie pliku nie zostało skopiowane i przechwycenie go w jednym z planowanych przebiegów narzędzia Robocopy może zakończyć się pomyślnie skopiowaniem pliku. Pomaga to w szybszym zakończeniu bieżącego przebiegu bez przedłużania przez wiele ponownych prób, które ostatecznie kończą się w większości błędów kopiowania z powodu plików nadal otwartych poza limitem czasu ponawiania prób.
/W:n Określa czas, przez który narzędzie Robocopy czeka, zanim podejmie próbę skopiowania pliku, który nie został pomyślnie skopiowany podczas poprzedniej próby. n to liczba sekund oczekiwania między ponowną próbą. /W:n jest często używany razem z /R:n.
/B Uruchamia narzędzie Robocopy w tym samym trybie, którego użyłaby aplikacja do tworzenia kopii zapasowych. Ten przełącznik umożliwia narzędziu Robocopy przenoszenie plików, do których bieżący użytkownik nie ma uprawnień. Przełącznik kopii zapasowej zależy od uruchomienia polecenia Robocopy w konsoli z podwyższonym poziomem uprawnień administratora lub w oknie programu PowerShell. Jeśli używasz narzędzia Robocopy dla usługi Azure Files, upewnij się, że udział plików platformy Azure został zamontowany przy użyciu klucza dostępu do konta magazynu w porównaniu z tożsamością domeny. Jeśli tego nie zrobisz, komunikaty o błędach mogą nie prowadzić intuicyjnie do rozwiązania problemu.
/MIR (Duplikuj źródło do miejsca docelowego) Umożliwia programowi Robocopy kopiowanie tylko różnic między obiektem źródłowym i docelowym. Puste podkatalogi zostaną skopiowane. Elementy (pliki lub foldery), które uległy zmianie lub nie istnieją w miejscu docelowym, zostaną skopiowane. Elementy, które istnieją w miejscu docelowym, ale nie ma ich w źródle, zostaną wyczyszczone (usunięte) z miejsca docelowego. W przypadku korzystania z tego przełącznika dokładnie dopasuj strukturę folderu źródłowego i docelowego. Dopasowanie oznacza skopiowanie z poprawnego poziomu źródła i folderu do pasującego poziomu folderu w obiekcie docelowym. Tylko wtedy tworzenie kopii na zasadzie „nadrobienia zaległości” może zakończyć się powodzeniem. Gdy źródło i cel są niezgodne, użycie /MIR metody spowoduje usunięcie i ponowne usunięcie na dużą skalę.
/IT Zapewnia zachowanie wierności w pewnych scenariuszach dublowania.
Jeśli na przykład plik napotyka zmianę listy ACL i aktualizację atrybutu między dwoma przebiegami narzędzia Robocopy, jest on oznaczony jako ukryty. Bez /ITelementu zmiana listy ACL może zostać pominięta przez narzędzie Robocopy i nie zostanie przeniesiona do lokalizacji docelowej.
/COPY:[copyflags] Wierność kopii pliku. Wartość domyślna: /COPY:DAT. Flagi kopiowania: D= Dane, A= Atrybuty, T= Znaczniki czasu, S= Zabezpieczenia = LISTY ACL NTFS, O= Informacje o właścicielu, U= Informacjeo diting u. W udziale plików platformy Azure nie można przechowywać informacji o inspekcji.
/DCOPY:[copyflags] Wierność kopii katalogów. Wartość domyślna: /DCOPY:DA. Flagi kopiowania: D= Dane, A= Atrybuty, T= Znaczniki czasu.
/NP Określa brak wyświetlania postępu kopiowania dla każdego pliku i folderu. Wyświetlanie postępu znacznie obniża wydajność kopiowania.
/NFL Określa brak rejestrowania nazw plików. Poprawia wydajność kopiowania.
/NDL Określa brak rejestrowania nazw katalogów. Poprawia wydajność kopiowania.
/XD Określa katalogi, które mają być wykluczone. Podczas uruchamiania narzędzia Robocopy w katalogu głównym woluminu rozważ wykluczenie ukrytego System Volume Information folderu. Jeśli są one używane zgodnie z projektem, wszystkie informacje w nim są specyficzne dla dokładnego woluminu w tym dokładnym systemie i można je ponownie skompilować na żądanie. Kopiowanie tych informacji nie będzie przydatne w chmurze ani kiedy dane są kiedykolwiek kopiowane z powrotem do innego woluminu systemu Windows. Pozostawienie tej zawartości nie powinno być traktowane jako utrata danych.
/UNILOG:<file name> Zapisuje stan w pliku dziennika jako Unicode. (Zastępuje istniejący dziennik).
/L Tylko w przypadku uruchomienia testowego
pliki mają być wyświetlane tylko. Nie zostaną one skopiowane, usunięte ani oznaczone sygnaturą czasową. Często używane w /TEE przypadku danych wyjściowych konsoli. Może być konieczne usunięcie flag z przykładowego skryptu, takiego jak /NP, /NFLi /NDL, w celu uzyskania prawidłowych udokumentowanych wyników testu.
/Z
Ostrożnie kopiuje pliki w trybie ponownego uruchamiania. Ten przełącznik jest zalecany tylko w niestabilnym środowisku sieciowym. Znacznie zmniejsza wydajność kopiowania z powodu dodatkowego rejestrowania.
/ZB Należy ostrożnie
używać trybu ponownego uruchamiania. W przypadku odmowy dostępu ta opcja używa trybu tworzenia kopii zapasowej. Ta opcja znacznie zmniejsza wydajność kopiowania z powodu tworzenia punktów kontrolnych.

Ważne

Zalecamy używanie systemu Windows Server 2022. W przypadku korzystania z systemu Windows Server 2019 upewnij się, że zainstalowano najnowszą wersję poprawki lub co najmniej KB5005103 aktualizacji systemu operacyjnego. Zawiera ważne poprawki dla niektórych scenariuszy narzędzia Robocopy.

Napiwek

Zapoznaj się z sekcją Rozwiązywanie problemów, jeśli narzędzie RoboCopy wpływa na środowisko produkcyjne, zgłasza wiele błędów lub nie postępuje tak szybko, jak oczekiwano.

Przecięcie użytkownika

Po uruchomieniu polecenia RoboCopy po raz pierwszy użytkownicy i aplikacje nadal uzyskują dostęp do plików na serwerze NAS i potencjalnie je zmieniają. Możliwe, że narzędzie RoboCopy przetworzyło katalog, przechodzi do następnego, a następnie użytkownik w lokalizacji źródłowej (NAS) dodaje, zmienia lub usuwa plik, który nie zostanie przetworzony w tym bieżącym uruchomieniu narzędzia RoboCopy. To zachowanie jest oczekiwane.

Pierwszy przebieg polega na przeniesieniu większości zmian danych do udziału plików platformy Azure. Ta pierwsza kopia może chwilę potrwać. Zapoznaj się z sekcją Rozwiązywanie problemów, aby uzyskać więcej informacji na temat tego, co może mieć wpływ na szybkość narzędzia RoboCopy.

Po zakończeniu początkowego przebiegu ponownie uruchom polecenie.

Po raz drugi uruchomisz narzędzie RoboCopy dla tego samego udziału, zostanie ono zakończone szybciej, ponieważ musi tylko transportować zmiany, które wystąpiły od ostatniego uruchomienia. Można uruchamiać powtarzające się zadania dla tego samego udziału.

Jeśli weźmiesz pod uwagę akceptowalny przestój, musisz usunąć dostęp użytkownika do udziałów opartych na nas. Można to zrobić, wykonując wszystkie kroki, które uniemożliwiają użytkownikom zmianę struktury plików i folderów oraz zawartości. Przykładem jest wskazanie przestrzeni nazw systemu plików DFS na nieistnieną lokalizację lub zmianę głównych list ACL w udziale.

Uruchom jedną ostatnią rundę narzędzia RoboCopy. Spowoduje to odebranie wszelkich zmian, które mogły zostać pominięte. Czas wykonywania tego ostatniego kroku zależy od szybkości skanowania za pomocą narzędzia RoboCopy. Możesz oszacować czas (który jest równy przestojowi), mierząc czas poprzedniego uruchomienia.

Utwórz udział w folderze systemu Windows Server i ewentualnie dostosuj wdrożenie systemu plików DFS-N, aby wskazywało go. Pamiętaj, aby ustawić te same uprawnienia na poziomie udziału co w udziale SMB nas. Jeśli masz serwer NAS przyłączony do domeny klasy przedsiębiorstwa, identyfikatory SID użytkownika będą automatycznie zgodne, ponieważ użytkownicy istnieją w usłudze Active Directory i RoboCopy kopiuje pliki i metadane w pełnej wierności. Jeśli używasz użytkowników lokalnych na serwerze NAS, musisz ponownie utworzyć tych użytkowników jako użytkowników lokalnych systemu Windows Server i mapować istniejące identyfikatory SID RoboCopy przeniesione do systemu Windows Server do identyfikatorów SID nowych użytkowników lokalnych systemu Windows Server.

Zakończono migrację udziału/grupy udziałów do wspólnego katalogu głównego lub woluminu.

Możesz spróbować uruchomić kilka z tych kopii równolegle. Zalecamy przetwarzanie zakresu jednego udziału plików platformy Azure jednocześnie.

Rozwiązywanie problemów

Szybkość i szybkość działania danego przebiegu narzędzia RoboCopy zależy od kilku czynników:

  • Liczba operacji we/wy na sekundę w magazynie źródłowym i docelowym
  • dostępna przepustowość sieci między źródłem a obiektem docelowym
  • możliwość szybkiego przetwarzania plików i folderów w przestrzeni nazw
  • liczba zmian między przebiegami narzędzia RoboCopy
  • rozmiar i liczba plików, które należy skopiować

Zagadnienia dotyczące liczby operacji we/wy na sekundę i przepustowości

W tej kategorii należy wziąć pod uwagę możliwości magazynu źródłowego, magazynu docelowego i sieci łączącej je. Maksymalna możliwa przepływność jest określana przez najwolniejsze z tych trzech składników. Upewnij się, że infrastruktura sieciowa jest skonfigurowana do obsługi optymalnej szybkości transferu do najlepszych możliwości.

Uwaga

Podczas kopiowania tak szybko, jak to możliwe, jest często najbardziej pożądane, należy wziąć pod uwagę wykorzystanie sieci lokalnej i urządzenia NAS dla innych, często krytycznych dla działania firmy zadań.

Kopiowanie tak szybko, jak to możliwe, może nie być pożądane, gdy istnieje ryzyko, że migracja może zmonopolizować dostępne zasoby.

  • Zastanów się, kiedy najlepiej jest uruchamiać migracje: w ciągu dnia, poza godzinami pracy lub w weekendy.
  • Należy również rozważyć użycie funkcji QoS sieci w systemie Windows Server, aby ograniczyć szybkość narzędzia RoboCopy.
  • Unikaj niepotrzebnej pracy dla narzędzi migracji.

Narzędzie RoboCopy może wstawiać opóźnienia między pakietami, określając /IPG:n przełącznik n mierzony w milisekundach między pakietami RoboCopy. Użycie tego przełącznika może pomóc uniknąć monopolizacji zasobów na urządzeniach z ograniczeniami we/wy i zatłoczonych linków sieciowych.

/IPG:n Nie można używać do precyzyjnego ograniczania przepustowości sieci do określonego Mb/s. Zamiast tego należy użyć funkcji QoS sieci systemu Windows Server. Narzędzie RoboCopy całkowicie opiera się na protokole SMB dla wszystkich potrzeb sieciowych. Użycie protokołu SMB jest powodem, dla którego narzędzie RoboCopy nie może wpływać na samą przepływność sieci, ale może spowolnić jego użycie.

Podobna linia myśli ma zastosowanie do liczby operacji we/wy na sekundę obserwowanych na serwerze NAS. Rozmiar klastra na woluminie NAS, rozmiarach pakietów i tablicy innych czynników wpływa na obserwowaną liczbę operacji we/wy na sekundę. Wprowadzenie opóźnienia między pakietami jest często najprostszym sposobem kontrolowania obciążenia na serwerze NAS. Przetestuj wiele wartości, na przykład z około 20 milisekund (n=20) do wielokrotności tej liczby. Po wprowadzeniu opóźnienia możesz ocenić, czy inne aplikacje mogą teraz działać zgodnie z oczekiwaniami. Ta strategia optymalizacji umożliwi znalezienie optymalnej szybkości narzędzia RoboCopy w środowisku.

Szybkość przetwarzania

Narzędzie RoboCopy przejdzie przez przestrzeń nazw wskazywaną i ocenia poszczególne pliki i foldery pod kątem kopiowania. Każdy plik zostanie oceniony podczas początkowej kopii i podczas tworzenia zaległych kopii. Na przykład powtarzające się uruchomienia narzędzia RoboCopy /MIR względem tych samych lokalizacji źródłowych i docelowych. Te powtarzające się przebiegi są przydatne w celu zminimalizowania przestojów dla użytkowników i aplikacji oraz poprawy ogólnego współczynnika powodzenia migrowanych plików.

Często domyślnie rozważamy przepustowość jako najbardziej ograniczający czynnik migracji — i może to być prawdziwe. Jednak możliwość wyliczania przestrzeni nazw może mieć wpływ na całkowity czas kopiowania jeszcze więcej dla większych przestrzeni nazw z mniejszymi plikami. Należy wziąć pod uwagę, że kopiowanie 1 TiB małych plików będzie trwać znacznie dłużej niż kopiowanie 1 TiB mniej, ale większych plików, przy założeniu, że wszystkie inne zmienne pozostają takie same. W związku z tym w przypadku migrowania dużej liczby małych plików może wystąpić powolne przesyłanie. Jest to oczekiwane zachowanie.

Przyczyną tej różnicy jest moc obliczeniowa wymagana do przejścia przez przestrzeń nazw. Narzędzie RoboCopy obsługuje kopie wielowątkowe za pośrednictwem parametru /MT:n , w którym n oznacza liczbę wątków do użycia. Dlatego podczas aprowizowania maszyny specjalnie dla narzędzia RoboCopy należy wziąć pod uwagę liczbę rdzeni procesora i ich relację z liczbą wątków, które zapewniają. Najczęściej są to dwa wątki na rdzeń. Liczba rdzeni i wątków maszyny jest ważnym punktem danych, który decyduje o tym, jakie wartości /MT:n wielowątkowa należy określić. Należy również rozważyć liczbę zadań narzędzia RoboCopy, które mają być uruchamiane równolegle na danej maszynie.

Więcej wątków skopiuje nasz przykład 1-TiB małych plików znacznie szybciej niż mniej wątków. Jednocześnie dodatkowa inwestycja zasobów w nasze 1 TiB większych plików może nie przynieść proporcjonalnych korzyści. Duża liczba wątków podejmie próbę skopiowania większej liczby dużych plików za pośrednictwem sieci jednocześnie. Ta dodatkowa aktywność sieci zwiększa prawdopodobieństwo ograniczenia przepływności lub liczby operacji we/wy na sekundę magazynu.

Podczas pierwszego narzędzia RoboCopy do pustego miejsca docelowego lub różnicowego przebiegu z dużą częścią zmienionych plików prawdopodobnie przepustowość sieci jest ograniczona. Zacznij od dużej liczby wątków dla początkowego przebiegu. Duża liczba wątków, nawet poza aktualnie dostępnymi wątkami na maszynie, pomaga usycić dostępną przepustowość sieci. Kolejne uruchomienia /MIR są stopniowo dotknięte przez przetwarzanie elementów. Mniejsza liczba zmian w różnicowym przebiegu oznacza mniej transportu danych za pośrednictwem sieci. Szybkość jest teraz bardziej zależna od możliwości przetwarzania elementów przestrzeni nazw niż przenoszenia ich za pośrednictwem łącza sieciowego. W przypadku kolejnych przebiegów dopasuj wartość liczby wątków do liczby rdzeni procesora i liczby wątków na rdzeń. Rozważ, czy rdzenie muszą być zarezerwowane dla innych zadań, które może mieć serwer produkcyjny.

Napiwek

Reguła kciuka: pierwsze uruchomienie narzędzia RoboCopy, które spowoduje przeniesienie dużej ilości danych sieci o większym opóźnieniu, korzyści wynikające z nadmiernej aprowizacji liczby wątków (/MT:n). Kolejne przebiegi będą kopiować mniej różnic i częściej przechodzisz z ograniczeń przepływności sieci do zasobów obliczeniowych. W tych okolicznościach często lepiej jest dopasować liczbę wątków narzędzia RoboCopy do rzeczywiście dostępnych wątków na maszynie. Nadmierna aprowizacja w tym scenariuszu może prowadzić do większej liczby zmian kontekstu w procesorze, co może spowodować spowolnienie kopiowania.

Unikaj niepotrzebnej pracy

Unikaj zmian na dużą skalę w przestrzeni nazw. Na przykład przenoszenie plików między katalogami, zmienianie właściwości na dużą skalę lub zmienianie uprawnień (listy ACL systemu plików NTFS). Szczególnie zmiany listy ACL mogą mieć duży wpływ, ponieważ często mają kaskadowy wpływ zmian na pliki niższe w hierarchii folderów. Konsekwencje mogą być następujące:

  • rozszerzony czas wykonywania zadania RoboCopy, ponieważ każdy plik i folder, którego dotyczy zmiana listy ACL, musi zostać zaktualizowana
  • Ponowne kopiowanie przeniesionych wcześniej danych może wymagać ponownego skopiowania. Na przykład należy skopiować więcej danych, gdy struktury folderów zmieniają się po skopiowaniu plików wcześniej. Zadanie RoboCopy nie może "odtworzyć" zmiany przestrzeni nazw. Następne zadanie musi przeczyścić pliki wcześniej przetransportowane do starej struktury folderów i ponownie przekazać pliki w nowej strukturze folderów.

Innym ważnym aspektem jest efektywne użycie narzędzia RoboCopy. Za pomocą zalecanego skryptu RoboCopy utworzysz i zapiszesz plik dziennika pod kątem błędów. Mogą wystąpić błędy kopiowania — jest to normalne. Te błędy często sprawiają, że konieczne jest uruchomienie wielu rund narzędzia do kopiowania, takiego jak RoboCopy. Początkowy przebieg, powiedzmy z serwera NAS do usługi DataBox lub serwera do udziału plików platformy Azure. I co najmniej jeden dodatkowy przebieg z przełącznikiem /MIR, aby przechwycić i ponowić próby plików, które nie były kopiowane.

Należy przygotować się do uruchamiania wielu rund narzędzia RoboCopy względem danego zakresu przestrzeni nazw. Kolejne przebiegi zakończą się szybciej, ponieważ mają mniej do skopiowania, ale są coraz bardziej ograniczone przez szybkość przetwarzania przestrzeni nazw. Po uruchomieniu wielu rund można przyspieszyć każdą rundę, nie mając narzędzia RoboCopy, spróbuj niepotrzebnie skopiować wszystko w danym przebiegu. Te przełączniki RoboCopy mogą mieć znaczącą różnicę:

  • /R:n n = częstotliwość ponawiania próby skopiowania pliku, który zakończył się niepowodzeniem
  • /W:n n = ile sekund oczekiwania między ponowną próbą

/R:5 /W:5 to rozsądne ustawienie, które można dostosować do swoich potrzeb. W tym przykładzie plik, który zakończył się niepowodzeniem, zostanie ponowiony pięć razy, a pięciosekundowy czas oczekiwania między ponownymi próbami. Jeśli nadal nie można skopiować pliku, następne zadanie narzędzia RoboCopy spróbuje ponownie. Często pliki, które zakończyły się niepowodzeniem, ponieważ są w użyciu lub z powodu problemów z przekroczeniem limitu czasu, mogą zostać pomyślnie skopiowane w ten sposób.

Następne kroki

Istnieje więcej informacji na temat udziałów plików platformy Azure. Poniższe artykuły ułatwiają zrozumienie zaawansowanych opcji, najlepszych rozwiązań oraz pomoc dotyczącą rozwiązywania problemów. Te artykuły łączą się z dokumentacją udziału plików platformy Azure zgodnie z potrzebami.