Udostępnij za pośrednictwem

Samouczek: kopiowanie danych do urządzenia Azure Data Box Heavy za pośrednictwem systemu plików NFS

  • Artykuł

W tym samouczku opisano sposób nawiązywania połączenia i kopiowania danych z komputera hosta przy użyciu lokalnego internetowego interfejsu użytkownika do urządzenia Azure Data Box Heavy.

Z tego samouczka dowiesz się, jak wykonywać następujące czynności:

  • Wymagania wstępne
  • Nawiązywanie połączenia z urządzeniem Data Box Heavy
  • Kopiowanie danych na urządzenie Data Box Heavy

Wymagania wstępne

Przed rozpoczęciem upewnij się, że:

  1. Ukończono samouczek : konfigurowanie urządzenia Azure Data Box Heavy.
  2. Otrzymano urządzenie Data Box Heavy, a stan zamówienia w portalu to Dostarczono.
  3. Masz komputer-host zawierający dane, które mają zostać skopiowane na urządzenie Data Box Heavy. Komputer-host musi
    • Korzystanie z obsługiwanego systemu operacyjnego.
    • Połączenie z siecią o dużej szybkości. Aby uzyskać największe szybkości kopiowania, można użyć dwóch równoległych połączeń 40-GbE (po jednym na węzeł). Jeśli nie masz dostępnego połączenia 40-GbE, zalecamy skorzystanie z co najmniej dwóch połączeń 10-GbE (po jednym na węzeł).

Nawiązywanie połączenia z urządzeniem Data Box Heavy

W zależności od wybranego konta magazynu dla urządzenia Data Box Heavy są tworzone następujące elementy:

  • Maksymalnie trzy udziały dla każdego skojarzonego konta magazynu (GPv1 i GPv2).
  • Jeden udział w usłudze Premium Storage.
  • Jeden udział dla konta magazynu obiektów blob.

Te udziały są tworzone w obu węzłach urządzenia.

W przypadku udziałów blokowych i stronicowych obiektów blob:

  • Jednostki pierwszego poziomu są kontenerami.
  • Jednostki drugiego poziomu to obiekty blob.

W przypadku udziałów usługi Azure Files:

  • Jednostki pierwszego poziomu są udziałami.
  • Jednostki drugiego poziomu to pliki.

W poniższej tabeli przedstawiono ścieżkę UNC do udziałów na urządzeniu Data Box Heavy i adres URL ścieżki w usłudze Azure Storage, na który przekazywane są dane. Ostateczny adres URL w usłudze Azure Storage można uzyskać ze ścieżki udziału UNC.

Storage Ścieżka UNC
Blokowe obiekty blob platformy Azure
  • Ścieżka UNC do udziałów: //<DeviceIPAddress>/<StorageAccountName_BlockBlob>/<ContainerName>/files/a.txt
  • Adres URL w usłudze Azure Storage: https://<StorageAccountName>.blob.core.windows.net/<ContainerName>/files/a.txt
    		•
    Stronicowe obiekty blob platformy Azure
  • Ścieżka UNC do udziałów: //<DeviceIPAddress>/<StorageAccountName_PageBlob>/<ContainerName>/files/a.txt
  • Adres URL w usłudze Azure Storage: https://<StorageAccountName>.blob.core.windows.net/<ContainerName>/files/a.txt
    		•
    Azure Files
  • Ścieżka UNC do udziałów: //<DeviceIPAddress>/<StorageAccountName_AzFile>/<ShareName>/files/a.txt
  • Adres URL w usłudze Azure Storage: https://<StorageAccountName>.file.core.windows.net/<ShareName>/files/a.txt
    		•

    Jeśli używasz komputera hosta z systemem Linux, wykonaj następujące kroki, aby skonfigurować urządzenie, aby zezwolić na dostęp do klientów NFS.

    1. Podaj adresy IP dozwolonych klientów, którzy mogą uzyskiwać dostęp do udziału. W lokalnym internetowym interfejsie użytkownika przejdź do strony Połącz i skopiuj. W obszarze Ustawienia sieciowego systemu plików kliknij przycisk Dostęp klienta do sieciowego systemu plików.

      Konfigurowanie dostępu klienta do sieciowego systemu plików 1

    2. Podaj adres IP klienta sieciowego systemu plików i kliknij przycisk Dodaj. Powtarzając ten krok, możesz skonfigurować dostęp dla wielu klientów sieciowego systemu plików. Kliknij przycisk OK.

      Konfigurowanie dostępu klienta do sieciowego systemu plików 2

    3. Upewnij się, że na komputerze-hoście z systemem Linux zainstalowano obsługiwaną wersję klienta sieciowego systemu plików. Użyj konkretnej wersji dla określonej dystrybucji systemu Linux.

    4. Po zainstalowaniu klienta sieciowego systemu plików użyj następującego polecenia, aby zainstalować udział sieciowego systemu plików na Twoim urządzeniu Data Box:

      sudo mount <Data Box Heavy device IP>:/<NFS share on Data Box Heavy device> <Path to the folder on local Linux computer>

      W poniższym przykładzie pokazano, jak nawiązać połączenie za pośrednictwem systemu plików NFS z udziałem Data Box Heavy. Adres IP urządzenia Data Box Heavy to 10.161.23.130, udział Mystoracct_Blob jest instalowany na maszynie ubuntuVM. Punkt instalacji to /home/databoxheavyubuntuhost/databoxheavy.

      sudo mount -t nfs 10.161.23.130:/Mystoracct_Blob /home/databoxheavyubuntuhost/databoxheavy

      W przypadku klientów z komputerami Mac musisz w następujący sposób dodać dodatkową opcję:

      sudo mount -t nfs -o sec=sys,resvport 10.161.23.130:/Mystoracct_Blob /home/databoxheavyubuntuhost/databoxheavy

      Zawsze należy utworzyć w udziale folder na pliki, które chcesz skopiować, a następnie skopiować pliki do tego folderu. Folder utworzony w ramach udziałów blokowych obiektów blob i stronicowych obiektów blob reprezentuje kontener, do którego dane są przekazywane w postaci obiektów blob. Plików nie można kopiować bezpośrednio do folderu głównego na koncie magazynu.

    Kopiowanie danych na urządzenie Data Box Heavy

    Po nawiązaniu połączenia z udziałami Data Box Heavy następnym krokiem jest skopiowanie danych. Przed rozpoczęciem kopiowania danych należy uwzględnić następujące kwestie:

    • Upewnij się, że dane są kopiowane do udziałów odpowiadających właściwym formatom danych. To znaczy na przykład, że dane blokowych obiektów blob są kopiowane do udziału dla blokowych obiektów blob. Skopiuj wirtualne dyski twarde do stronicowych obiektów blob. Jeśli format danych nie pasuje do odpowiedniego typu udziału, na późniejszym etapie przekazywanie danych na platformę Azure zakończy się niepowodzeniem.

    • Podczas kopiowania danych upewnij się, że rozmiar danych jest zgodny z limitami rozmiaru opisanymi w limitach usługi Azure Storage i Data Box Heavy.

    • Jeśli dane przekazywane przy użyciu urządzenia Data Box Heavy będą jednocześnie przekazywane przez inne aplikacje, poza urządzeniem Data Box Heavy, skutkiem może być niepowodzenie zadania przekazywania oraz uszkodzenie danych.

    • Nie zaleca się jednoczesnego używania protokołu SMB i sieciowego systemu plików ani kopiowania tych samych danych do tego samego końcowego miejsca docelowego na platformie Azure. W takich przypadkach nie można określić ostatecznego wyniku.

    • Zawsze należy utworzyć w udziale folder na pliki, które chcesz skopiować, a następnie skopiować pliki do tego folderu. Folder utworzony w ramach udziałów blokowych obiektów blob i stronicowych obiektów blob reprezentuje kontener, do którego dane są przekazywane w postaci obiektów blob. Plików nie można kopiować bezpośrednio do folderu głównego na koncie magazynu.

    • W przypadku pozyskiwania katalogów i nazw plików z udziału NFS do systemu plików NFS w usłudze Data Box Heavy:

      • Wielkość liter jest zachowywana w nazwie.
      • Pliki są niewrażliwe na wielkość liter.

      Na przykład jeśli kopiowanie SampleFile.txt i Samplefile.Txt, przypadek zostanie zachowany w nazwie podczas kopiowania do urządzenia, ale drugi plik zastąpi pierwszy, ponieważ są one traktowane jako ten sam plik.

    Jeśli korzystasz z komputera-hosta z systemem Linux, użyj narzędzia do kopiowania podobnego do narzędzia Robocopy. W systemie Linux są dostępne na przykład narzędzia rsync, FreeFileSync, Unison lub Ultracopier.

    Polecenie cp jest jedną z najlepszych opcji do kopiowania katalogów. Aby uzyskać więcej informacji dotyczących użycia, przejdź do stron man narzędzia cp.

    W przypadku korzystania z opcji rsync na potrzeby kopiowania wielowątkowego należy przestrzegać następujących wytycznych:

    • Zainstaluj pakiet CIFS Utils lub NFS Utils w zależności od systemu plików używanego przez Twojego klienta systemu Linux.

      sudo apt-get install cifs-utils

      sudo apt-get install nfs-utils

    • Zainstaluj narzędzia Rsync i Parallel (polecenia różnią się w zależności od wersji dystrybucji systemu Linux).

      sudo apt-get install rsync

      sudo apt-get install parallel

    • Utwórz punkt instalacji.

      sudo mkdir /mnt/databoxheavy

    • Zainstaluj wolumin.

      sudo mount -t NFS4 //Databox-heavy-IP-Address/share_name /mnt/databoxheavy

    • Zdubluj strukturę katalogów folderów.

      rsync -za --include='*/' --exclude='*' /local_path/ /mnt/databoxheavy

    • Skopiuj pliki.

      cd /local_path/; find -L . -type f | parallel -j X rsync -za {} /mnt/databoxheavy/{}

      gdzie j określa liczbę przetwarzań równoległych, X = liczba równoległych kopii

      Na początku zaleca się użycie 16 równoległych kopii i zwiększanie liczby wątków w zależności od dostępności zasobów.

    Ważne

    Następujące typy plików systemu Linux nie są obsługiwane: linki symboliczne, pliki znaków, pliki blokowe, gniazda i potoki. Te typy plików spowodują błędy podczas kroku Przygotowywanie do wysłania .

    Otwórz folder docelowy, aby wyświetlić i zweryfikować skopiowane pliki. Jeśli podczas procesu kopiowania wystąpiły jakiekolwiek błędy, pobierz pliki z błędami, które pomogą w rozwiązywaniu problemów. Aby uzyskać więcej informacji, zobacz Wyświetlanie dzienników błędów podczas kopiowania danych na urządzenie Data Box Heavy. Aby uzyskać szczegółową listę błędów występujących podczas kopiowania danych, zobacz Rozwiązywanie problemów z urządzeniem Data Box Heavy.

    W celu zapewnienia integralności danych podczas kopiowania obliczana jest suma kontrolna. Po zakończeniu kopiowania sprawdź ilość używanego i wolnego miejsca na urządzeniu.

    Sprawdzanie wolnego i używanego miejsca na pulpicie nawigacyjnym

    Następne kroki

    W tym samouczku przedstawiono zagadnienia dotyczące urządzenia Azure Data Box Heavy, takie jak:

    • Wymagania wstępne
    • Nawiązywanie połączenia z urządzeniem Data Box Heavy
    • Kopiowanie danych na urządzenie Data Box Heavy

    Przejdź do następnego samouczka, aby dowiedzieć się, jak odesłać urządzenie Data Box do firmy Microsoft.

    Wysyłka urządzenia Azure Data Box Heavy do firmy Microsoft