Sdílet prostřednictvím

Kurz: Kopírování dat do Azure Data Boxu Heavy přes SYSTÉM SOUBORŮ NFS

  • Článek

Tento kurz popisuje, jak se připojit k hostitelskému počítači a kopírovat data z hostitelského počítače pomocí místního webového uživatelského rozhraní do Azure Data Boxu Heavy.

V tomto kurzu se naučíte:

  • Požadavky
  • Připojení k Data Boxu Heavy
  • Kopírování dat do Data Boxu Heavy

Požadavky

Než začnete, ujistěte se, že:

  1. Dokončili jste kurz: Nastavení Azure Data Boxu Heavy.
  2. Obdrželi jste Data Box Heavy a stav objednávky na portálu je Doručeno.
  3. Máte hostitelský počítač, který obsahuje data, která chcete zkopírovat do Data Boxu Heavy. Váš hostitelský počítač musí
    • Musí na něm běžet podporovaný operační systém.
    • Musí být připojený k vysokorychlostní síti. Největší rychlosti kopírování je možné dosáhnout použitím dvou paralelních připojení 40 GbE (jedno na uzel). Pokud nemáte k dispozici připojení 40 GbE, doporučujeme použít alespoň dvě připojení 10 GbE (jedno na uzel).

Připojení k Data Boxu Heavy

V závislosti na vybraném účtu úložiště vytvoří Data Box Heavy až:

  • Tři sdílené složky pro každý přidružený účet úložiště GPv1 a GPv2.
  • Jednu sdílenou složku pro každou službu Storage úrovně Premium.
  • Jednu sdílenou složku pro každý účet úložiště objektů blob.

Tyto sdílené složky se vytvoří na obou uzlech zařízení.

V rámci sdílených složek objektů blob bloku a objektů blob stránky:

  • Entity první úrovně jsou kontejnery.
  • Entity druhé úrovně jsou objekty blob.

V rámci sdílených složek pro službu Azure Files:

  • Entity první úrovně jsou sdílené složky.
  • Entity druhé úrovně jsou soubory.

Následující tabulka uvádí cestu UNC ke sdíleným složkám ve vašem Data Boxu Heavy a adresu URL cesty ke službě Azure Storage, ve které jsou data nahraná. Konečnou adresu URL cesty ke službě Azure Storage je možné odvodit z cesty UNC ke sdílené složce.

Úložiště Cesta UNC
Objekty blob bloku Azure
  • Cesta UNC ke sdíleným složkám: //<DeviceIPAddress>/<StorageAccountName_BlockBlob>/<ContainerName>/files/a.txt
  • Adresa URL služby Azure Storage: https://<StorageAccountName>.blob.core.windows.net/<ContainerName>/files/a.txt
    		•
    Objekty blob stránky Azure
  • Cesta UNC ke sdíleným složkám: //<DeviceIPAddress>/<StorageAccountName_PageBlob>/<ContainerName>/files/a.txt
  • Adresa URL služby Azure Storage: https://<StorageAccountName>.blob.core.windows.net/<ContainerName>/files/a.txt
    		•
    Soubory Azure
  • Cesta UNC ke sdíleným složkám: //<DeviceIPAddress>/<StorageAccountName_AzFile>/<ShareName>/files/a.txt
  • Adresa URL služby Azure Storage: https://<StorageAccountName>.file.core.windows.net/<ShareName>/files/a.txt
    		•

    Pokud používáte hostitelský počítač s Linuxem, pomocí následujících kroků nakonfigurujte zařízení tak, aby umožňovalo přístup k klientům NFS.

    1. Zadejte IP adresy klientů s povoleným přístupem ke sdílené složce. V místním webovém uživatelském rozhraní přejděte na stránku Připojit a kopírovat. V části Nastavení systému souborů NFS klikněte na Přístup klientů systému souborů NFS.

      Konfigurace přístupu klientů systému souborů NFS 1

    2. Zadejte IP adresu klienta systému souborů NFS a klikněte na Přidat. Opakováním tohoto kroku můžete nakonfigurovat přístup pro více klientů systému souborů NFS. Klikněte na OK.

      Konfigurace přístupu klientů systému souborů NFS 2

    3. Ujistěte se, že je na hostitelském počítači s Linuxem nainstalovaná podporovaná verze klienta systému souborů NFS. Použijte konkrétní verzi pro vaši distribuci Linuxu.

    4. Po nainstalování klienta systému souborů NFS pomocí následujícího příkazu připojte sdílenou složku systému souborů NFS ke svému zařízení Data Box:

      sudo mount <Data Box Heavy device IP>:/<NFS share on Data Box Heavy device> <Path to the folder on local Linux computer>

      Následující příklad ukazuje, jak se připojit přes systém souborů NFS ke sdílené složce Data Box Heavy. Data Box Heavy IP je 10.161.23.130, sdílená složka Mystoracct_Blob je připojena k ubuntuVM, přípojný bod je /home/databoxheavyubuntuhost/databoxheavy.

      sudo mount -t nfs 10.161.23.130:/Mystoracct_Blob /home/databoxheavyubuntuhost/databoxheavy

      Pro klienty Mac budete muset přidat další možnost následujícím způsobem:

      sudo mount -t nfs -o sec=sys,resvport 10.161.23.130:/Mystoracct_Blob /home/databoxheavyubuntuhost/databoxheavy

      Vždy vytvořte složku pro soubory, které chcete kopírovat, v rámci sdílené složky a potom je zkopírujte do této složky. Složky vytvořené ve sdílených složkách objektů blob bloku a objektů blob stránky představují kontejnery, do kterých se data nahrávají jako objekty blob. Soubory nemůžete kopírovat přímo do složky root v účtu úložiště.

    Kopírování dat do Data Boxu Heavy

    Po připojení ke sdíleným složkám Data Boxu Heavy je dalším krokem kopírování dat. Než začnete s kopírováním dat, projděte si následující důležité informace:

    • Ujistěte se, že data kopírujete do sdílených složek odpovídajících příslušnému formátu dat. Data objektů blob bloku je například potřeba zkopírovat do sdílené složky určené pro objekty blob bloku. Zkopírujte virtuální pevné disky do objektů blob stránky. Pokud formát dat neodpovídá příslušnému typu sdílené složky, nahrávání dat do Azure v pozdějším kroku selže.

    • Při kopírování dat se ujistěte, že velikost dat odpovídá omezením velikosti popsaným v limitech úložiště Azure a Data Boxu Heavy.

    • Pokud data nahrávaná Data Boxem Heavy zároveň nahrávají jiné aplikace mimo Data Box Heavy, může to způsobit selhání úlohy nahrávání a poškození dat.

    • Doporučujeme, abyste nepoužívali protokol SMB a systém souborů NFS současně a abyste nekopírovali stejná data do stejného cíle v Azure. V takových případech není možné určit konečný výsledek.

    • Vždy vytvořte složku pro soubory, které chcete kopírovat, v rámci sdílené složky a potom je zkopírujte do této složky. Složky vytvořené ve sdílených složkách objektů blob bloku a objektů blob stránky představují kontejnery, do kterých se data nahrávají jako objekty blob. Soubory nemůžete kopírovat přímo do složky root v účtu úložiště.

    • Pokud ingestování názvů adresářů a souborů citlivých na malá a velká písmena ze sdílené složky NFS do systému souborů NFS v Data Boxu Heavy:

      • Velká a malá písmena se zachovají v názvu.
      • Soubory nerozlišují malá a velká písmena.

      Pokud například kopírování SampleFile.txt a Samplefile.Txt, bude případ zachován v názvu při kopírování do zařízení, ale druhý soubor přepíše první, protože jsou považovány za stejný soubor.

    Pokud používáte hostitelský počítač s Linuxem, použijte podobný nástroj pro kopírování jako Robocopy. Mezi dostupné alternativy v Linuxu patří rsync, FreeFileSync, Unison nebo Ultracopier.

    Jednou z nejlepších možností, jak zkopírovat adresář, je příkaz cp. Další informace o jeho použití najdete na manuálových stránkách pro příkaz cp.

    Pokud používáte možnost rsync ke kopírování s více vlákny, postupujte podle těchto pokynů:

    • V závislosti na systému souborů, který používá váš klient Linuxu, nainstalujte balíček CIFS Utils nebo NFS Utils.

      sudo apt-get install cifs-utils

      sudo apt-get install nfs-utils

    • Nainstalujte Rsync a Parallel (liší se v závislosti na distribuované verzi Linuxu).

      sudo apt-get install rsync

      sudo apt-get install parallel

    • Vytvořte přípojný bod.

      sudo mkdir /mnt/databoxheavy

    • Připojte svazek.

      sudo mount -t NFS4 //Databox-heavy-IP-Address/share_name /mnt/databoxheavy

    • Zrcadlete adresářovou strukturu složky.

      rsync -za --include='*/' --exclude='*' /local_path/ /mnt/databoxheavy

    • Zkopírujte soubory.

      cd /local_path/; find -L . -type f | parallel -j X rsync -za {} /mnt/databoxheavy/{}

      V tomto příkazu parametr j určuje úroveň paralelizace a hodnota X počet paralelních kopií.

      Doporučujeme začít s 16 paralelními kopiemi a zvyšovat počet vláken v závislosti na dostupnosti prostředků.

    Důležité

    Následující typy souborů Linuxu se nepodporují: symbolické odkazy, soubory znaků, blokové soubory, sokety a kanály. Tyto typy souborů způsobí selhání během kroku Příprava k odeslání .

    Otevřete cílovou složku, zobrazte zkopírované soubory a ověřte je. Pokud během procesu kopírování dojde k nějakým chybám, stáhněte si soubory s chybami, abyste mohli vyřešit případné potíže. Další informace najdete v tématu věnovaném zobrazení protokolů chyb při kopírování dat do Data Boxu Heavy. Podrobný seznam chyb při kopírování dat najdete v tématu Řešení potíží s Data Boxem Heavy.

    Aby se zajistila integrita dat, při kopírování dat se počítá kontrolní součet. Po dokončení kopírování zkontrolujte využité a volné místo na zařízení.

    Kontrola volného a využitého místa na řídicím panelu

    Další kroky

    V tomto kurzu jste se dozvěděli o tématech spojených s Azure Data Boxem Heavy, mezi která patří:

    • Požadavky
    • Připojení k Data Boxu Heavy
    • Kopírování dat do Data Boxu Heavy

    V dalším kurzu se dozvíte, jak Data Box odeslat zpět do Microsoftu.

    Odeslání Azure Data Boxu heavy do Microsoftu