Partilhar via

Tutorial: Copiar dados para o Azure Data Box Heavy via NFS

  • Artigo

Este tutorial descreve como se conectar e copiar dados do seu computador host usando a interface do usuário da Web local para o Azure Data Box Heavy.

Neste tutorial, irá aprender a:

  • Pré-requisitos
  • Ligar ao Data Box Heavy
  • Copiar dados para o Data Box Heavy

Pré-requisitos

Antes de começar, certifique-se de que:

  1. Você concluiu o Tutorial: Configurar o Azure Data Box Heavy.
  2. Recebeu a sua Data Box Heavy e o estado da encomenda no portal é Entregue.
  3. Tem um computador anfitrião com os dados que quer copiar para o Data Box Heavy. O seu computador anfitrião deve
    • Executar um sistema operativo suportado.
    • Estar ligado a uma rede de alta velocidade. Para velocidades de cópia mais rápidas, podem ser utilizadas em paralelo duas ligações de 40 GbE (uma por nó). Se não tiver uma ligação de 40 GbE disponível, recomendamos que tenha pelo menos duas ligações de 10 GbE (uma por nó).

Ligar ao Data Box Heavy

Com base na conta de armazenamento selecionada, o Data Box Heavy cria até:

  • Três partilhas para cada conta de armazenamento associada de GPv1 e GPv2.
  • Uma partilha para o armazenamento premium.
  • Uma partilha para a conta de armazenamento de blobs.

Estas partilhas são criadas em ambos os nós do dispositivo.

Nas partilhas de blobs de blocos e blobs de páginas:

  • As entidades de primeiro nível são contentores.
  • As entidades de segundo nível são blobs.

Nas partilhas para os Ficheiros do Azure:

  • As entidades de primeiro nível são partilhas.
  • As entidades de segundo nível são ficheiros.

A tabela a seguir mostra o caminho UNC para as partilhas no Data Box Heavy e o URL do caminho do Armazenamento do Microsoft Azure onde os dados são carregados. O URL do caminho de Armazenamento do Microsoft Azure final pode derivar do caminho da partilha UNC.

Armazenamento Caminho UNC
Blobs de bloco do Azure
  • Caminho UNC para as partilhas: //<DeviceIPAddress>/<StorageAccountName_BlockBlob>/<ContainerName>/files/a.txt
  • URL do Armazenamento do Microsoft Azure: https://<StorageAccountName>.blob.core.windows.net/<ContainerName>/files/a.txt
    		•
    Blobs de páginas do Azure
  • Caminho UNC para as partilhas: //<DeviceIPAddress>/<StorageAccountName_PageBlob>/<ContainerName>/files/a.txt
  • URL do Armazenamento do Microsoft Azure: https://<StorageAccountName>.blob.core.windows.net/<ContainerName>/files/a.txt
    		•
    Ficheiros do Azure
  • Caminho UNC para as partilhas: //<DeviceIPAddress>/<StorageAccountName_AzFile>/<ShareName>/files/a.txt
  • URL do Armazenamento do Microsoft Azure: https://<StorageAccountName>.file.core.windows.net/<ShareName>/files/a.txt
    		•

    Se você estiver usando um computador host Linux, execute as seguintes etapas para configurar seu dispositivo para permitir o acesso a clientes NFS.

    1. Forneça os endereços IP dos clientes permitidos que podem aceder à partilha. Na IU Web local, aceda à página Ligar e copiar. Em Definições de NFS, clique em Acesso de cliente NFS.

      Configurar o acesso de cliente NFS 1

    2. Forneça o endereço IP do cliente NFS e clique em Adicionar. Pode configurar o acesso para vários clientes NFS ao repetir este passo. Clique em OK.

      Configurar o acesso de cliente NFS 2

    3. Certifique-se de que o computador anfitrião do Linux tem uma versão suportada do cliente NFS instalada. Utilize a versão específica para a distribuição Linux.

    4. Depois de o cliente NFS estar instalado, utilize o comando seguinte para montar a partilha NFS no seu dispositivo Data Box:

      sudo mount <Data Box Heavy device IP>:/<NFS share on Data Box Heavy device> <Path to the folder on local Linux computer>

      O exemplo a seguir mostra como se conectar via NFS a um compartilhamento pesado do Data Box. O Data Box Heavy IP é 10.161.23.130, o compartilhamento Mystoracct_Blob é montado no ubuntuVM, ponto de montagem sendo /home/databoxheavyubuntuhost/databoxheavy.

      sudo mount -t nfs 10.161.23.130:/Mystoracct_Blob /home/databoxheavyubuntuhost/databoxheavy

      Para clientes Mac, você precisará adicionar uma opção adicional da seguinte maneira:

      sudo mount -t nfs -o sec=sys,resvport 10.161.23.130:/Mystoracct_Blob /home/databoxheavyubuntuhost/databoxheavy

      Crie sempre uma pasta para os ficheiros que pretende copiar na partilha e, em seguida, copie os ficheiros para essa pasta. A pasta criada nas partilhas dos blobs de blocos e dos blobs de páginas representa um contentor para o qual os dados são carregados como blobs. Não pode copiar ficheiros diretamente para a pasta raiz na conta de armazenamento.

    Copiar dados para o Data Box Heavy

    Depois de estar conectado aos compartilhamentos pesados do Data Box, a próxima etapa é copiar dados. Antes de começar a cópia de dados, reveja as seguintes considerações:

    • Certifique-se de que copia os dados para partilhas que correspondem ao formato de dados apropriado. Por exemplo, copie os dados de blobs de blocos para a partilha de blobs de blocos. Copie VHDs para blobs de página. Se o formato de dados não corresponder à partilha apropriada (tipo de armazenamento), num passo posterior, o carregamento de dados para o Azure falhará.

    • Ao copiar dados, verifique se o tamanho dos dados está em conformidade com os limites de tamanho descritos nos limites de armazenamento do Azure e Data Box Heavy.

    • Se os dados, que estão a ser carregados pelo Data Box Heavy, forem carregados em simultâneo por outras aplicações fora do Data Box Heavy, poderá resultar em falhas da tarefa de carregamento e danos nos dados.

    • Recomendamos que não utilize as opções SMB e NFS em simultâneo nem copie os mesmos dados para o mesmo destino final no Azure. Nesses casos, não é possível determinar o resultado final.

    • Crie sempre uma pasta para os ficheiros que pretende copiar na partilha e, em seguida, copie os ficheiros para essa pasta. A pasta criada nas partilhas dos blobs de blocos e dos blobs de páginas representa um contentor para o qual os dados são carregados como blobs. Não pode copiar ficheiros diretamente para a pasta raiz na conta de armazenamento.

    • Se estiver ingerindo diretórios e nomes de arquivo que diferenciam maiúsculas de minúsculas de um compartilhamento NFS para NFS no Data Box Heavy:

      • O caso está preservado no nome.
      • Os arquivos não diferenciam maiúsculas de minúsculas.

      Por exemplo, se copiar SampleFile.txt e Samplefile.Txt, o caso será preservado no nome quando copiado para o dispositivo, mas o segundo arquivo substituirá o primeiro, pois estes são considerados o mesmo arquivo.

    Se estiver a utilizar um computador anfitrião do Linux, utilize um utilitário de cópia semelhante ao Robocopy. Algumas das alternativas disponíveis no Linux são rsync, FreeFileSync, Unison ou Ultracopier.

    O comando cp é uma das melhores opções para copiar um diretório. Para obter mais informações sobre a utilização, aceda a cp man pages.

    Se estiver a utilizar a opção rsync para uma cópia de múltiplos threads, siga estas diretrizes:

    • Instale o pacote CIFS Utils ou NFS Utils consoante o sistema de ficheiros utilizado pelo cliente Linux.

      sudo apt-get install cifs-utils

      sudo apt-get install nfs-utils

    • Instale Rsync e Parallel (varia consoante a versão distribuída do Linux).

      sudo apt-get install rsync

      sudo apt-get install parallel

    • Crie um ponto de montagem.

      sudo mkdir /mnt/databoxheavy

    • Monte o volume.

      sudo mount -t NFS4 //Databox-heavy-IP-Address/share_name /mnt/databoxheavy

    • Espelhe a estrutura do diretório de pastas.

      rsync -za --include='*/' --exclude='*' /local_path/ /mnt/databoxheavy

    • Copie os ficheiros.

      cd /local_path/; find -L . -type f | parallel -j X rsync -za {} /mnt/databoxheavy/{}

      em que j especifica o número de paralelização, X = número de cópias paralelas

      Recomendamos que comece com 16 cópias paralelas e aumente o número de threads consoante os recursos disponíveis.

    Importante

    Os seguintes tipos de arquivos Linux não são suportados: links simbólicos, arquivos de caracteres, arquivos de bloco, soquetes e pipes. Esses tipos de arquivo resultarão em falhas durante a etapa Preparar para envio .

    Abra a pasta de destino para ver e verificar os ficheiros copiados. Se ocorrerem erros durante o processo de cópia, transfira os ficheiros de erro para resolução de problemas. Para obter mais informações, veja a secção Ver registos de erros durante a cópia de dados para o Data Box Heavy. Para obter uma lista detalhada de erros durante a cópia de dados, veja a secção Resolver problemas do Data Box Heavy.

    Para garantir a integridade dos dados, a soma de verificação é calculada inline à medida que os dados são copiados. Quando a cópia estiver concluída, verifique o espaço utilizado e o espaço livre no seu dispositivo.

    Verificar o espaço livre e utilizado no dashboard

    Próximos passos

    Neste tutorial, ficou a conhecer tópicos do Azure Data Box Heavy, como:

    • Pré-requisitos
    • Ligar ao Data Box Heavy
    • Copiar dados para o Data Box Heavy

    Avance para o tutorial seguinte para saber como enviar o Data Box de volta para a Microsoft.

    Enviar o Azure Data Box Heavy para a Microsoft