Tutorial: Copiar dados para o Azure Data Box via SMB
Copiar dados para o Azure Data Box
Importante
O Azure Data Box agora dá suporte à atribuição de camada de acesso no nível de blob. As etapas contidas neste tutorial refletem o processo de cópia de dados atualizado e são específicas para bloquear blobs.
Para obter ajuda com a determinação da camada de acesso apropriada para seus dados de blob de bloco, consulte a seção Determinar camadas de acesso apropriadas para blobs de bloco. Siga as etapas contidas na seção Copiar dados para o Azure Data Box para copiar seus dados para a camada de acesso apropriada.
As informações contidas nesta seção aplicam-se a pedidos feitos após 1º de abril de 2024.
Este tutorial descreve como ligar e copiar dados do computador anfitrião com a IU Web local.
Neste tutorial, irá aprender a:
- Pré-requisitos
- Ligar ao Data Box
- Determinar camadas de acesso apropriadas para blobs de bloco
- Copiar dados para o Data Box
Pré-requisitos
Antes de começar, certifique-se de que:
- Você concluiu o Tutorial: Configurar o Azure Data Box.
- Recebeu o Data Box e o estado da encomenda no portal é Entregue.
- Tem um computador anfitrião que inclui os dados que pretende copiar para o Data Box. O seu computador anfitrião deve:
- Executar um sistema operativo suportado.
- Estar ligado a uma rede de alta velocidade. Recomendamos vivamente que tenha, pelo menos, uma ligação de 10 GbE. Se uma conexão de 10 GbE não estiver disponível, use um link de dados de 1 GbE, mas as velocidades de cópia serão afetadas.
Ligar ao Data Box
Com base na conta de armazenamento selecionada, o Data Box cria até:
- Três partilhas para cada conta de armazenamento associada de GPv1 e GPv2.
- Uma partilha para o armazenamento premium.
- Um compartilhamento para uma conta de armazenamento de blob, contendo uma pasta para cada uma das quatro camadas de acesso.
A tabela a seguir identifica os nomes dos compartilhamentos do Data Box aos quais você pode se conectar e o tipo de dados carregados na sua conta de armazenamento de destino. Ele também identifica a hierarquia de compartilhamentos e diretórios para os quais você copia seus dados de origem.
| Tipo de armazenamento | Nome da partilha | Entidade de primeiro nível | Entidade de segundo nível | Entidade de terceiro nível |
|---|---|---|---|---|
| Blob de blocos | <storageAccountName>_BlockBlob | <\accessTier> | <\nome_do_contêiner> | <\blockBlob> |
| Blob de páginas | <\storageAccountName>_PageBlob | <\nome_do_contêiner> | <\pageBlob> | |
| Armazenamento de ficheiros | <\storageAccountName>_AzFile | <\nome_do_arquivocompartilhamento> | <\ficheiro> |
Não é possível copiar arquivos diretamente para a pasta raiz de qualquer compartilhamento do Data Box. Em vez disso, crie pastas dentro do compartilhamento Data Box, dependendo do seu caso de uso.
Os blobs de bloco suportam a atribuição de camadas de acesso no nível do arquivo. Ao copiar arquivos para o compartilhamento de blob de bloco, a prática recomendada é adicionar novas subpastas dentro da camada de acesso apropriada. Depois de criar novas subpastas, continue adicionando arquivos a cada subpasta, conforme apropriado.
Um novo contêiner é criado para qualquer pasta que resida na raiz do compartilhamento de blob de bloco. Qualquer arquivo dentro dessa pasta é copiado para a camada de acesso padrão da conta de armazenamento como um blob de bloco.
Para obter mais informações sobre camadas de acesso de blob, consulte Camadas de acesso para dados de blob. Para obter informações mais detalhadas sobre as práticas recomendadas da camada de acesso, consulte Práticas recomendadas para usar camadas de acesso de blob.
A tabela a seguir mostra o caminho UNC para os compartilhamentos em seu Data Box e a URL correspondente do caminho de Armazenamento do Azure para a qual os dados são carregados. O URL do caminho de Armazenamento do Microsoft Azure final pode derivar do caminho da partilha UNC.
| Tipos de Armazenamento do Azure | Partilhas de Data Box |
|---|---|
| Blobs de bloco do Azure | \\<DeviceIPAddress>\<storageaccountname_BlockBlob>\<accessTier>\<ContainerName>\myBlob.txthttps://<storageaccountname>.blob.core.windows.net/<ContainerName>/myBlob.txt |
| Blobs de páginas do Azure | \\<DeviceIPAddress>\<storageaccountname_PageBlob>\<ContainerName>\myBlob.vhdhttps://<storageaccountname>.blob.core.windows.net/<ContainerName>/myBlob.vhd |
| Ficheiros do Azure | \\<DeviceIPAddress>\<storageaccountname_AzFile>\<ShareName>\myFile.txthttps://<storageaccountname>.file.core.windows.net/<ShareName>/myFile.txt |
Se estiver a utilizar um computador anfitrião do Windows Server, execute estes passos para se ligar ao Data Box.
O primeiro passo é autenticar e iniciar uma sessão. Aceda a Ligar e copiar. Selecione SMB para obter as credenciais de acesso para as partilhas associadas à sua conta de armazenamento.
Na caixa de diálogo Aceder à partilha e copiar os dados, copie o Nome de utilizador e a Palavra-passe correspondentes à partilha. Em seguida, selecione OK.
O exemplo a seguir usa uma conta de armazenamento de exemplo chamada utsac1. Para aceder às partilhas associadas à sua conta de armazenamento a partir do computador anfitrião, abra uma janela de comandos. Na linha de comandos, escreva:
net use \\<DeviceIPAddress>\<share name> /u:<IP address of the device>\<user name for the share>Consoante o seu formato de dados, os caminhos de partilha são os seguintes:
- Blob de blocos do Azure –
\\<DeviceIPAddress>\utsac1_BlockBlob - Blob de páginas do Azure –
\\<DeviceIPAddress>\utsac1_PageBlob - Ficheiros do Azure –
\\<DeviceIPAddress>\utsac1_AzFile
- Blob de blocos do Azure –
Introduza a palavra-passe da partilha quando lhe for pedido. Se a palavra-passe tiver carateres especiais, adicione aspas duplas antes e depois dela. O exemplo seguinte mostra a ligação a uma partilha através do comando anterior.
C:\Users\Databoxuser>net use \\<DeviceIPAddress>\utSAC1_202006051000_BlockBlob /u:<DeviceIPAddress>\testuser1 Enter the password for 'testuser1' to connect to '<DeviceIPAddress>': "ab1c2def$3g45%6h7i&j8kl9012345" The command completed successfully.Pressione Windows + R. Na janela Executar, especifique o
\\<DeviceIPAddress>. Selecione OK para abrir o Explorador de Ficheiros.
Agora deve conseguir ver as partilhas como pastas.
Importante
Não é possível copiar arquivos diretamente para a pasta raiz da conta de armazenamento. Dentro da pasta raiz de uma conta de armazenamento de blob de bloco, você encontrará uma pasta correspondente a cada uma das camadas de acesso disponíveis.
Para copiar seus dados para o Azure Data Box, você deve primeiro selecionar a pasta correspondente a uma das camadas de acesso. Em seguida, crie uma subpasta dentro da pasta dessa camada para armazenar seus dados. Finalmente, copie seus dados para a subpasta recém-criada. Sua nova subpasta representa o contêiner criado na conta de armazenamento durante a ingestão. Seus dados são carregados para esse contêiner como blobs.
Se estiver a utilizar um cliente Linux, utilize o comando a seguir para montar a partilha SMB. O vers valor do parâmetro identifica a versão do SMB que seu host Linux suporta. Insira a versão apropriada no comando de exemplo fornecido. Para ver uma lista de versões SMB suportadas pelo Data Box, consulte Sistemas de ficheiros suportados para clientes Linux.
sudo mount -t cifs -o vers=2.1 10.126.76.138:/utsac1_BlockBlob /home/databoxubuntuhost/databox
Determinar camadas de acesso apropriadas para blobs de bloco
Importante
As informações contidas nesta seção aplicam-se a pedidos feitos após 1ºde abril de 2024.
O Armazenamento do Azure permite armazenar dados de blob de bloco em várias camadas de acesso dentro da mesma conta de armazenamento. Essa capacidade permite que os dados sejam organizados e armazenados de forma mais eficiente com base na frequência com que são acessados. A tabela a seguir contém informações e recomendações sobre as camadas de acesso do Armazenamento do Azure.
| Escalão de serviço | Recomendação | Melhor prática |
|---|---|---|
| Muito Interessado | Útil para dados on-line acessados ou modificados com frequência. Esse nível tem os custos de armazenamento mais altos, mas os menores custos de acesso. | Os dados neste nível devem estar em uso regular e ativo. |
| Esporádico | Útil para dados on-line acessados ou modificados com pouca frequência. Esse nível tem custos de armazenamento mais baixos e custos de acesso mais altos do que o nível quente. | Os dados nessa camada devem ser armazenados por pelo menos 30 dias. |
| Sem Interesse | Útil para dados on-line acessados ou modificados raramente, mas ainda exigindo recuperação rápida. Esse nível tem custos de armazenamento mais baixos e custos de acesso mais altos do que o nível legal. | Os dados nesta camada devem ser armazenados por um período mínimo de 90 dias. |
| Arquivo | Útil para dados offline raramente acessados e com requisitos de latência mais baixos. | Os dados nesta camada devem ser armazenados por um período mínimo de 180 dias. Os dados removidos da camada de arquivamento dentro de 180 dias estão sujeitos a uma taxa de exclusão antecipada. |
Para obter mais informações sobre camadas de acesso de blob, consulte Camadas de acesso para dados de blob. Para obter práticas recomendadas mais detalhadas, consulte Práticas recomendadas para usar camadas de acesso de blob.
Você pode transferir seus dados de blob de bloco para a camada de acesso apropriada copiando-os para a pasta correspondente dentro do Data Box. Esse processo é discutido com mais detalhes na seção Copiar dados para o Azure Data Box .
Copiar dados para o Data Box
Depois de se conectar a um ou mais compartilhamentos do Data Box, a próxima etapa é copiar dados. Antes de começar a cópia de dados, considere as seguintes limitações:
- Certifique-se de que copia os seus dados para a partilha que corresponde ao formato de dados necessário. Por exemplo, copie dados de blob de bloco para o compartilhamento de blobs de bloco. Copie VHDs para o compartilhamento de blob de página. Se o formato de dados não corresponder ao tipo de compartilhamento apropriado, o carregamento de dados no Azure falhará durante uma etapa posterior.
- Ao copiar dados para os compartilhamentos AzFile ou PageBlob , primeiro crie uma pasta na raiz do compartilhamento e, em seguida, copie os arquivos para essa pasta.
- Ao copiar dados para o compartilhamento BlockBlob , crie uma subpasta dentro da camada de acesso desejada e, em seguida, copie os dados para a subpasta recém-criada. A subpasta representa um contêiner no qual os dados são carregados como blobs. Não é possível copiar arquivos diretamente para a pasta raiz de um compartilhamento.
- Ao copiar os dados, confirme se o tamanho está em conformidade com os limites descritos em Limites de tamanho da conta de armazenamento do Azure.
- Se quiser preservar os metadados (ACLs, carimbos de data/hora e atributos de ficheiro) quando transferir dados para os Ficheiros do Azure, siga as orientações em Preservar ACLs, atributos e carimbos de data/hora de ficheiros com o Azure Data Box
- Carregamentos simultâneos pelo Data Box e outro aplicativo que não seja Data Box podem resultar em falhas no trabalho de upload e corrupção de dados.
- Se você usar os protocolos SMB e NFS para cópias de dados, recomendamos que:
- Use contas de armazenamento diferentes para SMB e NFS.
- Não copie os mesmos dados para o mesmo destino final no Azure usando SMB e NFS. Nestes casos, não é possível determinar o resultado final.
- Embora copiar via SMB e NFS em paralelo possa funcionar, não recomendamos fazer isso, pois é propenso a erros humanos. Aguarde até que a cópia de dados SMB esteja concluída antes de iniciar uma cópia de dados NFS.
Importante
Certifique-se de manter uma cópia dos dados de origem até poder confirmar que os dados foram copiados para o Armazenamento do Azure.
Depois de ligar à partilha SMB, inicie a cópia dos dados. Pode utilizar qualquer ferramenta de cópia de ficheiros compatível com SMB, como o Robocopy, para copiar os dados. É possível iniciar várias tarefas com o Robocopy. Utilize o seguinte comando:
robocopy <Source> <Target> * /e /r:3 /w:60 /is /nfl /ndl /np /MT:32 or 64 /fft /B /Log+:<LogFile>
Os atributos são descritos na tabela seguinte.
| Atributo | Description |
|---|---|
| . exe /e | Copia os subdiretórios, incluindo diretórios vazios. |
| /r: | Especifica o número de repetições nas cópias falhadas. |
| /w: | Especifica o tempo de espera entre as repetições, em segundos. |
| /is | Inclui os mesmos ficheiros. |
| /nfl | Especifica que os nomes de ficheiro não estão registados. |
| /ndl | Especifica que os nomes de diretório não estão registados. |
| /np | Especifica que o progresso da operação de cópia (o número de arquivos ou diretórios copiados até agora) não será exibido. A apresentação do progresso reduz significativamente o desempenho. |
| /MT | Utilize multithreading (são recomendados 32 ou 64 threads). Esta opção não é utilizada com ficheiros encriptados. Poderá ter de separar ficheiros encriptados e não encriptados. No entanto, uma cópia de thread único reduz significativamente o desempenho. |
| /fft | Utilize para reduzir a granularidade de carimbo de data/hora para qualquer sistema de ficheiros. |
| /B | Copia os ficheiros no modo de Cópia de Segurança. |
| /z | Copia arquivos no modo de reinicialização; Use essa opção se o ambiente estiver instável. Esta opção reduz o débito devido ao registo adicional. |
| /zb | Utiliza o modo de Reinício. Se o acesso for negado, esta opção utiliza o modo de Cópia de Segurança. Esta opção reduz o débito devido ao ponto de verificação. |
| /efsraw | Copia todos os ficheiros encriptados no modo EFS não processado. Utilize apenas com ficheiros encriptados. |
| log+:<LogFile> | Anexa a saída ao ficheiro de registo existente. |
O exemplo seguinte mostra a saída do comando do Robocopy para copiar ficheiros para o Data Box.
C:\Users>robocopy
-------------------------------------------------------------------------------
ROBOCOPY :: Robust File Copy for Windows
-------------------------------------------------------------------------------
Started : Thursday, March 8, 2018 2:34:53 PM
Simple Usage :: ROBOCOPY source destination /MIR
source :: Source Directory (drive:\path or \\server\share\path).
destination :: Destination Dir (drive:\path or \\server\share\path).
/MIR :: Mirror a complete directory tree.
For more usage information run ROBOCOPY /?
**** /MIR can DELETE files as well as copy them !
C:\Users>Robocopy C:\Git\azure-docs-pr\contributor-guide \\10.126.76.172\devicemanagertest1_AzFile\templates /MT:32
-------------------------------------------------------------------------------
ROBOCOPY :: Robust File Copy for Windows
-------------------------------------------------------------------------------
Started : Thursday, March 8, 2018 2:34:58 PM
Source : C:\Git\azure-docs-pr\contributor-guide\
Dest : \\10.126.76.172\devicemanagertest1_AzFile\templates\
Files : *.*
Options : *.* /DCOPY:DA /COPY:DAT /MT:32 /R:5 /W:60
------------------------------------------------------------------------------
100% New File 206 C:\Git\azure-docs-pr\contributor-guide\article-metadata.md
100% New File 209 C:\Git\azure-docs-pr\contributor-guide\content-channel-guidance.md
100% New File 732 C:\Git\azure-docs-pr\contributor-guide\contributor-guide-index.md
100% New File 199 C:\Git\azure-docs-pr\contributor-guide\contributor-guide-pr-criteria.md
New File 178 C:\Git\azure-docs-pr\contributor-guide\contributor-guide-pull-request-co100% .md
New File 250 C:\Git\azure-docs-pr\contributor-guide\contributor-guide-pull-request-et100% e.md
100% New File 174 C:\Git\azure-docs-pr\contributor-guide\create-images-markdown.md
100% New File 197 C:\Git\azure-docs-pr\contributor-guide\create-links-markdown.md
100% New File 184 C:\Git\azure-docs-pr\contributor-guide\create-tables-markdown.md
100% New File 208 C:\Git\azure-docs-pr\contributor-guide\custom-markdown-extensions.md
100% New File 210 C:\Git\azure-docs-pr\contributor-guide\file-names-and-locations.md
100% New File 234 C:\Git\azure-docs-pr\contributor-guide\git-commands-for-master.md
100% New File 186 C:\Git\azure-docs-pr\contributor-guide\release-branches.md
100% New File 240 C:\Git\azure-docs-pr\contributor-guide\retire-or-rename-an-article.md
100% New File 215 C:\Git\azure-docs-pr\contributor-guide\style-and-voice.md
100% New File 212 C:\Git\azure-docs-pr\contributor-guide\syntax-highlighting-markdown.md
100% New File 207 C:\Git\azure-docs-pr\contributor-guide\tools-and-setup.md
------------------------------------------------------------------------------
Total Copied Skipped Mismatch FAILED Extras
Dirs : 1 1 1 0 0 0
Files : 17 17 0 0 0 0
Bytes : 3.9 k 3.9 k 0 0 0 0
C:\Users>
Para cenários mais específicos, como usar robocopy para listar, copiar ou excluir arquivos no Data Box, consulte Usar robocopy para listar, copiar, modificar arquivos no Data Box.
Para otimizar o desempenho, utilize os seguintes parâmetros do Robocopy ao copiar os dados.
| Plataforma | Principalmente arquivos < pequenos 512 KB | Principalmente arquivos médios 512 KB - 1 MB | Principalmente arquivos > grandes 1 MB |
|---|---|---|---|
| Data Box | 2 sessões de Robocopy 16 threads por sessão |
3 sessões de Robocopy 16 threads por sessão |
2 sessões de Robocopy 24 threads por sessão |
Para obter mais informações sobre o comando do Robocopy, aceda a Robocopy e alguns exemplos.
As notificações são exibidas durante o processo de cópia para identificar erros.
Selecione Transferir lista de problemas.
Abra a lista para ver os detalhes do erro e selecione o URL de resolução para ver a resolução recomendada.
Para obter mais informações, veja a secção Para obter mais informações, veja a secção Ver registos de erros durante a cópia de dados para o Data Box. Para obter uma lista detalhada de erros durante a cópia de dados, veja a secção Resolver problemas do Data Box.
Para garantir a integridade dos dados, a soma de verificação é calculada inline à medida que os dados são copiados. Quando a cópia estiver concluída, verifique o espaço utilizado e o espaço livre no seu dispositivo.
Pode copiar dados do servidor de origem para o Data Box via SMB, NFS, REST, serviço de cópia de dados ou para discos geridos.
Em cada caso, confirme se os nomes das partilhas e das pastas e os tamanhos dos dados cumprem as diretrizes descritas nos Limites de serviços do Armazenamento do Microsoft Azure e do Data Box.
Copiar dados através de SMB
Para copiar dados através de SMB:
Se estiver a utilizar um sistema anfitrião do Windows, utilize o seguinte comando para se ligar às partilhas SMB:
\\<Device IP address>\ShareNamePara recuperar as credenciais de acesso de compartilhamento, vá para a página Connect & copy dentro da interface do usuário da Web local da Data Box.
Utilize uma ferramenta de cópia de ficheiros compatível com SMB, como o Robocopy, para copiar os dados para as partilhas.
Para obter instruções passo a passo, vá para Tutorial: Copiar dados para o Azure Data Box via SMB.
Copiar dados através de NFS
Para copiar dados através de NFS:
Ao usar um host NFS, use o seguinte comando para montar os compartilhamentos NFS no Data Box:
sudo mount <Data Box device IP>:/<NFS share on Data Box device> <Path to the folder on local Linux computer>Para obter as credenciais de acesso de partilha, aceda à página Ligar e copiar na IU da Web local do Data Box.
Utilize o comando
cpoursyncpara copiar os dados.
Para obter instruções passo a passo, vá para Tutorial: Copiar dados para o Azure Data Box via NFS.
Copiar dados via REST
Para copiar dados via REST:
- Para copiar dados através do Armazenamento de blobs do Data Box via APIs REST, pode ligar-se através de http ou https.
- Para copiar dados para o Armazenamento de blobs do Data Box, pode utilizar o AzCopy.
Para obter instruções passo a passo, vá para Tutorial: Copiar dados para o armazenamento de Blob do Azure Data Box por meio de APIs REST.
Copiar dados através do serviço de cópia de dados
Para copiar dados através do serviço de cópia de dados:
- Para copiar dados através do serviço de cópia de dados, tem de criar uma tarefa. Na interface do usuário da Web local do seu Data Box, vá para Manage > Copy data > Create.
- Preencha os parâmetros e crie uma tarefa.
Para obter instruções passo a passo, vá para Tutorial: Usar o serviço de cópia de dados para copiar dados no Azure Data Box.
Copiar dados para discos geridos
Para copiar dados para discos geridos:
- Ao solicitar o dispositivo Data Box, selecione discos gerenciados como destino de armazenamento.
- Conecte-se ao Data Box por meio de compartilhamentos SMB ou NFS.
- Copie dados através de ferramentas SMB ou NFS.
Para obter instruções passo a passo, vá para Tutorial: Usar o Data Box para importar dados como discos gerenciados no Azure.
Próximos passos
Neste tutorial, ficou a conhecer tópicos do Azure Data Box, como:
- Pré-requisitos
- Ligar ao Data Box
- Copiar dados para o Data Box
Avance para o tutorial seguinte para saber como enviar o Data Box de volta para a Microsoft.