Tutoriel : Copier des données sur Azure Data Box Heavy par le biais de SMB

Article
04/10/2024

Copier des données sur Azure Data Box Heavy

Important

Azure Data Box prend désormais en charge l'affectation de niveau d'accès au niveau d'un objet blob. Les étapes de ce tutoriel reflètent le processus de copie de données mis à jour et sont spécifiques aux objets blob de blocs.

Les informations contenues dans cette section s'appliquent aux ordres de commande passés après le 1er avril 2024.

Ce tutoriel explique comment vous connecter à votre ordinateur hôte et copier des données à partir de cet ordinateur à l’aide de l’interface utilisateur web locale.

Dans ce tutoriel, vous allez apprendre à :

Se connecter à Data Box Heavy
Copier des données sur Data Box Heavy

Vous pouvez copier des données de votre serveur source vers votre Data Box en utilisant SMB, NFS, REST ou le service de copie de données. Vous pouvez également effectuer la copie sur des disques managés.

Dans tous les cas, vérifiez que les noms des partages, les noms de dossier, ainsi que la taille des données respectent les instructions décrites dans la section Limites des services Stockage Azure et Data Box Heavy.

Prérequis

Avant de commencer, assurez-vous que :

Vous avez suivi le Tutoriel : configurer Azure Data Box Heavy.
Vous recevez votre Data Box Heavy et le statut de l'ordre dans le portail affichant Livré.
Vous disposez d’un ordinateur hôte contenant les données que vous souhaitez copier sur Data Box Heavy. Votre ordinateur hôte doit effectuer :
- Exécuter un système d’exploitation pris en charge
- Connectez-vous à un réseau haut débit. Pour obtenir des vitesses de copie plus rapides, il est possible d’utiliser deux connexions 40 GbE (une par nœud) en parallèle. Si aucune connexion 40-GbE n’est disponible, nous vous recommandons d’avoir au moins deux connexions 10 GbE (une par nœud).

Se connecter à des partages Data Box Heavy

En fonction du compte de stockage sélectionné, Data Box Heavy crée jusqu’à :

Trois partages pour chaque compte de stockage associé pour GPv1 et GPv2.
Un partage pour le stockage Premium.
Un partage pour un compte de stockage d'objet blob, contenant un dossier pour chacun des quatre niveaux d'accès.

Le tableau suivant identifie les noms des partages Data Box auxquels vous pouvez vous connecter, ainsi que le type de données chargées sur votre compte de stockage cible. Il identifie également la hiérarchie des partages et des répertoires dans lesquels vous copiez vos données sources.

Type de stockage	Nom de partage	Entité de premier niveau	Entité de deuxième niveau	Entité de troisième niveau
Objet blob de blocs	<storageAccountName>_BlockBlob	<\accessTier>	<\containerName>	<\blockBlob>
Objet blob de pages	<\storageAccountName>_PageBlob	<\containerName>	<\pageBlob>
Stockage Fichier	<\storageAccountName>_AzFile	<\fileShareName>	<\file>

Vous ne pouvez pas copier des fichiers directement dans le dossier racine d'un partage Data Box. Il est préférable de créer des dossiers dans le partage Data Box en fonction de votre cas d'usage.

Les objets blob de blocs prennent en charge l'affectation des niveaux d'accès au niveau du fichier. Lorsque vous copiez des fichiers sur le partage d'un objet blob de blocs, la meilleure pratique recommandée est d'ajouter de nouveaux sous-dossiers dans le niveau d'accès approprié. Après avoir créé de nouveaux sous-dossiers, ajoutez des fichiers à chaque sous-dossier approprié.

Un nouveau conteneur est créé pour tout dossier résidant à la racine du partage d'un objet blob de blocs. Tout fichier contenu dans ce dossier est copié dans le niveau d'accès par défaut du compte de stockage sous la forme d'un objet blob de blocs.

Pour plus d'informations sur les niveaux d'accès aux objets blob, consultez Niveaux d'accès aux données d'objets blob. Pour plus d'informations sur les meilleures pratiques en matière de niveaux d'accès, consultez Meilleures pratiques pour l'utilisation des niveaux d'accès aux objets blob.

Le tableau suivant indique le chemin d'accès UNC aux partages de votre Data Box et l'URL correspondante du chemin d'accès au Stockage Azure vers lequel les données sont chargées. La dernière URL de chemin de Stockage Azure peut être dérivée à partir du chemin de partage UNC.

Type de stockage Azure	Partages Data Box
Objets blob de blocs Azure	Chemin UNC aux partages : `\\<DeviceIPAddress>\<storageaccountname_BlockBlob>\<accessTier>\<ContainerName>\myBlob.txt` URL de Stockage Azure : `https://<storageaccountname>.blob.core.windows.net/<ContainerName>/myBlob.txt`
Objets blob de pages Azure	Chemin UNC aux partages : `\\<DeviceIPAddress>\<storageaccountname_PageBlob>\<ContainerName>\myBlob.vhd` URL de Stockage Azure : `https://<storageaccountname>.blob.core.windows.net/<ContainerName>/myBlob.vhd`
Azure Files	Chemin UNC aux partages : `\\<DeviceIPAddress>\<storageaccountname_AzFile>\<ShareName>\myFile.txt` URL de Stockage Azure : `https://<storageaccountname>.file.core.windows.net/<ShareName>/myFile.txt`

Les étapes permettant de se connecter à l’aide d’un client Windows ou Linux sont différentes.

Notes

Suivez les mêmes étapes pour vous connecter aux deux nœuds de l’appareil en parallèle.

Se connecter sur un système Windows

Si vous utilisez un ordinateur hôte Windows Server, effectuez les étapes suivantes pour vous connecter au Data Box Heavy.

La première étape consiste à vous authentifier et à démarrer une session. Accédez à la page Connect and copy (Connexion et copie). Cliquez sur Get credentials (Obtenir les informations d’identification) pour obtenir les informations d’identification requises pour accéder aux partages associés à votre compte de stockage.
Dans la boîte de dialogue Access share and copy data (Accéder au partage et copier les données), copiez les valeurs Nom d’utilisateur et Mot de passe correspondant au partage. Cliquez sur OK.
Pour accéder aux partages associés à votre compte de stockage (databoxe2etest dans l’exemple suivant) à partir de votre ordinateur hôte, ouvrez une fenêtre de commande. À l’invite de commandes, tapez :

net use \\<IP address of the device>\<share name> /u:<user name for the share>

En fonction du format de vos données, les chemins de partage sont les suivants :
- Objet blob de blocs Azure - \\10.100.10.100\databoxe2etest_BlockBlob
- Objet blob de pages Azure - \\10.100.10.100\databoxe2etest_PageBlob
- Azure Files - \\10.100.10.100\databoxe2etest_AzFile
Lorsque vous y êtes invité, entrez le mot de passe du partage. L'exemple suivant vous permettra de vous connecter au partage BlockBlob sur le Data Box dont l'adresse IP est 10.100.10.100.
```
net use \\10.100.10.100\databoxe2etest_BlockBlob /u:databoxe2etest
Enter the password for 'databoxe2etest' to connect to '10.100.10.100':
The command completed successfully.
```
Appuyez sur Windows + R. Dans la fenêtre Exécuter, spécifiez \\<device IP address>. Cliquez sur OK pour ouvrir l’Explorateur de fichiers.

À présent, vous devriez voir les partages sous forme de dossiers. Notez que dans cet exemple, le partage BlockBlob est utilisé. Par conséquent, les quatre dossiers représentant les quatre niveaux d'accès disponibles sont présents. Ces dossiers ne sont pas disponibles dans d'autres partages.

Toujours créer un dossier pour les fichiers que vous envisagez de copier sous le partage, puis copier les fichiers dans ce dossier. Vous ne pouvez pas copier de fichiers directement dans le dossier root du compte de stockage. Tous les dossiers créés sous le partage PageBlob représentent des conteneurs dans lesquels les données sont chargées en tant qu'objets blob. De même, tous les sous-dossiers créés dans les dossiers représentant des niveaux d'accès dans le partage BlockBlob représentent également un conteneur de stockage d'objets blob. Les dossiers créés dans le partage AzFile représentent des partages de fichiers.

Les dossiers créés à la racine du partage BlockBlob sont créés en tant que conteneurs d'objets blob. Le niveau d'accès à ces conteneurs sera hérité du compte de stockage.

Se connecter sur un système Linux

Si vous utilisez un client Linux, utilisez la commande suivante pour monter le partage SMB.

sudo mount -t nfs -o vers=2.1 10.126.76.172:/databoxe2etest_BlockBlob /home/databoxubuntuhost/databox

Le paramètre vers est la version de SMB que votre hôte Linux prend en charge. Utilisez la version appropriée dans la commande ci-dessus.

Pour connaître les versions de SMB que Data Box Heavy prend en charge, consultez Systèmes de fichiers pris en charge pour les clients Linux.

Copier des données sur Data Box Heavy

Une fois que vous êtes connecté aux partages Data Box Heavy, l’étape suivante consiste à copier des données.

Considérations relatives à la copie

Avant de commencer la copie des données, passez en revue les considérations suivantes :

Vérifiez que les données sont copiées vers des partages compatibles avec le format des données. Par exemple, les données d’objet blob de blocs doivent être copiées dans le partage des objets blob de blocs. Copiez les disques durs virtuels dans un objet blob de pages.

Si le format des données ne correspond pas au type de partage, les données ne pourront pas être chargées dans Azure.
Quand vous copiez des données, vérifiez que leur taille est conforme aux limites de taille spécifiées dans l’article Limitations relatives au Stockage Azure et à Data Box Heavy.
Si les données qui sont en cours de chargement par Data Box Heavy sont chargées simultanément par d’autres applications en dehors de Data Box Heavy, cela peut entraîner l’échec du chargement ou une altération des données.
Nous vous recommandons :
- N’utilisez pas SMB et NFS en même temps.
- Copiez les mêmes données à la même destination finale sur Azure.
En effet, le résultat final ne pourrait pas être déterminé.
Créez toujours un dossier pour les fichiers que vous envisagez de copier sous le partage, puis copiez les fichiers dans ce dossier. Le dossier créé sous les partages d’objets blob de pages et d’objets blob de blocs représente un conteneur dans lequel les données sont chargées en tant qu’objets blob. Vous ne pouvez pas copier de fichiers directement dans le dossier root du compte de stockage.

Après vous être connecté au partage SMB, commencez la copie des données.

Vous pouvez utiliser n’importe quel outil de copie de fichier SMB, comme Robocopy, pour copier vos données. Plusieurs travaux de copie peuvent être lancés simultanément à l’aide de Robocopy. Utilisez la commande suivante :

robocopy <Source> <Target> * /e /r:3 /w:60 /is /nfl /ndl /np /MT:32 or 64 /fft /Log+:<LogFile>

Les attributs sont décrits dans le tableau suivant.

Attribut	Description
/e	Copie les sous-répertoires, y compris les répertoires vides.
/r:	Spécifie le nombre de nouvelles tentatives en cas d’échec de la copie.
/w:	Spécifie le délai d’attente entre les tentatives, en secondes.
/is	Inclut les mêmes fichiers.
/nfl	Indique que les noms de fichiers ne sont pas enregistrés dans le journal.
/ndl	Indique que les noms de répertoires ne sont pas enregistrés dans le journal.
/np	Spécifie que la progression de l’opération de copie (le nombre de fichiers ou répertoires copiés jusqu’ici) n’est pas affichée. L’affichage de la progression réduit considérablement les performances.
/MT	Utilise le multithreading (32 ou 64 threads recommandés). Cette option n’est pas utilisée avec les fichiers chiffrés. Vous devrez peut-être séparer les fichiers chiffrés et non chiffrés. Toutefois, une copie monothread réduit considérablement les performances.
/fft	Utilisé pour réduire la granularité de l’horodatage pour n’importe quel système de fichiers.
/b	Copie les fichiers en mode de sauvegarde.
/z	Copie les fichiers en mode de redémarrage. Utilisez cette option si l’environnement est instable. La journalisation supplémentaire effectuée par cette option réduit le débit.
/zb	Utilise le mode de redémarrage. Si l’accès est refusé, cette option utilise le mode de sauvegarde. La création de points de contrôle par cette option réduit le débit.
/efsraw	Copie tous les fichiers chiffrés en mode EFS brut. Utilisez cette option avec des fichiers chiffrés uniquement.
log+:<LogFile>	Ajoute la sortie au fichier journal existant.

L’exemple suivant affiche la sortie de la commande robocopy destinée à copier les fichiers sur le Data Box Heavy.

C:\Users>Robocopy C:\Git\azure-docs-pr\contributor-guide \\10.100.10.100\devicemanagertest1_AzFile\templates /MT:24
-------------------------------------------------------------------------------
    ROBOCOPY     ::     Robust File Copy for Windows
-------------------------------------------------------------------------------
    Started : Thursday, April 4, 2019 2:34:58 PM
    Source : C:\Git\azure-docs-pr\contributor-guide\
    Dest : \\10.100.10.100\devicemanagertest1_AzFile\templates\
    Files : *.*
    Options : *.* /DCOPY:DA /COPY:DAT /MT:24 /R:5 /W:60
------------------------------------------------------------------------------

100%        New File                 206        C:\Git\azure-docs-pr\contributor-guide\article-metadata.md
100%        New File                 209        C:\Git\azure-docs-pr\contributor-guide\content-channel-guidance.md
100%        New File                 732        C:\Git\azure-docs-pr\contributor-guide\contributor-guide-index.md
100%        New File                 199        C:\Git\azure-docs-pr\contributor-guide\contributor-guide-pr-criteria.md
            New File                 178        C:\Git\azure-docs-pr\contributor-guide\contributor-guide-pull-request-co100%  .md
            New File                 250        C:\Git\azure-docs-pr\contributor-guide\contributor-guide-pull-request-et100%  e.md
100%        New File                 174        C:\Git\azure-docs-pr\contributor-guide\create-images-markdown.md
100%        New File                 197        C:\Git\azure-docs-pr\contributor-guide\create-links-markdown.md
100%        New File                 184        C:\Git\azure-docs-pr\contributor-guide\create-tables-markdown.md
100%        New File                 208        C:\Git\azure-docs-pr\contributor-guide\custom-markdown-extensions.md
100%        New File                 210        C:\Git\azure-docs-pr\contributor-guide\file-names-and-locations.md
100%        New File                 234        C:\Git\azure-docs-pr\contributor-guide\git-commands-for-master.md
100%        New File                 186        C:\Git\azure-docs-pr\contributor-guide\release-branches.md
100%        New File                 240        C:\Git\azure-docs-pr\contributor-guide\retire-or-rename-an-article.md
100%        New File                 215        C:\Git\azure-docs-pr\contributor-guide\style-and-voice.md
100%        New File                 212        C:\Git\azure-docs-pr\contributor-guide\syntax-highlighting-markdown.md
100%        New File                 207        C:\Git\azure-docs-pr\contributor-guide\tools-and-setup.md
------------------------------------------------------------------------------

                Total    Copied   Skipped  Mismatch    FAILED    Extras
    Dirs :         1         1         1         0         0         0
    Files :        17        17         0         0         0         0
    Bytes :     3.9 k     3.9 k         0         0         0         0          
C:\Users>

Pour optimiser les performances, utilisez les paramètres robocopy suivants lors de la copie des données. (Les valeurs ci-dessous représentent les scénarios optimaux.)

Plateforme	Principalement des fichiers de petite taille (< 512 Ko)	Principalement des fichiers de taille moyenne (entre 512 Ko et 1 Mo)	Principalement des gros fichiers (> 1 Mo)
Data Box Heavy	6 sessions Robocopy 24 threads par session	6 sessions Robocopy 16 threads par session	6 sessions Robocopy 16 threads par session

Pour plus d’informations sur la commande Robocopy, consultez Robocopy and a few examples (Robocopy et quelques exemples).

Ouvrez le dossier cible pour afficher et vérifier les fichiers copiés.
Lors de la copie des données :
- Les noms, tailles et formats de fichiers sont validés pour garantir qu’ils respectent les limites des objets et du stockage Azure ainsi que les conventions de nommage des conteneurs et des fichiers Azure.
- Pour vérifier l’intégrité des données, la somme de contrôle est également calculée par le biais d’une fonction inline.
Si vous rencontrez des erreurs au cours du processus de copie, téléchargez les fichiers d’erreurs pour résoudre les problèmes. Sélectionnez l’icône en forme de flèche pour télécharger les fichiers d’erreurs.

Pour plus d’informations, consultez Afficher les journaux d’erreurs pendant la copie de données vers Data Box Heavy. Pour obtenir une liste détaillée des erreurs lors de la copie de données, consultez Résolution les problèmes liés à Data Box Heavy.
Ouvrez le fichier d’erreur dans le Bloc-notes. Le fichier d’erreur suivant indique que les données ne sont pas correctement alignées.

Pour un objet blob de pages, les données doivent être alignées par éléments de 512 octets. Après la suppression de ces données, l’erreur est résolue, comme le montre la capture d’écran suivante.
Une fois la copie terminée, accédez à la page Afficher le tableau de bord. Vérifiez l’espace utilisé et l’espace libre sur votre appareil.

Répétez les étapes ci-dessus pour copier les données sur le deuxième nœud de l’appareil.

Étapes suivantes

Dans ce tutoriel, vous avez approfondi vos connaissances sur Azure Data Box Heavy, notamment concernant les points suivants :

Se connecter à Data Box Heavy
Copier des données sur Data Box Heavy

Passez au tutoriel suivant pour découvrir comment réexpédier votre Data Box Heavy à Microsoft.

Expédier votre Azure Data Box Heavy à Microsoft

Copier des données via SMB

Si vous utilisez un hôte Windows, utilisez la commande suivante pour vous connecter aux partages SMB :

\\<IP address of your device>\ShareName
Pour obtenir les informations d'identification d'accès aux partages, accédez à la page Connexion et copie de l'interface utilisateur web locale de Data Box.
Utilisez un outil de copie de fichier SMB comme Robocopy pour copier les données vers des partages.

Pour obtenir des instructions pas à pas, consultez le Tutoriel : Copier des données sur Azure Data Box Disk par le biais de SMB.

Copier des données via NFS

Si vous utilisez un hôte NFS, utilisez la commande suivante pour monter les partages NFS :

sudo mount <Data Box device IP>:/<NFS share on Data Box device> <Path to the folder on local Linux computer>
Pour obtenir les informations d’identification d’accès aux partages, accédez à la page Connecter et copie de l’interface utilisateur web locale de Data Box Heavy.
Utilisez la commande cp ou rsync pour copier les données.
Répétez ces étapes pour vous connecter et copier des données vers le deuxième nœud de votre Data Box Heavy.

Pour obtenir des instructions pas à pas, consultez le Tutoriel : Copier des données sur Azure Data Box Disk par le biais de NFS.

Copier des données en utilisant REST

Pour copier des données à l’aide du stockage Blob Data Box en utilisant des API REST, vous pouvez vous connecter sur http ou https.
Pour copier des données vers le stockage Blob Data Box, vous pouvez utiliser AzCopy.
Répétez ces étapes pour vous connecter et copier des données vers le deuxième nœud de votre Data Box Heavy.

Pour obtenir des instructions pas à pas, consultez le Tutoriel : Copier des données vers le stockage Blob Azure Data Box par le biais des API REST.

Copier des données en utilisant le service de copie de données

Pour copier des données par l’intermédiaire du service de copie de données, vous devez créer un travail. Dans l’interface utilisateur web locale de votre Data Box Heavy, accédez à Gérer > Copier des données > Créer.
Renseignez les paramètres et créez un travail.
Répétez ces étapes pour vous connecter et copier des données vers le deuxième nœud de votre Data Box Heavy.

Pour obtenir des instructions pas à pas, consultez le Tutoriel : Utiliser le service de copie des données pour copier des données dans Azure Data Box Heavy.

Copier des données sur des disques managés

Quand vous commandez l’appareil Data Box Heavy, vous devez avoir sélectionné des disques managés comme destination de stockage.
Vous pouvez vous connecter à Data Box Heavy par le biais de partages SMB ou NFS.
Vous pouvez ensuite copier des données à l’aide d’outils SMB ou NFS.
Répétez ces étapes pour vous connecter et copier des données vers le deuxième nœud de votre Data Box Heavy.

Pour obtenir des instructions pas à pas, consultez le Tutoriel : Utiliser Data Box Heavy pour importer des données en tant que disques managés dans Azure.

Partager via