Zelfstudie: Gegevens kopiëren naar Azure Data Box via NFS
Belangrijk
Azure Data Box biedt nu ondersteuning voor toewijzing van toegangslagen op blobniveau. De stappen in deze zelfstudie weerspiegelen het bijgewerkte proces voor het kopiëren van gegevens en zijn specifiek voor blok-blobs.
Raadpleeg de sectie Juiste toegangslagen voor blok-blobs bepalen voor hulp bij het bepalen van de juiste toegangslaag voor uw blok-blobgegevens. Volg de stappen in de sectie Gegevens kopiëren naar Data Box om uw gegevens naar de juiste toegangslaag te kopiëren.
De informatie in deze sectie is van toepassing op bestellingen die na 1 april 2024 zijn geplaatst.
Deze zelfstudie beschrijft hoe u verbinding kunt maken en gegevens kunt kopiëren vanaf uw hostcomputer via de lokale gebruikersinterface.
In deze zelfstudie leert u het volgende:
- Vereisten
- Verbinding maken met Data Box
- Gegevens kopiëren naar Data Box
Vereisten
Zorg voordat u begint voor het volgende:
- U voltooit de zelfstudie: Azure Data Box instellen.
- U ontvangt uw Data Box en de orderstatus in de portal wordt bezorgd.
- U hebt een hostcomputer nodig waarop de gegevens staan die u naar de Data Box wilt kopiëren. Uw hostcomputer moet:
- Een ondersteund besturingssysteem worden uitgevoerd.
- Verbonden zijn met een netwerk met hoge snelheid. Het wordt aangeraden dat u beschikt over minstens één 10-GbE-verbinding. Als er geen 10-GbE-verbinding beschikbaar is, kan een 1-GbE-gegevensverbinding worden gebruikt. Dit heeft echter wel invloed op de kopieersnelheid.
Verbinding maken met Data Box
Data Box maakt op basis van het geselecteerde opslagaccount maximaal:
- Drie shares voor elk gekoppeld opslagaccount voor GPv1 en GPv2.
- Eén share voor premium opslag.
- Eén share voor een blob-opslagaccount met één map voor elk van de vier toegangslagen.
De volgende tabel bevat de namen van de Data Box-shares waarmee u verbinding kunt maken en het type gegevens dat is geüpload naar uw doelopslagaccount. Het identificeert ook de hiërarchie van shares en mappen waarin u uw brongegevens kopieert.
Opslagtype | Naam delen | Entiteit op het eerste niveau | Entiteit op het tweede niveau | Entiteit op het derde niveau |
---|---|---|---|---|
Blok-blob | <storageAccountName>_BlockBlob | <\accessTier> | <\containerName> | <\blockBlob> |
Pagina-blob | <\storageAccountName>_PageBlob | <\containerName> | <\pageBlob> | |
File Storage | <\storageAccountName>_AzFile | <\fileShareName> | <\Bestand> |
U kunt bestanden niet rechtstreeks naar de hoofdmap van een Data Box-share kopiëren. Maak in plaats daarvan mappen binnen de Data Box-share, afhankelijk van uw use-case.
Blok-blobs ondersteunen de toewijzing van toegangslagen op bestandsniveau. Voordat u bestanden naar de blok-blobshare kopieert, is het raadzaam om nieuwe submappen toe te voegen binnen de juiste toegangslaag. Nadat u nieuwe submappen hebt gemaakt, voegt u desgewenst bestanden toe aan elke submap.
Er wordt een nieuwe container gemaakt voor elke map die zich in de hoofdmap van de blok-blobshare bevindt. Elk bestand in de map wordt als blok-blob gekopieerd naar de standaardtoegangslaag van het opslagaccount.
Zie Toegangslagen voor blobgegevens voor meer informatie over blobtoegangslagen. Zie Best practices voor het gebruik van blob-toegangslagen voor meer gedetailleerde informatie over aanbevolen procedures voor toegangslagen.
In de volgende tabel ziet u het UNC-pad naar de shares in uw Data Box en de bijbehorende URL van het Azure Storage-pad waarnaar gegevens worden geüpload. De uiteindelijke URL van het Azure Storage-pad kan worden afgeleid van het UNC-pad naar de shares.
Azure-opslagtypen | Data Box-shares |
---|---|
Azure-blok-blobs | \\<DeviceIPAddress>\<storageaccountname_BlockBlob>\<accessTier>\<ContainerName>\myBlob.txt https://<storageaccountname>.blob.core.windows.net/<ContainerName>/myBlob.txt |
Azure-pagina-blobs | \\<DeviceIPAddress>\<storageaccountname_PageBlob>\<ContainerName>\myBlob.vhd https://<storageaccountname>.blob.core.windows.net/<ContainerName>/myBlob.vhd |
Azure Files | \\<DeviceIPAddress>\<storageaccountname_AzFile>\<ShareName>\myFile.txt https://<storageaccountname>.file.core.windows.net/<ShareName>/myFile.txt |
Als u een Linux-hostcomputer gebruikt, voert u de volgende stappen uit om Data Box te configureren om toegang tot NFS-clients toe te staan.
Geef de IP-adressen op van de clients die toegang hebben tot de share. Ga in de lokale gebruikersinterface naar de pagina Verbinding maken en kopiëren. Selecteer onder NFS-instellingen NFS-clienttoegang.
Geef het IP-adres van de NFS-client op en selecteer Toevoegen. U kunt deze stap herhalen om toegang voor meerdere NFS-clients te configureren. Selecteer OK.
Zorg dat er een ondersteunde versie van de NFS-client op de Linux-hostcomputer is geïnstalleerd. Gebruik de specifieke versie voor uw Linux-distributie.
Gebruik na het installeren van de NFS-client de volgende opdracht om de NFS-share op uw Data Box-apparaat te koppelen:
sudo mount <Data Box device IP>:/<NFS share on Data Box device> <Path to the folder on local Linux computer>
Gebruik het volgende voorbeeld om verbinding te maken met een Data Box-share met behulp van NFS. In het voorbeeld is
10.161.23.130
het IP-adres van het Data Box-apparaat. De shareMystoracct_Blob
is gekoppeld op de ubuntuVM en het koppelpunt is/home/databoxubuntuhost/databox
.sudo mount -t nfs 10.161.23.130:/Mystoracct_Blob /home/databoxubuntuhost/databox
Voor Mac-clients moet u als volgt een extra optie toevoegen:
sudo mount -t nfs -o sec=sys,resvport 10.161.23.130:/Mystoracct_Blob /home/databoxubuntuhost/databox
Belangrijk
U kunt bestanden niet rechtstreeks kopiëren naar de hoofdmap van het opslagaccount. In de hoofdmap van een blok-blobopslagaccount vindt u een map die overeenkomt met elk van de beschikbare toegangslagen.
Als u uw gegevens naar Azure Data Box wilt kopiëren, moet u eerst de map selecteren die overeenkomt met een van de toegangslagen. Maak vervolgens een submap in de map van die laag om uw gegevens op te slaan. Kopieer ten slotte uw gegevens naar de zojuist gemaakte submap. De nieuwe submap vertegenwoordigt de container die tijdens de opname in het opslagaccount is gemaakt. Uw gegevens worden als blobs naar deze container geüpload.
De juiste toegangslagen voor blok-blobs bepalen
Belangrijk
De informatie in deze sectie is van toepassing op bestellingen die na 1 april 2024 zijn geplaatst.
Met Azure Storage kunt u blok-blobgegevens opslaan in meerdere toegangslagen binnen hetzelfde opslagaccount. Met deze mogelijkheid kunnen gegevens efficiënter worden ingedeeld en opgeslagen op basis van hoe vaak ze worden geopend. De volgende tabel bevat informatie en aanbevelingen over Azure Storage-toegangslagen.
Laag | Aanbeveling | Best practice |
---|---|---|
Heet | Handig voor onlinegegevens die regelmatig worden geopend of gewijzigd. Deze laag heeft de hoogste opslagkosten, maar de laagste toegangskosten. | Gegevens in deze laag moeten regelmatig en actief worden gebruikt. |
Statisch | Handig voor onlinegegevens die niet vaak worden geopend of gewijzigd. Deze laag heeft lagere opslagkosten en hogere toegangskosten dan de dynamische laag. | Gegevens in deze laag moeten ten minste 30 dagen worden opgeslagen. |
Koud | Handig voor onlinegegevens die zelden worden geopend of gewijzigd, maar nog steeds snel moeten worden opgehaald. Deze laag heeft lagere opslagkosten en hogere toegangskosten dan de statische laag. | Gegevens in deze laag moeten minimaal 90 dagen worden opgeslagen. |
Archiveren | Handig voor offlinegegevens die zelden worden geopend en lagere latentievereisten hebben. | Gegevens in deze laag moeten minimaal 180 dagen worden opgeslagen. Gegevens die binnen 180 dagen uit de archieflaag zijn verwijderd, worden in rekening gebracht voor vroegtijdige verwijdering. |
Zie Toegangslagen voor blobgegevens voor meer informatie over blobtoegangslagen. Zie Best practices voor het gebruik van blob-toegangslagen voor meer gedetailleerde aanbevolen procedures.
U kunt uw blok-blobgegevens overdragen naar de juiste toegangslaag door deze te kopiëren naar de bijbehorende map in Data Box. Dit proces wordt uitgebreider besproken in de sectie Gegevens kopiëren naar Azure Data Box .
Gegevens kopiëren naar Data Box
Nadat u verbinding hebt gemaakt met een of meer Data Box-shares, is de volgende stap het kopiëren van gegevens. Houd rekening met de volgende beperkingen voordat u begint met het kopiëren van gegevens:
- Zorg ervoor dat u uw gegevens naar de share kopieert die overeenkomt met de vereiste gegevensindeling. Kopieer bijvoorbeeld blok-blobgegevens naar de share voor blok-blobs. Kopieer VHD's naar de pagina-blobshare. Als de gegevensindeling niet overeenkomt met het juiste sharetype, mislukt het uploaden van gegevens naar Azure tijdens een latere stap.
- Wanneer u gegevens kopieert naar de AzFile - of PageBlob-shares , maakt u eerst een map in de hoofdmap van de share en kopieert u vervolgens bestanden naar die map.
- Wanneer u gegevens naar de BlockBlob-share kopieert, maakt u een submap in de gewenste toegangslaag en kopieert u vervolgens gegevens naar de zojuist gemaakte submap. De submap vertegenwoordigt een container waarin gegevens worden geüpload als blobs. U kunt bestanden niet rechtstreeks kopiëren naar de hoofdmap van een share.
- Zorg er tijdens het kopiëren van gegevens voor dat de gegevensgrootte voldoet aan de limieten die worden vermeld in de limieten voor Azure-opslagaccounts.
- Gelijktijdige uploads door Data Box en een andere niet-Data Box-toepassing kunnen leiden tot fouten in uploadtaken en beschadigde gegevens.
- Als u zowel de SMB- als NFS-protocollen voor gegevenskopieën gebruikt, raden we u aan:
- Gebruik verschillende opslagaccounts voor SMB en NFS.
- Kopieer niet dezelfde gegevens naar dezelfde eindbestemming in Azure met zowel SMB als NFS. In dergelijke gevallen kan de definitieve uitkomst namelijk niet worden vastgesteld.
- Hoewel kopiëren via zowel SMB als NFS parallel kan werken, raden we dit niet aan, omdat het gevoelig is voor menselijke fouten. Wacht totdat het kopiëren van SMB-gegevens is voltooid voordat u een NFS-gegevenskopie start.
- Wanneer u gegevens naar de blok-blobshare kopieert, maakt u een submap in de gewenste toegangslaag en kopieert u vervolgens gegevens naar de zojuist gemaakte submap. De submap vertegenwoordigt een container waarnaar uw gegevens worden geüpload als blobs. U kunt bestanden niet rechtstreeks naar de hoofdmap in het opslagaccount kopiëren.
- Als u hoofdlettergevoelige map- en bestandsnamen opneemt van een NFS-share naar NFS in Data Box:
Blijven de hoofd- en kleine letters behouden in de naam.
De bestanden zijn niet hoofdlettergevoelig.
Als u bijvoorbeeld kopieert
SampleFile.txt
enSamplefile.Txt
, blijft de case behouden in de naam wanneer deze naar Data Box wordt gekopieerd. Omdat ze echter als hetzelfde bestand worden beschouwd, overschrijft het laatste geüploade bestand het eerste bestand.
Belangrijk
Zorg ervoor dat u een kopie van de brongegevens onderhoudt totdat u kunt bevestigen dat uw gegevens zijn gekopieerd naar Azure Storage.
Gebruik een hulpprogramma voor kopiëren dat op Robocopy lijkt als u een Linux-hostcomputer gebruikt. Voorbeelden van beschikbare alternatieven in Linux zijn rsync
, FreeFileSync, Unison of Ultracopier.
De opdracht cp
is een van de beste opties om een map te kopiëren. Ga voor meer informatie over het gebruik naar cp man-pagina’s.
Volg deze richtlijnen als u rsync
gebruikt voor een kopie met meerdere threads:
Installeer het CIFS Utils- of NFS Utils-pakket, afhankelijk van het bestandssysteem dat uw Linux-client gebruikt.
sudo apt-get install cifs-utils
sudo apt-get install nfs-utils
Installeren
rsync
en parallel (varieert afhankelijk van de gedistribueerde Linux-versie).sudo apt-get install rsync
sudo apt-get install parallel
Maak een koppelpunt.
sudo mkdir /mnt/databox
Koppel het volume.
sudo mount -t NFS4 //Databox IP Address/share_name /mnt/databox
Spiegel de mapstructuur.
rsync -za --include='*/' --exclude='*' /local_path/ /mnt/databox
Kopieer bestanden.
cd /local_path/; find -L . -type f | parallel -j X rsync -za {} /mnt/databox/{}
waarbij j het aantal parallelle uitvoeringen aangeeft, X = aantal parallelle kopieën
We adviseren u om met 16 parallelle kopieën te beginnen en het aantal threads te verhogen op basis van de beschikbare resources.
Belangrijk
De volgende Linux-bestandstypen worden niet ondersteund: symbolische koppelingen, tekenbestanden, blokbestanden, sockets en pijpen. Deze bestandstypen veroorzaken fouten tijdens de stap Voorbereiden voor verzending.
Meldingen worden weergegeven tijdens de kopieerbewerkingen om fouten te identificeren.
Selecteer Lijst met problemen downloaden.
Open de lijst om de details van de fout weer te geven en selecteer de oplossings-URL om de aanbevolen oplossing weer te geven.
Zie Foutenlogboeken bekijken tijdens het kopiëren van gegevens naar Data Box voor meer informatie. Zie Problemen met Data Box oplossen voor een gedetailleerde lijst met fouten tijdens het kopiëren van gegevens.
Om de gegevensintegriteit te garanderen wordt de controlesom inline berekend terwijl de gegevens worden gekopieerd. Verifieer de gebruikte ruimte en vrije ruimte op uw apparaat na het kopiëren.
Volgende stappen
In deze zelfstudie bent u meer te weten gekomen over verschillende onderwerpen met betrekking tot Azure Data Box, zoals:
- Vereisten voor het kopiëren van Data Box-gegevens
- Verbinding maken naar Data Box
- De juiste toegangslagen voor blok-blobs bepalen
- Gegevens kopiëren naar Data Box
Ga naar de volgende zelfstudie om te lezen hoe u uw Data Box naar Microsoft verzendt.