Azure Data Lake Storage migreren van Gen1 naar Gen2 met behulp van Azure Portal
In dit artikel leest u hoe u de migratie vereenvoudigt met behulp van Azure Portal.
Notitie
Azure Data Lake Storage Gen1 is nu buiten gebruik gesteld. Bekijk hier de aankondiging van de buitengebruikstelling. Data Lake Storage Gen1-resources zijn niet meer toegankelijk.
Hier volgt een video met meer informatie.
Hoofdstukken:
00.37 - Inleiding
01:16 - Migratie voorbereiden
07:15 - Migratie kopiëren
17:40 - Migratie kopiëren versus voltooien
19:43 - Migratie voltooien
33:15 - Na migratie
Lees voordat u begint de algemene richtlijnen voor migratie van Gen1 naar Gen2 in Azure Data Lake Storage-migratierichtlijnen en -patronen.
Uw account komt mogelijk niet in aanmerking voor migratie op basis van portals op basis van bepaalde beperkingen. Wanneer de knop Gegevens migreren niet is ingeschakeld in Azure Portal voor uw Gen1-account, kunt u een ondersteuningsaanvraag indienen als u een ondersteuningsplan hebt. U kunt ook antwoorden krijgen van community-experts in Microsoft Q&A.
Notitie
Voor eenvoudiger lezen gebruikt dit artikel de term Gen1 om te verwijzen naar Azure Data Lake Storage Gen1 en de term Gen2 om te verwijzen naar Azure Data Lake Storage Gen2.
Stap 1: Een opslagaccount maken met Gen2-mogelijkheden
Azure Data Lake Storage Gen2 is geen toegewezen opslagaccount of servicetype. Het is een set mogelijkheden die u kunt verkrijgen door de hiërarchische naamruimtefunctie van een Azure-opslagaccount in te schakelen. Zie Een opslagaccount maken voor gebruik met Azure Data Lake Storage Gen2 als u een account wilt maken met Gen2.
Zorg ervoor dat u tijdens het maken van het account instellingen configureert met de volgende waarden.
| Instelling | Weergegeven als |
|---|---|
| Naam van opslagaccount | Elke gewenste naam. Deze naam hoeft niet overeen te komen met de naam van uw Gen1-account en kan zich in elk abonnement van uw keuze bevinden. |
| Location | Dezelfde regio die wordt gebruikt door het Data Lake Storage Gen1-account |
| Replicatie | LRS of ZRS |
| Minimale TLS-versie | 1.0 |
| NFS v3 | Uitgeschakeld |
| Hiërarchische naamruimte | Ingeschakeld |
Notitie
Met het migratieprogramma in Azure Portal worden accountinstellingen niet verplaatst. Nadat u het account hebt gemaakt, moet u daarom handmatig instellingen configureren, zoals versleuteling, netwerkfirewalls, gegevensbeveiliging.
Belangrijk
Zorg ervoor dat u een nieuw, nieuw opslagaccount gebruikt dat geen gebruiksgeschiedenis heeft. Migreer niet naar een eerder gebruikt account of gebruik een account waarin containers zijn verwijderd om het account leeg te maken.
Stap 2: Roltoewijzingen voor op rollen gebaseerd toegangsbeheer van Azure (Azure RBAC) controleren
Voor Gen2 moet u ervoor zorgen dat de rol Eigenaar van opslagblobgegevens is toegewezen aan uw Microsoft Entra-gebruikersidentiteit binnen het bereik van het opslagaccount, de bovenliggende resourcegroep of het abonnement.
Voor Gen1 moet u ervoor zorgen dat de rol Eigenaar is toegewezen aan uw Microsoft Entra-identiteit in het bereik van het Gen1-account, de bovenliggende resourcegroep of het abonnement.
Stap 3: Azure Data Lake Analytics-workloads migreren
Azure Data Lake Storage Gen2 biedt geen ondersteuning voor Azure Data Lake Analytics. Azure Data Lake Analytics wordt op 29 februari 2024 buiten gebruik gesteld . Als u azure Portal probeert te gebruiken om een Azure Data Lake Storage Gen1-account te migreren dat wordt gebruikt voor Azure Data Lake Analytics, is het mogelijk dat u uw Azure Data Lake Analytics-workloads onderbreekt. U moet eerst uw Azure Data Lake Analytics-workloads migreren naar Azure Synapse Analytics of een ander ondersteund rekenplatform voordat u uw Gen1-account migreert.
Zie Azure Data Lake Analytics beheren met behulp van Azure Portal voor meer informatie.
Stap 4: Het Gen1-account voorbereiden
Bestands- of mapnamen met alleen spaties of tabbladen, eindigend op een ., met een :, of met meerdere opeenvolgende slashes (//) zijn niet compatibel met Gen2. U moet de naam van deze bestanden of mappen wijzigen voordat u migreert.
Voor de betere prestaties kunt u overwegen om de migratie ten minste tien dagen na de laatste verwijderbewerking uit te stellen. In een Gen1-account worden verwijderde bestanden voorlopig verwijderde bestanden en de garbagecollection verwijdert ze pas definitief tot zeven dagen en duurt het enkele extra dagen om het opschonen te verwerken. De tijd die nodig is om op te ruimen, is afhankelijk van het aantal bestanden. Alle bestanden, inclusief voorlopig verwijderde bestanden, worden tijdens de migratie verwerkt. Als u wacht totdat de garbagecollection verwijderde bestanden definitief heeft verwijderd, kan de wachttijd worden verbeterd.
Stap 5: de migratie uitvoeren
Voordat u begint, bekijkt u de twee onderstaande migratieopties en beslist u of u alleen gegevens van Gen1 naar Gen2 wilt kopiëren (aanbevolen) of een volledige migratie wilt uitvoeren.
Optie 1: alleen gegevens kopiëren (aanbevolen). In deze optie worden gegevens gekopieerd van Gen1 naar Gen2. Terwijl de gegevens worden gekopieerd, wordt het Gen1-account alleen-lezen. Nadat de gegevens zijn gekopieerd, zijn zowel de Gen1- als Gen2-accounts toegankelijk. U moet de toepassingen en rekenworkloads echter bijwerken om het nieuwe Gen2-eindpunt te kunnen gebruiken.
Optie 2: Voer een volledige migratie uit. In deze optie worden gegevens gekopieerd van Gen1 naar Gen2. Nadat de gegevens zijn gekopieerd, wordt al het verkeer van het Gen1-account omgeleid naar het Gen2-account. Omgeleide aanvragen gebruiken de Gen1-compatibiliteitslaag om Gen1-API-aanroepen te vertalen naar Gen2-equivalenten. Tijdens de migratie wordt het Gen1-account alleen-lezen. Nadat de migratie is voltooid, is het Gen1-account niet toegankelijk.
Welke optie u ook kiest, nadat u hebt gemigreerd en geverifieerd dat al uw workloads werken zoals verwacht, kunt u het Gen1-account verwijderen.
Optie 1: Gegevens kopiëren van Gen1 naar Gen2
Meld u aan bij Azure Portal om aan de slag te gaan.
Zoek uw Data Lake Storage Gen1-account en geef het accountoverzicht weer.
Selecteer de knop Gegevens migreren.
Selecteer Gegevens kopiëren naar een nieuw Gen2-account.
Geef Microsoft toestemming om de gegevensmigratie uit te voeren door het selectievakje in te schakelen. Selecteer vervolgens de knop Toepassen .
Er wordt een voortgangsbalk weergegeven, samen met een substatusbericht. U kunt deze indicatoren gebruiken om de voortgang van de migratie te meten. Omdat de tijd die nodig is om elke taak te voltooien, varieert de voortgangsbalk niet met een consistente snelheid. De voortgangsbalk kan bijvoorbeeld snel naar 50 procent gaan, maar het duurt nog iets langer om de resterende 50 procent te voltooien.
Belangrijk
Terwijl uw gegevens worden gemigreerd, wordt uw Gen1-account alleen-lezen en is uw Gen2-account uitgeschakeld. Wanneer de migratie is voltooid, kunt u beide accounts lezen en schrijven.
U kunt de migratie op elk gewenst moment stoppen door de knop Migratie stoppen te selecteren.
Optie 2: Een volledige migratie uitvoeren
Meld u aan bij Azure Portal om aan de slag te gaan.
Zoek uw Data Lake Storage Gen1-account en geef het accountoverzicht weer.
Selecteer de knop Gegevens migreren.
Selecteer Migratie naar een nieuw Gen2-account voltooien.
Geef Microsoft toestemming om de gegevensmigratie uit te voeren door het selectievakje in te schakelen. Selecteer vervolgens de knop Toepassen .
Er wordt een voortgangsbalk weergegeven, samen met een substatusbericht. U kunt deze indicatoren gebruiken om de voortgang van de migratie te meten. Omdat de tijd die nodig is om elke taak te voltooien, varieert de voortgangsbalk niet met een consistente snelheid. De voortgangsbalk kan bijvoorbeeld snel naar 50 procent gaan, maar het duurt nog iets langer om de resterende 50 procent te voltooien.
Belangrijk
Terwijl uw gegevens worden gemigreerd, wordt uw Gen1-account alleen-lezen en is het gen2-account uitgeschakeld.
Ook, terwijl de Gen1-URI wordt omgeleid, worden beide accounts uitgeschakeld.
Wanneer de migratie is voltooid, wordt uw Gen1-account uitgeschakeld. De gegevens in uw Gen1-account zijn niet toegankelijk en worden na 30 dagen verwijderd. Uw Gen2-account is beschikbaar voor lees- en schrijfbewerkingen.
U kunt de migratie op elk gewenst moment stoppen voordat de URI wordt omgeleid door de knop Migratie stoppen te selecteren.
Stap 6: controleren of de migratie is voltooid
Als de migratie is voltooid, wordt er een container met de naam Gen1 gemaakt in het Gen2-account en worden alle gegevens van het Gen1-account gekopieerd naar deze nieuwe Gen1-container . Als u de gegevens wilt vinden op een pad dat op Gen1 bestond, moet u het voorvoegsel gen1/ toevoegen aan hetzelfde pad om deze te openen op Gen2. Een pad met de naam 'FolderRoot/FolderChild/FileName.csv' op Gen1 is bijvoorbeeld beschikbaar op 'gen1/FolderRoot/FolderChild/FileName.csv' op Gen2. Containernamen kunnen niet worden gewijzigd in Gen2, dus deze Gen1-container op Gen2 kan niet worden gewijzigd na de migratie. De gegevens kunnen echter indien nodig worden gekopieerd naar een nieuwe container in Gen2.
Als de migratie niet is voltooid, wordt er een bericht weergegeven waarin staat dat de migratie is vastgelopen vanwege incompatibiliteit. Als u hulp nodig hebt bij de volgende stap, neemt u contact op met Microsoft Ondersteuning. Dit bericht kan worden weergegeven als het gen2-account eerder is gebruikt of wanneer bestanden en mappen in het Gen1-account incompatibele naamconventies gebruiken.
Voordat u contact op neemt met de ondersteuning, moet u ervoor zorgen dat u een nieuw, nieuw opslagaccount gebruikt dat geen gebruiksgeschiedenis heeft. Vermijd migratie naar een eerder gebruikt account of een account waarin containers zijn verwijderd om het account leeg te maken. Zorg ervoor dat u in uw Gen1-account de naam van een bestand of mapnaam wijzigt die alleen spaties of tabbladen bevat, eindigt op een ., een :of meerdere slashes (//).
Stap 7: Workloads en toepassingen migreren
Configureer services in uw workloads om naar uw Gen2-eindpunt te verwijzen. Zie Azure-services die ondersteuning bieden voor Azure Data Lake Storage Gen2 voor koppelingen naar artikelen waarmee u Azure Databricks, HDInsight en andere Azure-services kunt configureren voor het gebruik van Gen2.
Toepassingen bijwerken voor het gebruik van Gen2-API's. Zie de volgende handleidingen:
Werk scripts bij voor het gebruik van Data Lake Storage Gen2 PowerShell-cmdlets en Azure CLI-opdrachten.
Zoek naar URI-verwijzingen die de tekenreeks
adl://bevatten in codebestanden of in Databricks-notebooks, Apache Hive HQL-bestanden of een ander bestand dat wordt gebruikt als onderdeel van uw workloads. Vervang deze verwijzingen door de gen2-geformatteerde URI van uw nieuwe opslagaccount. Bijvoorbeeld: de Gen1-URI:adl://mydatalakestore.azuredatalakestore.net/mydirectory/myfilekan wordenabfss://myfilesystem@mydatalakestore.dfs.core.windows.net/mydirectory/myfile.
Gen1-compatibiliteitslaag
Deze laag probeert tijdens de migratie toepassingscompatibiliteit tussen Gen1 en Gen2 te bieden, zodat toepassingen Gen1-API's kunnen blijven gebruiken om te communiceren met gegevens in het Gen2-account. Deze laag heeft beperkte functionaliteit en het wordt aangeraden om de workloads met testaccounts te valideren als u deze benadering gebruikt als onderdeel van de migratie. De compatibiliteitslaag wordt uitgevoerd op de server, dus er is niets te installeren.
Belangrijk
Microsoft raadt deze mogelijkheid niet aan als vervanging voor het migreren van uw workloads en toepassingen. Ondersteuning voor de Gen1-compatibiliteitslaag eindigt wanneer Gen1 buiten gebruik wordt gesteld op 29 februari 2024.
Als u het minste aantal problemen met de compatibiliteitslaag wilt tegenkomen, moet u ervoor zorgen dat uw Gen1-SDK's de volgende versies (of hoger) gebruiken.
| Taal | SDK-versie |
|---|---|
| .NET | 2.3.9 |
| Java | 1.1.21 |
| Python | 0.0.51 |
De volgende functionaliteit wordt niet ondersteund in de compatibiliteitslaag.
ListStatus-API-optie voor ListBefore een vermelding.
ListStatus-API met meer dan 4000 bestanden zonder vervolgtoken.
Segmentcodering voor toevoegbewerkingen.
API-aanroepen die worden gebruikt
https://management.azure.com/als de Microsoft Entra-tokendoelgroep.Bestands- of mapnamen met alleen spaties of tabbladen, eindigend op een
., met een:, of met meerdere opeenvolgende slashes (//).
Veelgestelde vragen
Hoe lang duurt de migratie?
Gegevens en metagegevens worden parallel gemigreerd. De totale tijd die nodig is om een migratie te voltooien, is gelijk aan de laatste van deze twee processen.
In de volgende tabel ziet u de geschatte snelheid van elke migratieverwerkingstaak.
Notitie
Deze schattingen van tijd zijn bij benadering en kunnen variëren. Het kopiëren van een groot aantal kleine bestanden kan bijvoorbeeld de prestaties vertragen.
| Verwerkingstaak | Snelheid |
|---|---|
| Gegevens kopiëren | 9 TB per uur |
| Gegevensvalidatie | 9 miljoen bestanden of mappen per uur |
| Metagegevens kopiëren | 4 miljoen bestanden of mappen per uur |
| Verwerking van metagegevens | 25 miljoen bestanden of mappen per uur |
| Aanvullende verwerking van metagegevens (optie voor het kopiëren van gegevens)1 | 50 miljoen bestanden of mappen per uur |
1 De extra verwerkingstijd voor metagegevens is alleen van toepassing als u de optie Gegevens kopiëren naar een nieuw Gen2-account kiest. Deze verwerkingstijd is niet van toepassing als u de optie Volledige migratie naar een nieuw Gen2-account kiest.
Voorbeeld: Een grote hoeveelheid gegevens en metagegevens verwerken
In dit voorbeeld wordt uitgegaan van 300 TB aan gegevens en 200 miljoen gegevens- en metagegevensitems.
| Opdracht | Geraamde tijd |
|---|---|
| Gegevens kopiëren | 300 TB / 9 TB = 33,33 uur |
| Gegevens valideren | 200 miljoen / 9 miljoen = 22,22 uur |
| Totale tijd voor gegevensmigratie | 33.33 + 22.2 = 55,55 uur |
| Metagegevens kopiëren | 200 miljoen / 4 miljoen = 50 uur |
| Verwerking van metagegevens | 200 miljoen / 25 miljoen = 8 uur |
| Aanvullende verwerking van metagegevens - optie voor het kopiëren van gegevens alleen | 200 miljoen / 50 miljoen = 4 uur |
| Totale migratietijd voor metagegevens | 50 + 8 + 4 = 62 uur |
| Totale tijd voor het uitvoeren van een alleen-gegevensmigratie | 62 uur |
| Totale tijd voor het uitvoeren van een volledige migratie | 62 - 4 = 58 uur |
Voorbeeld: Een kleine hoeveelheid gegevens en metagegevens verwerken
In dit voorbeeld wordt ervan uitgegaan dat 2 TB aan gegevens en 56 duizend gegevens- en metagegevensitems.
| Opdracht | Geraamde tijd |
|---|---|
| Gegevens kopiëren | (2 TB / 9 TB) * 60 minuten = 13,3 minuten |
| Gegevens valideren | (56.000 / 9 miljoen) * 3.600 seconden = 22,4 seconden |
| Totale tijd voor gegevensmigratie | 13,3 minuten + 22,4 seconden = ongeveer 14 minuten |
| Metagegevens kopiëren | (56.000 / 4 miljoen) * 3.600 seconden = ongeveer 51 seconden |
| Verwerking van metagegevens | 56.000/ 25 miljoen = 8 seconden |
| Aanvullende verwerking van metagegevens - optie voor het kopiëren van gegevens alleen | (56.000 / 50 miljoen) * 3.600 seconden = 4 seconden |
| Totale migratietijd voor metagegevens | 51 + 8 + 4 = 63 seconden |
| Totale tijd voor het uitvoeren van een alleen-gegevensmigratie | 14 minuten |
| Totale tijd voor het uitvoeren van een volledige migratie | 14 minuten - 4 seconden = 13 minuten en 56 seconden (ongeveer 14 minuten) |
Hoeveel kost de gegevensmigratie?
Er zijn geen kosten verbonden aan het gebruik van het migratiehulpprogramma op basis van de portal, maar u wordt gefactureerd voor het gebruik van Azure Data Lake Gen1- en Gen2-services. Tijdens de gegevensmigratie wordt u gefactureerd voor de gegevensopslag en transacties van het Gen1-account.
Als u na de migratie de optie hebt gekozen waarmee alleen gegevens worden gekopieerd, wordt u gefactureerd voor de gegevensopslag en transacties voor zowel Azure Data Lake Gen1- als Gen2-accounts. Als u wilt voorkomen dat er kosten in rekening worden gebracht voor het Gen1-account, verwijdert u het Gen1-account nadat u uw toepassingen hebt bijgewerkt om naar Gen2 te verwijzen. Als u ervoor kiest om een volledige migratie uit te voeren, wordt u alleen gefactureerd voor de gegevensopslag en transacties van het Gen2-account.
Tijdens het verlenen van toestemming is het foutbericht migratieinitiatie mislukt. Wat moet ik nu doen?
Zorg ervoor dat al uw Azure Data Lake Analytics-accounts worden gemigreerd naar Azure Synapse Analytics of een ander ondersteund rekenplatform. Nadat Azure Data Lake Analytics-accounts zijn gemigreerd, probeert u de toestemming opnieuw. Als u het probleem verder ziet en u een ondersteuningsplan hebt, kunt u een ondersteuningsaanvraag indienen. U kunt ook antwoorden krijgen van community-experts in Microsoft Q&A.
Nadat de migratie is voltooid, kan ik teruggaan naar het gebruik van het Gen1-account?
Als u optie 1 hebt gebruikt : gegevens kopiëren van Gen1 naar Gen2 die hierboven worden vermeld, zijn zowel de Gen1- als Gen2-accounts beschikbaar voor lees- en schrijfbewerkingen na de migratie. Als u echter optie 2 hebt gebruikt : een volledige migratie uitvoeren, wordt teruggaan naar het Gen1-account niet ondersteund. Nadat de migratie is voltooid, zijn de gegevens in uw Gen1-account niet toegankelijk en worden ze na 30 dagen verwijderd. U kunt het Gen1-account blijven weergeven in Azure Portal en wanneer u klaar bent, kunt u het Gen1-account verwijderen.
Ik wil geografisch redundante opslag (GRS) inschakelen voor het Gen2-account. Hoe doe ik dat?
Zodra de migratie is voltooid, kunt u zowel in de opties Gegevens kopiëren als Volledige migratie doorgaan en de redundantieoptie wijzigen in GRS zolang u niet van plan bent de compatibiliteitslaag van de toepassing te gebruiken. De toepassingscompatibiliteit werkt niet voor accounts die gebruikmaken van GRS-redundantie.
Gen1 heeft geen containers en Gen2 heeft deze - wat moet ik verwachten?
Wanneer we de gegevens naar uw Gen2-account kopiëren, maken we automatisch een container met de naam 'Gen1'. In Gen2-containernamen kunnen de naam niet worden gewijzigd en kunnen gegevens na de migratie naar een nieuwe container in Gen2 worden gekopieerd, indien nodig.
Wat moet ik overwegen in termen van migratieprestaties?
Wanneer u de gegevens naar uw Gen2-account kopieert, zijn twee factoren die van invloed kunnen zijn op de prestaties het aantal bestanden en de hoeveelheid metagegevens die u hebt. Veel kleine bestanden kunnen bijvoorbeeld van invloed zijn op de prestaties van de migratie.
Worden webHDFS-bestandssysteem-API's ondersteund voor Gen2-accounts na de migratie?
WebHDFS-bestandssysteem-API's van Gen1 worden ondersteund op Gen2, maar met bepaalde afwijkingen, en alleen beperkte functionaliteit wordt ondersteund via de compatibiliteitslaag. Klanten moeten van plan zijn om gen2-specifieke API's te gebruiken voor betere prestaties en functies.
Wat gebeurt er met mijn Gen1-account na de buitengebruikstellingsdatum?
Het account is niet toegankelijk. U kunt het volgende niet:
Het account beheren
Toegang tot gegevens in het account
Service-updates ontvangen voor Gen1- of Gen1-API's, SDK's of clienthulpprogramma's
Online, telefonisch of per e-mail toegang krijgen tot de klantenondersteuning van Gen1
Zie De vereiste actie: overschakelen naar Azure Data Lake Storage Gen2 op 29 februari 2024.
Volgende stappen
- Meer informatie over migratie in het algemeen. Zie Azure Data Lake Storage migreren van Gen1 naar Gen2 voor meer informatie.