Netwerkupload optimaliseren
Jumbo Frames zijn ethernetframes die groter zijn dan de standaard 1500 bytes. Typische Jumbo Frame-grootten zijn 9000 bytes. Een toename van de framegrootte op de bron-DB-server, alle tussenliggende netwerkapparaten zoals switches en de Intel R3load-servers verminderen het CPU-verbruik en verhoogt de netwerkdoorvoer. De framegrootte moet identiek zijn op alle apparaten, anders vindt resource-intensieve conversie plaats.
Aanvullende netwerkfuncties zoals RSS (Receive Side Scaling) kunnen worden ingeschakeld of geconfigureerd om netwerkverwerking te distribueren over meerdere processors waarop R3load-servers op VMware worden uitgevoerd, heeft bewezen dat netwerkafstemming voor Jumbo Frames en RSS complexer is en niet wordt aanbevolen, tenzij er een zeer deskundig vaardigheidsniveau beschikbaar is.
R3load exporteert gegevens uit DBMS-tabellen en comprimeert deze onbewerkte indelingsonafhankelijke gegevens in dumpbestanden. Deze dumpbestanden moeten worden geüpload naar Azure en geïmporteerd in de SQL Server-doeldatabase.
De prestaties van het kopiëren en uploaden naar Azure van deze dumpbestanden is een essentieel onderdeel in het algehele migratieproces.
Er zijn twee basismethoden voor het uploaden van R3load-dumpbestanden:
Kopiëren van on-premises R3load-exportservers naar Azure Blob Storage via openbaar internet met AzCopy
Voer op elk van de R3load-servers een kopie van AzCopy uit met deze opdrachtregel:
Azcopy copy "C:\ExportServer_1\Dumpfiles" "https://[storage_account].blob.core.windows.net/ExportServer_1/Dumpfiles?[SAS_Token]" --recursive
U kunt de doorvoer verhogen door de omgevingsvariabele AZCOPY_CONCURRENCY_VALUE in te stellen. Met deze variabele geeft u het aantal gelijktijdige aanvragen op dat kan plaatsvinden.
Als uw computer minder dan 5 CPU's heeft, wordt de [waarde] van deze variabele ingesteld op 32. Anders is de standaardwaarde gelijk aan 16 vermenigvuldigd met het aantal CPU's. De maximale standaardwaarde van deze variabele is 300, maar u kunt deze waarde handmatig hoger of lager instellen:
| Besturingssysteem | Opdracht |
|---|---|
| Windows | set AZCOPY_CONCURRENCY_VALUE=[value] |
| Linux | export AZCOPY_CONCURRENCY_VALUE=[value] |
| macOS | export AZCOPY_CONCURRENCY_VALUE=[value] |
Gebruik azcopy env om de huidige waarde van de omgevingsvariabele AZCOPY_CONCURRENCY_VALUE te controleren. Als de waarde leeg is, kunt u lezen welke waarde wordt gebruikt door naar het begin van een AzCopy-logboekbestand te kijken. De geselecteerde waarde en de reden waarom deze is geselecteerd, worden daar gerapporteerd.
Voordat u de gelijktijdigheidswaarde instelt, voert u een benchmarktest uit. Het benchmarktestproces rapporteert de aanbevolen gelijktijdigheidswaarde. Als uw netwerkomstandigheden en nettoladingen variëren, kunt u deze variabele ook instellen op het woord AUTO in plaats van op een bepaald getal. De AUTO-waarde zorgt ervoor dat AzCopy altijd hetzelfde automatische afstemmingsproces uitvoert dat wordt gebruikt in benchmarktests.
Als een klant een krachtige server en snel internet heeft, kan de gelijktijdigheidswaarde worden verhoogd. Als de gelijktijdigheidswaarde te hoog is, gaat de verbinding met de R3load-exportserver verloren vanwege netwerkverzadiging. Bewaak de netwerkdoorvoer in Windows Taakbeheer. Kopieerdoorvoer van meer dan 1 Gigabit per seconde per R3load Export Server kan eenvoudig worden bereikt. Kopieerdoorvoer kan omhoog worden geschaald door meer R3load-servers te hebben (vier worden weergegeven in het vorige diagram).
Een vergelijkbaar script moet worden uitgevoerd op de R3load Import-servers in Azure om de bestanden van Blob te kopiëren naar een bestandssysteem waartoe R3load toegang heeft.
Kopiëren van on-premises R3load-exportservers naar een virtuele Azure-machine of blobopslag via een toegewezen ExpressRoute-verbinding met behulp van AzCopy, Robocopy of een vergelijkbaar hulpprogramma
Robocopy C:\Export1\Dump1 \\az_imp1\Dump1 /MIR /XF *.SGN /R:20 /V /S /Z /J /MT:8 /MON:1 /TEE /UNILOG+:C:\Export1\Robo1.Log
In het blokdiagram hieronder ziet u vier Intel R3load-servers waarop R3load wordt uitgevoerd. Op de achtergrond wordt Robocopy gestart met het uploaden van dumpbestanden. Wanneer volledige gesplitste tabellen en pakketten zijn voltooid, wordt het SGN-bestand handmatig of via een script gekopieerd. Wanneer het SGN-bestand voor een pakket binnenkomt op de import-R3load-server, wordt het importeren voor dit pakket automatisch geactiveerd.
Notitie
Het kopiëren van bestanden via NFS- of Windows SMB-protocollen is niet zo snel of robuust als mechanismen zoals AzCopy. Het is raadzaam om de prestaties van beide technieken voor het uploaden van bestanden te testen. Het is raadzaam om Microsoft Ondersteuning voor VLDB-migratieprojecten op de hoogte te stellen omdat netwerkbewerkingen met zeer hoge doorvoer mogelijk onjuist zijn geïdentificeerd als Denial of Service-aanvallen.