Dataöverföring för stora datamängder med måttlig eller hög nätverksbandbredd
Den här artikeln innehåller en översikt över dataöverföringslösningarna när du har måttlig till hög nätverksbandbredd i din miljö och du planerar att överföra stora datamängder. Artikeln beskriver också de rekommenderade alternativen för dataöverföring och respektive nyckelfunktionsmatris för det här scenariot.
Om du vill förstå en översikt över alla tillgängliga alternativ för dataöverföring går du till Välj en Azure-dataöverföringslösning.
Scenariobeskrivning
Stora datamängder refererar till datastorlekar i ordning för TB:er till PB:er. Måttlig till hög nätverksbandbredd avser 100 Mbit/s till 10 Gbit/s.
Rekommenderade alternativ
Vilka alternativ som rekommenderas i det här scenariot beror på om du har måttlig eller hög nätverksbandbredd.
Måttlig nätverksbandbredd (100 Mbit/s till 1 Gbit/s)
Med måttlig nätverksbandbredd måste du projicera tiden för dataöverföring över nätverket.
Använd följande tabell för att beräkna tiden och baserat på det väljer du mellan en offlineöverföring eller via nätverksöverföringen. Tabellen visar den beräknade tiden för överföring av nätverksdata för olika tillgängliga nätverksbandbredder (förutsatt 90 % användning).
Om nätverksöverföringen beräknas vara för långsam bör du använda en fysisk enhet. De rekommenderade alternativen i det här fallet är offlineöverföringsenheter från Azure Data Box-familjen eller Azure Import/Export med dina egna diskar.
- Azure Data Box-familjen för offlineöverföringar – Använd enheter från Data Box-enheter som tillhandahålls av Microsoft för att flytta stora mängder data till Azure när du begränsas av tid, nätverkstillgänglighet eller kostnader. Kopiera lokala data med hjälp av verktyg som Robocopy. Beroende på hur mycket data du tänkt överföra kan du välja mellan Data Box Disk, Data Box eller Data Box Heavy.
- Azure Import/Export – Använd Azure Import/Export-tjänsten genom att skicka dina egna diskenheter för att på ett säkert sätt importera stora mängder data till Azure Blob Storage och Azure Files. Du kan också använda den här tjänsten till att överföra data från Azure Blob Storage till diskenheter som sedan levereras till dig lokalt.
Om nätverksöverföringen beräknas vara rimlig kan du använda något av följande verktyg som beskrivs i Hög nätverksbandbredd.
Hög nätverksbandbredd (1 Gbit/s till 100 Gbit/s)
Om den tillgängliga nätverksbandbredden är hög använder du något av följande verktyg.
- AzCopy – Använd det här kommandoradsverktyget för att enkelt kopiera data till och från Azure Blobs, Files och Table Storage med optimala prestanda. AzCopy har stöd för samtidighet och parallellism, och du kan återuppta avbrutna kopieringsåtgärder.
- Rest-API:er/SDK:er för Azure Storage – När du skapar ett program kan du utveckla programmet mot REST-API:er för Azure Storage och använda De Azure SDK:er som erbjuds på flera språk.
- Azure Data Box-familjen för onlineöverföringar – Azure Stack Edge och Data Box Gateway är nätverksenheter online som kan flytta data till och från Azure. Använd en fysisk Azure Stack Edge-enhet när det finns ett samtidigt behov av kontinuerlig inmatning och förbearbetning av data före uppladdning. Data Box Gateway är en virtuell version av enheten med samma funktioner för dataöverföring. I båda fallen hanteras dataöverföringen av enheten.
- Azure Data Factory – Data Factory bör användas för att skala ut en överföringsåtgärd och om det finns behov av orkestrerings- och övervakningsfunktioner i företagsklass. Använd Data Factory till att regelbundet överföra filer mellan olika Azure-tjänster, lokala miljöer eller en kombination. Med Data Factory kan du skapa och schemalägga datadrivna arbetsflöden (kallas pipelines) som kan mata in data från olika datalager och automatisera både flytt och dataomvandling.
Jämförelse av viktiga funktioner
I följande tabeller sammanfattas skillnaderna i viktiga funktioner för de rekommenderade alternativen.
Måttlig nätverksbandbredd
Om du använder dataöverföring offline använder du följande tabell för att förstå skillnaderna i viktiga funktioner.
| Data Box Disk | Data Box | Data Box – tung | Import/Export | |
|---|---|---|---|---|
| Datastorlek | Upp till 35 TB | Upp till 80 TB per enhet | Upp till 800 TB per enhet | Variabel |
| Datatyp | Azure-blobar Azure Files* |
Azure-blobar Azure Files |
Azure-blobar Azure Files |
Azure-blobar Azure Files |
| Formfaktor | 5 SSD per beställning | 1 X 50-lbs. enhet i skrivbordsstorlek per beställning | 1 X ~500-lbs. stor enhet per beställning | Upp till 10 HDD:ar/SSD per beställning |
| Inledande installationstid | Låg (15 minuter) |
Låg till måttlig (<30 minuter) |
Medel (1–2 timmar) |
Måttlig till svår (variabel) |
| Skicka data till Azure | Ja | Ja | Ja | Ja |
| Exportera data från Azure | Inga | Inga | Inga | Ja |
| Kryptering | AES 128-bitars | AES 256-bitars | AES 256-bitars | AES 128-bitars |
| Maskinvara | Microsoft har angetts | Microsoft har angetts | Microsoft har angetts | Kunden har angetts |
| Nätverksgränssnitt | USB 3.1/SATA | RJ 45, SFP+ | RJ45, QSFP+ | SATA II/SATA III |
| Partnerintegration | Vissa | Hög | Hög | Vissa |
| Frakt | Microsoft hanterad | Microsoft hanterad | Microsoft hanterad | Kundhanterad |
| Använd när data flyttas | Inom en handelsgräns | Inom en handelsgräns | Inom en handelsgräns | Över geografiska gränser, t.ex. USA till EU |
| Prissättning | Prissättning | Prissättning | Prissättning | Prissättning |
* Data Box Disk stöder inte stora filresurser och bevarar inte filmetadata
Om du använder dataöverföring online använder du tabellen i följande avsnitt för hög nätverksbandbredd.
Hög nätverksbandbredd
| Verktyg AzCopy, Azure PowerShell, Azure CLI |
REST-API:er för Azure Storage, SDK:er | Data Box Gateway eller Azure Stack Edge | Azure Data Factory | |
|---|---|---|---|---|
| Datatyp | Azure Blobs, Azure Files, Azure Tables | Azure Blobs, Azure Files, Azure Tables | Azure Blobs, Azure Files | Stöder över 70 dataanslutningar för datalager och format |
| Formfaktor | Kommandoradsverktyg | Programmeringsgränssnitt | Microsoft tillhandahåller en virtuell eller fysisk enhet |
Tjänst i Azure Portal |
| Inledande engångskonfiguration | Lätt | Medel | Lätt (<30 minuter) till måttlig (1-2 timmar) | Omfattande |
| Förbearbetning av data | Inga | Inga | Ja (med Edge-beräkning) | Yes |
| Överföra från andra moln | Inga | Inga | Inga | Ja |
| Användartyp | IT Pro eller dev | Dev | IT-proffs | IT-proffs |
| Prissättning | Kostnadsfria avgifter för utgående data tillkommer | Kostnadsfria avgifter för utgående data tillkommer |
Prissättning för Azure Stack Edge Priser för Data Box Gateway |
Prissättning |
Nästa steg
Förstå hur du:
Använd REST-API:erna för att överföra data: