Kiedy używać rodziny usług Azure Data Box
Urządzenia z rodziny Azure Data Box to nie jedyny sposób przesyłania danych na platformę Azure. W przypadku danych autonomicznych pojazdów chcesz upewnić się, że usługa Data Box Disk jest najlepszym wyborem przed dokonaniem zamówienia.
W tej lekcji dowiesz się, kiedy używać urządzenia Data Box i kiedy używać innego rozwiązania.
Przypadki użycia urządzeń Data Box
Urządzenie Data Box idealnie nadaje się do transferu terabajtów danych w scenariuszach z ograniczoną łącznością sieciową lub bez niej. Przenoszenie danych może być jednorazowe, okresowe lub początkowe zbiorcze przesyłanie danych, a następnie okresowe transfery.
Poniżej przedstawiono różne scenariusze, w których można importować dane na platformę Azure przy użyciu urządzeń Data Box.
Jednorazowa migracja — po przeniesieniu dużej ilości danych lokalnych na platformę Azure.
- Przenoszenie biblioteki multimediów przechowywanej offline na taśmach na platformę Azure w celu utworzenia biblioteki multimediów w trybie online.
- Migrowanie farmy maszyn wirtualnych, serwera SQL i aplikacji na platformę Azure.
- Przenoszenie danych historycznych na platformę Azure na potrzeby szczegółowej analizy i raportowania przy użyciu usługi HDInsight.
Początkowy transfer zbiorczy — po zakończeniu początkowego transferu zbiorczego przy użyciu urządzenia Data Box (inicjacji) następuje przyrostowe transfery za pośrednictwem sieci.
Okresowe przekazywanie — w przypadku okresowego generowania dużej ilości danych i konieczności przeniesienia ich na platformę Azure. Na przykład: w eksploracji energii, gdzie zawartość wideo jest generowana na platformach naftowych i farmach wiatrowych.
Poniżej przedstawiono różne scenariusze, w których można użyć urządzenia Data Box do eksportowania danych z platformy Azure. Urządzenia Data Box Disk i Data Box Heavy nie obsługują eksportowania danych z platformy Azure.
Odzyskiwanie po awarii — po przywróceniu kopii danych z platformy Azure do sieci lokalnej. W typowym scenariuszu odzyskiwania po awarii duża ilość danych platformy Azure jest eksportowana do urządzenia Data Box. Następnie firma Microsoft dostarcza to urządzenie Data Box, a dane są przywracane lokalnie w krótkim czasie.
Wymagania dotyczące zabezpieczeń — jeśli musisz mieć możliwość eksportowania danych z platformy Azure ze względu na wymagania dotyczące instytucji rządowych lub zabezpieczeń. Na przykład: usługa Azure Storage jest dostępna w chmurach us Secret i Top Secret, a usługa Data Box umożliwia eksportowanie danych z platformy Azure.
Przeprowadź migrację z powrotem do środowiska lokalnego lub innego dostawcy usług w chmurze — jeśli chcesz przenieść wszystkie dane z powrotem do środowiska lokalnego lub do innego dostawcy usług w chmurze, możesz wyeksportować dane za pośrednictwem urządzenia Data Box, aby przeprowadzić migrację obciążeń.
Opcje transferu w trybie offline
Opcje offline przenoszenia danych na platformę Azure obejmują urządzenia Data Box i usługę Azure Import/Export.
Urządzenia Data Box
Aby przenieść dane na platformę Azure, możesz załadować dane na urządzenia fizyczne i wysłać je do centrum danych platformy Azure. Tam dane są kopiowane do Twojej subskrypcji platformy Azure. Jak pokazano w lekcji 2, istnieją trzy produkty Data Box, które działają w ten sposób:
- Data Box
- Data Box Disk
- Data Box Heavy
Jeśli nie znajdujesz się w regionie obsługiwanym przez rodzinę usług Azure Data Box, rozważ użycie usługi Azure Import/Export w celu zaimportowania danych na platformę Azure.
Usługa Azure Import/Export
Inną usługą, która używa urządzeń fizycznych w celu transferowania danych na platformę Azure, jest usługa Azure Import/Export. Usługa Azure Import/Export umożliwia korzystanie z własnych dysków. Możesz wykonywać transfery danych w trybie offline z magazynu obiektów blob na dyski. Usługa Azure Import/Export eksportuje również dane z platformy Azure z powrotem do własnych centrów danych i umożliwia przekraczanie granic międzynarodowych.
Procedura konfiguracji w celu zaimportowania danych przy użyciu usługi Azure Import/Export jest trudniejsza, niż w przypadku rodziny usług Azure Data Box. Musisz zająć się wszystkimi szczegółami wysyłki i przygotowania urządzeń. Zalecamy używanie gotowej usługi Azure Data Box, która minimalizuje nakład pracy związany z ekonomicznym i bezpiecznym przenoszeniem ogromnych ilości danych na platformę Azure.
Opcje transferu sieciowego
Innym sposobem na pobranie danych na platformę Azure jest wysłanie ich przez Internet. Istnieje kilka narzędzi, których można użyć do transferu danych w sieci.
Data Box Gateway
Zgodnie z opisem w lekcji 2 usługa Data Box Gateway jest urządzeniem wirtualnym. Opiera się ono na maszynie wirtualnej aprowizowanej w Twoim środowisku lokalnym. Dane są zapisywane na urządzeniu wirtualnym przy użyciu protokołów NFS i SMB. Następnie urządzenie przesyła dane na platformę Azure — do blokowego obiektu blob, stronicowego obiektu blob lub funkcji Azure Files.
Eksplorator magazynu Azure
Eksplorator usługi Azure Storage to bezpłatna aplikacja do pobrania, którą można uruchomić w systemie Windows, Linux lub na komputerze Mac. Udostępnia ona graficzny interfejs użytkownika (GUI), przy użyciu którego można eksplorować obiekty blob, pliki, kolejki i tabele na kontach usługi Azure Storage. Jeśli transferujesz tylko kilka plików naraz i nie potrzebujesz transferów automatycznych, Eksplorator usługi Storage jest idealnym rozwiązaniem.
Jeśli nie chcesz instalować aplikacji, ale masz przeglądarkę, możesz użyć strony Eksplorator usługi Storage w witrynie Azure Portal, aby przenieść pliki.
Azure Stack Edge
Usługa Azure Stack Edge używa również urządzeń fizycznych do przesyłania danych na platformę Azure. W przeciwieństwie do urządzeń Data Box urządzenia Azure Stack Edge zapewniają możliwości platformy Azure, takie jak obliczenia, magazyn, sieć i przyspieszone sprzętowo uczenie maszynowe do dowolnej lokalizacji brzegowej. W następujących scenariuszach użyj urządzenia Azure Stack Edge:
Wnioskowanie za pomocą usługi Azure Machine Learning — uruchamianie modeli uczenia maszynowego w celu uzyskania szybkich wyników, na których można wykonywać działania przed wysłaniem danych do chmury. Opcjonalnie możesz przenieść pełny zestaw danych, aby kontynuować ponowne trenowanie i ulepszanie modeli uczenia maszynowego.
Przetwarzanie wstępne danych — przekształć dane za pomocą opcji obliczeniowych, takich jak kontenery lub maszyny wirtualne przed wysłaniem ich na platformę Azure, aby utworzyć bardziej praktyczny zestaw danych. Do przetwarzania wstępnego można użyć:
- Agregowanie danych.
- Modyfikowanie danych; na przykład w celu usunięcia danych osobowych.
- Podzestaw danych w celu zoptymalizowania magazynu i przepustowości lub do dalszej analizy.
- Analizowanie zdarzeń IoT i reagowanie na nie.
Transfer danych za pośrednictwem sieci na platformę Azure — łatwo i szybko przesyłaj dane na platformę Azure , aby wykonywać dalsze obliczenia i analizy lub w celach archiwalnych.
Azure Data Factory
Azure Data Factory to usługa, która umożliwia organizowanie, przenoszenie i przekształcanie dużych ilości danych z wielu różnych źródeł. W usłudze Data Factory można tworzyć potoki danych, które pozyskiwają dane z relacyjnych baz danych, baz danych NoSQL i innych systemów. Do przetwarzania i przekształcania tych danych można używać usług Azure Machine Learning, Hadoop, Spark i innych. Następnie, na końcu potoku, można opublikować przekształcone dane w usłudze Azure SQL Data Warehouse, Azure SQL Database, Azure Cosmos DB lub Azure Storage.
Możesz użyć tej usługi, jeśli potrzebujesz złożonych przekształceń danych, ale nie chcesz pisać skryptów ani kompilować kodu.
Transfer za pomocą skryptu lub programowy
Firma Microsoft udostępnia szereg zoptymalizowanych narzędzi wiersza polecenia, które można wywoływać za pomocą poszczególnych poleceń lub składać w skrypty, i które umożliwiają przenoszenie danych na platformę Azure. Do tych narzędzi należą:
- AzCopy. Ten program wiersza polecenia można wywołać z dowolnego skryptu i przy jego użyciu przenieść obiekty blob lub pliki na konto magazynu platformy Azure.
- Azure PowerShell. Program PowerShell to interfejs i język pisania skryptów zaprojektowany w celu ułatwienia administratorom automatyzowania złożonych zadań przez uruchamianie poleceń o nazwie polecenia cmdlet. Moduł Azure PowerShell udostępnia wiele poleceń cmdlet do pracy z platformą Azure. Obejmują one polecenia cmdlet, przy użyciu których można przekazywać dane na konta usług Azure Storage, Azure SQL Database, Azure Cosmos DB i do innych miejsc docelowych. Aby na przykład przekazać plik do obiektu blob usługi Azure Storage, należy użyć
Set-AzStorageBlobContentpolecenia cmdlet . - Interfejs wiersza polecenia platformy Azure. Interfejs wiersza polecenia platformy Azure to narzędzie wiersza polecenia, które można wywołać z poziomu skryptów programów PowerShell i Bash, aby pracować z platformą Azure. Zawiera on opcje, które umożliwiają przenoszenie danych do lokalizacji platformy Azure. Na przykład użyjesz
az storage blob uploadpolecenia , aby przekazać plik do obiektu blob usługi Azure Storage.
Narzędzia do obsługi skryptów są łatwe dla administratorów i osób niebędących deweloperami. Jeśli pracują dla Ciebie osoby, które są deweloperami i umieją pisać skompilowany kod, możesz rozważyć organizowanie transferu danych na platformę Azure za pomocą języków programowania. Twój kod musi wywoływać interfejsy programowania aplikacji (API) architektury Representational State Transfer (REST) usługi Azure Storage. Interfejsy API REST są zestawem usług internetowych, które można wywoływać z wielu różnych języków programowania. Deweloperzy mogą używać języków .NET, Java, Python, Node.js, C++i PHP, między innymi do wywoływania tych interfejsów API. Deweloperzy mogą wybrać język, za pomocą którego są najbardziej znani.
Wybieranie metody transferu danych
Aby wybrać metodę transferu spośród powyższych systemów, rozważ następujące pytania:
- Jaki jest rozmiar danych?
- Jak często chcę przesyłać dane?
- Jaka przepustowość sieci jest dostępna?
Jeśli chcesz od czasu do czasu przenieść kilka plików, możesz wybrać Eksplorator usługi Azure Storage lub użyć witryny Azure Portal.
Jeśli przepustowość sieci jest niska lub kosztowna i masz dużą ilość danych, możesz użyć urządzenia fizycznego do transferu danych. Jeśli chcesz użyć własnych dysków, wybierz usługę Azure Import/Export. Jeśli wolisz wygodę korzystania ze sprzętu firmy Microsoft, wybierz produkt usługi Azure Data Box. Możesz wybrać urządzenia Data Box, Data Box Disk i Data Box Heavy zgodnie z ich maksymalnymi woluminami danych.
Jeśli masz dużą przepustowość sieci i chcesz regularnie lub stale przesyłać dane, możesz wybrać metodę transferu sieciowego. Jeśli chcesz przekształcić dane podczas transferu bez używania kodu, rozważ usługę Azure Data Factory. Jeśli możesz zainwestować czas i mieć umiejętności pisania kodu, możesz użyć narzędzi do obsługi skryptów lub opracowanego skompilowanego kodu względem interfejsów API REST. Jeśli chcesz przenieść duże zestawy danych za pośrednictwem sieci i masz wysoką dostępną przepustowość, możesz wybrać usługę Data Box Gateway lub urządzenie Azure Stack Edge.
Transfer danych dla pojazdów autonomicznych
W organizacji chcesz przekazać dane telemetryczne pojazdów autonomicznych na platformę Azure w szybki, stosunkowo tani i bezpieczny sposób bez podnoszenia sieci. Ten scenariusz jest kluczowym przypadkiem użycia usługi Azure Data Box Disk.
Usługi Azure Data Box Disk można używać w różnych scenariuszach transferu danych. Usługa Azure Data Box Disk jest odpowiednia dla migracji jednorazowych, takich jak przenoszenie maksymalnie 35 TB danych z taśm w trybie offline do chłodnego magazynu platformy Azure. Jeśli masz więcej niż 35 TB danych do przekazania, możesz utworzyć dodatkowe zamówienia. Warto również przejrzeć inne opcje rodziny usług Data Box opisane w lekcji pierwszej, ponieważ może istnieć bardziej odpowiedni kandydat. Transfery przyrostowe również dobrze się sprawdzają. Przy użyciu usługi Data Box Disk można obsłużyć początkowy duży transfer, a następnie kopiować dalsze partie danych za pomocą standardowych technik sieciowych.