Wann sollte die Azure Data Box-Familie verwendet werden?

  • 7 Minuten

Geräte der Azure Data Box-Familie sind nicht die einzige Möglichkeit, um Daten nach Azure zu übertragen. Sie möchten sich vergewissern, dass Data Box Disk die beste Wahl für die Daten Ihrer autonomen Fahrzeuge ist, bevor Sie eine Bestellung aufgeben.

In dieser Lektion erfahren Sie, wann Sie ein Data Box-Gerät verwenden sollten und wann eine andere Lösung besser geeignet ist.

Anwendungsfälle für Data Box-Geräte

Data Box eignet sich perfekt für die Übertragung von Terabytes von Daten in Szenarios mit eingeschränkter oder nicht vorhandener Netzwerkkonnektivität. Die Datenverschiebung kann eine einmalige, eine periodische oder eine erste Massenübertragung von Daten sein, auf die regelmäßige Übertragungen folgen.

Hier sind die verschiedenen Szenarios, in denen Sie Daten mithilfe von Data Box-Geräten in Azure importieren können.

  • Einmalige Migration: Wird verwendet, wenn eine große Menge von lokalen Daten in Azure verschoben wird.

    • Verschieben einer Medienbibliothek von Offlinebändern in Azure, um eine Onlinemedienbibliothek zu erstellen
    • Migrieren Ihrer VM-Farm, SQL-Server und Anwendungen zu Azure
    • Verschieben von Verlaufsdaten in Azure für eine detaillierte Analyse und Berichterstellung mithilfe von HDInsight

  • Erste Massenübertragung: Die Ausführung einer ersten Massenübertragung mithilfe von Data Box (Seeding) gefolgt von inkrementellen Übertragungen über das Netzwerk

  • Periodische Uploads: Werden verwendet, wenn regelmäßig große Datenmengen generiert werden und in Azure verschoben werden müssen Ein Beispiel hierfür ist die Energieexploration, bei der Videodaten auf Bohrinseln und für Windfarmen generiert werden.

Im Folgenden finden Sie verschiedene Szenarios, in denen Sie Data Box zum Exportieren von Daten aus Azure verwenden können. Data Box Disk und Data Box Heavy unterstützen nicht das Exportieren von Daten aus Azure.

  • Notfallwiederherstellung: Wenn eine Kopie der Daten aus Azure in einem lokalen Netzwerk wiederhergestellt wird. In einem typischen Notfallwiederherstellungsszenario wird eine große Menge an Azure-Daten in eine Data Box-Instanz exportiert. Microsoft liefert diese Data Box dann aus, und die Daten werden in kurzer Zeit bei Ihnen vor Ort wiederhergestellt.

  • Sicherheitsanforderungen: Wenn es Ihnen möglich sein muss, Daten aufgrund von behördlichen oder Sicherheitsanforderungen aus Azure zu exportieren. Beispielsweise ist Azure Storage in den US-Clouds „Secret“ und „Top Secret“ verfügbar, und Sie können Data Box verwenden, um Daten aus Azure zu exportieren.

  • Rückmigration zu einer lokalen Lösung oder zu einem anderen Clouddienstanbieter: Wenn Sie alle Daten zurück an Ihren lokalen Standort oder zu einem anderen Clouddienstanbieter verschieben möchten, können Sie Daten über Data Box exportieren, um die Workloads zu migrieren.

Optionen für Offlineübertragung

Die Offlineoptionen zum Verschieben Ihrer Daten nach Azure umfassen Data Box-Geräte und Azure-Import/Export.

Data Box-Geräte

Um Daten nach Azure zu übertragen, können Sie Ihre Daten auf physische Geräte laden und diese an ein Azure-Rechenzentrum senden. Dort werden die Daten in Ihr Azure-Abonnement kopiert. Wie Sie in Lektion 2 gesehen haben, gibt es drei Data Box-Produkte mit dieser Funktionsweise:

  • Data Box
  • Data Box Disk
  • Data Box Heavy

Wenn Sie sich nicht in einer Region befinden, die von der Azure Data Box-Familie unterstützt wird, erwägen Sie die Verwendung des Azure Import/Export-Diensts, um Daten in Azure zu importieren.

Azure Import/Export

Der andere Dienst, der physische Geräte zum Übertragen von Daten in Azure verwendet, ist Azure Import/Export. Azure Import/Export gestattet Ihnen die Verwendung Ihrer eigenen Datenträger. Sie können Daten offline aus einem Blob-Speicher auf einen Datenträger übertragen. Mit Azure Import/Export können Sie Daten auch aus Azure zurück in Ihre eigenen Rechenzentren importieren und über internationale Grenzen hinweg übertragen.

Das Einrichtungsverfahren zum Importieren von Daten mithilfe von Azure Import/Export ist komplexer als die Azure Data Box-Familie. Sie müssen sich selbst um alle Details zum Versand und die gesamte Gerätevorbereitung kümmern. Wir empfehlen die Verwendung von Azure Data Box: Dieser Dienst nimmt Ihnen viele dieser Aufgaben ab und minimiert damit den Aufwand für das kostengünstige und sichere Verschieben großer Datenmengen nach Azure.

Optionen für Netzwerkübertragung

Eine weitere Methode zum Übertragen von Daten in Azure besteht darin, sie über das Internet zu senden. Es gibt mehrere Tools, mit denen Sie Daten über das Netzwerk übertragen können.

Data Box Gateway

Wie in Lektion 2 erläutert, ist Data Box Gateway ein virtuelles Gerät. Es basiert auf einem virtuellen Computer, den Sie in Ihrer lokalen Umgebung bereitstellen. Sie schreiben Daten mithilfe der NFS- und SMB-Protokolle auf das virtuelle Gerät. Das Gerät überträgt dann Ihre Daten in ein Azure-Blockblob, -Seitenblob oder Azure Files.

Azure Storage-Explorer

Der Azure Storage-Explorer ist eine kostenlose, herunterladbare Anwendung, die Sie unter Windows, Mac oder Linux ausführen können. Er bietet eine grafische Benutzeroberfläche, auf der Sie Blobs, Dateien, Warteschlangen und Tabellen in Azure-Speicherkonten durchsuchen können. Wenn Sie nur einige wenige Dateien gleichzeitig übertragen möchten und keine Übertragungen automatisieren müssen, ist der Storage-Explorer eine ideale Lösung.

Wenn Sie keine Anwendung installieren möchten, aber einen Browser haben, können Sie die Seite „Storage-Explorer“ im Azure-Portal verwenden, um Dateien zu übertragen.

Azure Stack Edge

Azure Stack Edge verwendet auch physische Geräte zum Übertragen von Daten in Azure. Im Gegensatz zu Data Box-Geräten bieten Azure Stack Edge-Geräte Azure-Funktionen wie Compute, Speicher, Netzwerk und hardwarebeschleunigtes maschinelles Lernen an jedem beliebigen Edge-Standort. Verwenden Sie ein Azure Stack Edge-Gerät für die folgenden Szenarien:

  • Rückschluss mit Azure Machine Learning: Führen Sie ML-Modelle aus, um schnell Ergebnisse zu erhalten, auf die sie reagieren können, bevor die Daten in die Cloud gesendet werden. Optional können Sie das gesamte Dataset übertragen, um Ihre ML-Modelle weiter zu trainieren und zu verbessern.

  • Vorverarbeiten von Daten: Transformieren Sie Daten mithilfe von Computeoptionen wie Containern oder virtuellen Computern, ehe Sie sie an Azure senden, um ein besser verwertbares Dataset zu erstellen. Sie können die Vorverarbeitung für Folgendes verwenden:

    • Aggregieren von Daten.
    • Ändern von Daten, um beispielsweise personenbezogene Daten zu entfernen
    • Unterteilen von Daten zur Optimierung von Speicher und Bandbreite oder für die weitere Analyse
    • Analysieren von und Reagieren auf IoT-Ereignisse.

  • Übertragen von Daten über das Netzwerk in Azure – Übertragen Sie Daten einfach und schnell in Azure, um weitere Compute- und Analyseaufgaben auszuführen, oder für Archivierungszwecke.

Azure Data Factory

Azure Data Factory ist ein Dienst, mit dem Sie große Mengen von Daten aus vielen verschiedenen Quellen organisieren, verschieben und transformieren können. In Data Factory können Sie Datenpipelines erstellen, die Daten aus relationalen Datenbanken, NoSQL-Datenbanken und anderen Systemen erfassen. Sie können Azure Machine Learning, Hadoop, Spark und andere Dienste verwenden, um diese Daten zu verarbeiten und zu transformieren. Am Ende der Pipeline können Sie die transformierten Daten dann in Azure SQL Data Warehouse, Azure SQL-Datenbank, Azure Cosmos DB und Azure Storage veröffentlichen.

Sie können diesen Dienst verwenden, wenn Sie komplexe Datentransformationen durchführen müssen, aber keine Skripts schreiben oder Code kompilieren möchten.

Skript- oder programmgesteuerte Übertragung

Microsoft bietet eine Reihe optimierter Befehlszeilentools an, die Sie mit einzelnen Befehlen aufrufen oder in Skripts assemblieren können, und die die Daten in Azure verschieben können. Zu diesen Tools zählen:

  • AzCopy. Sie können dieses Befehlszeilenprogramm aus jedem Skript heraus aufrufen, um Blobs oder Dateien in ein Azure-Speicherkonto zu übertragen.
  • Azure PowerShell. PowerShell ist eine Skriptschnittstelle und -sprache, die Administratoren bei der Automatisierung komplexer Aufgaben helfen soll, indem Befehle ausgeführt werden, die als Cmdlets bezeichnet werden. Das Azure PowerShell-Modul bietet eine Reihe von Cmdlets für die Arbeit mit Azure. Hierzu gehören Cmdlets, mit denen Sie Daten in Azure-Speicherkonten, Azure SQL-Datenbank, Azure Cosmos DB und andere Ziele hochladen können. Um beispielsweise eine Datei in ein Azure Storage-Blob hochzuladen, würden Sie das Cmdlet Set-AzStorageBlobContent verwenden.
  • Azure CLI Die Azure CLI ist ein Befehlszeilentool, das Sie aus PowerShell- und Bash-Skripts für die Arbeit mit Azure aufrufen können. Sie bietet Optionen, mit denen Daten in Azure-Speicherorte verschoben werden können. Sie würden beispielsweise den Befehl az storage blob upload zum Hochladen einer Datei in ein Azure Storage-Blob verwenden.

Skripterstellungstools können problemlos von Administrator*innen sowie von Benutzer*innen ohne Entwicklerkenntnisse verwendet werden. Wenn Ihnen Entwickler zur Verfügung stehen, die kompilierbaren Code schreiben können, können Sie auch die Verwendung von Programmiersprachen in Erwägung ziehen, um die Datenübertragung in Azure zu orchestrieren. Ihr Code muss die REST-APIs von Azure Storage (Representational State Transfer; Application Programming Interfaces) aufrufen. Bei den REST-APIs handelt es sich um eine Reihe von Webdiensten, die Sie in vielen verschiedenen Programmiersprachen aufrufen können. Entwickler*innen können unter anderem .NET-Sprachen, Java, Python, Node.js, C++ und PHP verwenden, um diese APIs aufzurufen. Entwickler*innen können die Sprache auswählen, mit der sie am vertrautesten sind.

Auswählen einer Datenübertragungsmethode

Um die geeignete Übertragungsmethode auszuwählen, beantworten Sie die folgenden Fragen:

  • Was ist die Datengröße?
  • Wie oft möchte ich Daten übertragen?
  • Wie viel Netzwerkbandbreite ist verfügbar?

Wenn Sie nur gelegentlich einige wenige Dateien übertragen möchten, können Sie sich für den Azure Storage-Explorer oder das Azure-Portal entscheiden.

Wenn die Netzwerkbandbreite niedrig oder ihre Nutzung teuer ist und Sie große Datenmengen übertragen möchten, können Sie dazu ein physisches Gerät verwenden. Wenn Sie Ihre eigenen Datenträger verwenden möchten, ist Azure Import/Export die richtige Wahl. Wenn Sie die Verwendung von Microsoft-Hardware bevorzugen, wählen Sie ein Azure Data Box Produkt aus. Hier stehen je nach maximaler Datenmenge Data Box, Data Box Disk und Data Box Heavy zur Auswahl.

Wenn Sie über ausreichend Netzwerkbandbreite verfügen und Daten regelmäßig oder kontinuierlich übertragen möchten, können Sie sich für eine Netzwerkübertragungsmethode entscheiden. Wenn Sie die Daten während der Übertragung transformieren möchten, ohne dafür Code schreiben zu müssen, ziehen Sie Azure Data Factory in Betracht. Wenn Sie die Zeit investieren und selbst Code schreiben können, können Sie Skripttools verwenden oder kompilierten Code für die REST-APIs entwickeln. Wenn Sie große Datasets über das Netzwerk übertragen möchten und eine hohe Bandbreite verfügbar ist, können Sie Data Box Gateway oder ein Azure Stack Edge-Gerät auswählen.

Datenübertragung für die autonomen Fahrzeuge

Sie möchten in Ihrer Organisation Telemetriedaten von autonomen Fahrzeugen schnell, relativ kostengünstig und sicher in Azure hochladen, ohne das Netzwerk vollständig zu belegen. Dieses Szenario ist ein Hauptanwendungsfall für Azure Data Box Disk.

Sie können Azure Data Box Disk für verschiedene Arten von Datenübertragungsszenarien verwenden. Azure Data Box Disk eignet sich für einmalige Migrationen, wie z. B. das Verschieben von bis zu 35 TB an Daten von Offlinebändern in Azure-Speicher der Zugriffsebene „Cool“. Wenn mehr als 35 TB hochzuladen sind, bestellen Sie zusätzliche Geräte. Es lohnt sich auch, die anderen Optionen der Data Box-Familie zu überprüfen, die Sie in der ersten Lektion erkundet haben – dort lässt sich möglicherweise eine passendere Option finden. Inkrementelle Übertragungen funktionieren ebenfalls gut. Die anfänglichen großen Datenmengen werden über Data Box Disk übertragen, danach weitere Inkremente der Daten über standardmäßige Netzwerkmethoden kopiert.

Überprüfen Sie Ihr Wissen

1.

Welche Datenimportmethode eignet sich am besten zum Importieren täglicher Verkehrsüberwachungs-Videodaten, wenn Sie über eine moderate bis hohe Netzwerkbandbreite verfügen?

2.

Wie hoch ist die maximale Datenmenge, die in einem Vorgang über Azure Data Box Disk nach Azure übertragen werden kann?

3.

In Ihrem Rechenzentrum wird eine große Menge von Daten von intelligenten Geräten und Anwendungen generiert. Sie möchten schnelle, auf Machine Learning basierende Rückschlüsse aus den Daten ziehen, bevor Sie sie zur intensiveren Analyse in Azure verschieben. Welches Gerät würden Sie verwenden?