どのようなときに Azure Data Box ファミリを使用するか
Azure Data Box ファミリ デバイスは、Azure にデータを転送するための唯一の方法ではありません。 自律走行車両データの場合は、注文を行う前に、Data Box Disk が最適な選択肢であることを確認する必要があります。
このユニットでは、どのようなときに Data Box デバイスを使用し、どのようなときに他のソリューションを使用するかについて学習します。
Data Box デバイスのユース ケース
Data Box は、ネットワーク接続がない、または、制限されているシナリオでテラバイト単位のデータを転送するのに最適です。 データ移動は 1 回だけ、定期的に、また、初期一括データ転送の後に定期的に行うこともできます。
Data Box デバイスを使用して Azure にデータをインポートするさまざまなシナリオを次に示します。
1 回の移行 - 大量のオンプレミス データを Azure に移動する場合。
- オフライン テープのメディア ライブラリを Azure に移動し、オンライン メディア ライブラリを作成する。
- VM ファーム、SQL Server、アプリケーションを Azure に移行する。
- HDInsight を使用して詳細な分析やレポートの作成を行うために、履歴データを Azure に移動する。
初期一括転送 - Data Box (シード) を使用して最初の一括転送が行われ、その後にネットワーク上で増分転送が行われる場合。
定期的なアップロード - 大量のデータが定期的に生成され、Azure に移動する必要がある場合。 たとえば、石油掘削装置や風力発電地帯でビデオ コンテンツが生成されるエネルギー探査でこれを実行します。
Data Box を使用して Azure からデータをエクスポートするさまざまなシナリオを次に示します。 Data Box Disk と Data Box Heavy では、Azure からのデータのエクスポートはサポートされていません。
ディザスター リカバリー - Azure のデータのコピーをオンプレミス ネットワークに復元する場合。 典型的なディザスター リカバリー シナリオでは、大量の Azure データが Data Box にエクスポートされます。 その後、Microsoft はこの Data Box を発送し、データは短時間でオンプレミスに復元されます。
セキュリティ要件 - 政府またはセキュリティの要件により、Azure からのデータのエクスポートが可能である必要がある場合。 たとえば、Azure Storage は US Secret と Top Secret のクラウドで利用でき、Data Box を使用して Azure からデータをエクスポートできます。
オンプレミスまたは別のクラウド サービス プロバイダーへの移行 - すべてのデータをオンプレミスまたは別のクラウド サービス プロバイダーに戻す場合は、Data Box 経由でデータをエクスポートして、ワークロードを移行します。
オフライン転送オプション
Azure にデータを移動するオフライン オプションには、Data Box デバイスと Azure Import/Export があります。
Data Box デバイス
データを Azure に転送するために、データを物理デバイスに読み込み、それを Azure データセンターに送ることができます。 そこで、データがお客様の Azure サブスクリプションにコピーされます。 ユニット 2 で確認したように、そのように動作する Data Box 製品は 3 つあります。
- Data Box
- Data Box Disk
- Data Box Heavy
お客様のリージョンが Azure Data Box ファミリでサポートされていない場合は、Azure Import/Export を使用して Azure にデータをインポートすることを検討します。
Azure Import/Export
物理デバイスを使って Azure にデータを転送するもう 1 つのサービスは、Azure Import/Export です。 Azure Import/Export では、独自のディスクを使用できます。 Blob Storage からディスクへのデータのオフライン転送を行うことができます。 Azure Import/Export では、Azure から独自のデータセンターにデータをエクスポートすることもでき、データが国境を越えることも可能です。
Azure Import/Export を使ってデータをインポートするためのセットアップ手順は、Azure Data Box ファミリよりも困難です。 発送の詳細とデバイスの準備を、すべて自分で処理する必要があります。 Azure Data Box を使うことをお勧めします。これは、大量のデータを低コストで安全に Azure に移動するために、お客様が行う作業を最小限に抑えるサービスです。
ネットワーク転送オプション
Azure にデータを転送するためのもう 1 つの方法は、インターネット経由でそれを送信することです。 ネットワーク経由でデータを転送するために使用できるさまざまなツールがあります。
Data Box Gateway
ユニット 2 で説明したように、Data Box Gateway は仮想アプライアンスです。 これは、お客様のオンプレミス環境でプロビジョニングする仮想マシンに基づいています。 NFS プロトコルと SMB プロトコルを使用して、仮想デバイスにデータを書き込みます。 デバイスはその後、Azure ブロック blob、ページ blob、または Azure Files にデータを転送します。
Azure Storage Explorer
Azure Storage Explorer は無料でダウンロード可能なアプリケーションであり、Windows、Mac、または Linux で実行できます。 そのグラフィカル ユーザー インターフェイス (GUI) を使って、Azure ストレージ アカウント内の BLOB、ファイル、キュー、テーブルを調べることができます。 一度に転送するファイルが少数で、転送を自動化する必要がない場合は、Storage Explorer が理想的なソリューションです。
アプリケーションのインストールを希望しないが、ブラウザーをお持ちの場合は、Azure portal の Storage Explorer のページを使ってファイルを転送できます。
Azure Stack Edge
Azure Stack Edge でも、物理デバイスを使用して Azure にデータが転送されます。 Data Box デバイスとは異なり、Azure Stack Edge デバイスには、任意のエッジ ロケーションに対するコンピューティング、ストレージ、ネットワーク、ハードウェアで高速化された機械学習などの Azure の機能が備わっています。 次のシナリオでは、Azure Stack Edge デバイスを使用します。
Azure Machine Learning を使用する推論 - ML モデルを実行して、データがクラウドに送信される前に対応できる結果を迅速に取得します。 必要に応じて、ML モデルを再調整して改善し続けるために、データ セット全体を転送することができます。
データの前処理 - データを Azure に送信する前に、コンテナーや仮想マシンなどのコンピューティング オプションを使用して変換し、より実用的なデータセットを作成します。 前処理を使用すると、次のことができます。
- データを集計します。
- 個人データを削除するなど、データを変更する。
- ストレージと帯域幅を最適化したり、詳細な分析を行ったりするためのサブセット データ。
- 分析して、IoT イベントに対応します。
ネットワーク経由で Azure にデータを転送する - コンピューティング、分析、またはアーカイブを目的として、Azure に簡単かつ迅速にデータを転送します。
Azure Data Factory
Azure Data Factory は、多くの異なるソースの大量のデータを整理、移動、変換できるサービスです。 Data Factory では、リレーショナル データベース、NoSQL データベース、その他のシステムからデータを取り込むデータ パイプラインを作成できます。 Azure Machine Learning、Hadoop、Spark、およびその他のサービスを使って、そのデータの処理と変換を行うことができます。 その後、パイプラインの最後で、変換されたデータを Azure SQL Data Warehouse、Azure SQL Database、Azure Cosmos DB、および Azure Storage に発行できます。
複雑なデータ変換を必要とするが、スクリプトを記述したりコードをコンパイルしたりしたくない場合は、このサービスを使用することができます。
スクリプトまたはプログラムによる転送
Microsoft ではさまざまな最適化されたコマンドライン ツールが提供されており、個々のコマンドで呼び出したりスクリプトに組み合わせたりして、データを Azure に移動できます。 これには以下のツールが含まれます。
- AzCopy。 任意のスクリプトからこのコマンドライン プログラムを呼び出して、BLOB またはファイルを Azure ストレージ アカウントに転送できます。
- Azure PowerShell。 PowerShell は、管理者がコマンドレットと呼ばれるコマンドを実行して複雑なタスクを自動化できるように設計された、スクリプト インターフェイスと言語です。 Azure PowerShell モジュールには、Azure を操作するためのさまざまなコマンドレットが用意されています。 これらには、Azure ストレージ アカウント、Azure SQL Database、Azure Cosmos DB、その他のターゲットにデータをアップロードするために使用できるコマンドレットが含まれます。 たとえば、ファイルを Azure Storage Blob にアップロードするには、
Set-AzStorageBlobContentコマンドレットを使います。 - Azure CLI。 Azure CLI は、PowerShell および Bash スクリプトから呼び出して Azure を操作することができるコマンドライン ツールです。 データを Azure の場所に移動できるオプションが含まれています。 たとえば、ファイルを Azure Storage Blob にアップロードするには、
az storage blob uploadコマンドを使います。
スクリプト ツールは、管理者でも開発者以外でも簡単に使用できます。 コンパイル済みコードを作成できる、開発者スキルを備えたメンバーがいる場合は、プログラミング言語を使って Azure へのデータ転送を調整することを検討できます。 コードでは、Azure Storage の Representational State Transfer (REST) アプリケーション プログラミング インターフェイス (API) を呼び出す必要があります。 REST API は、さまざまなプログラミング言語から呼び出すことができる一連の Web サービスです。 開発者は、多くの言語の中でも特に .NET 言語、Java、Python、Node.js、C++、PHP を使って、これらの API を呼び出すことができます。 開発者は、最も使い慣れた言語を選択できます。
データ転送方法を選択する
これらのシステムから転送方法を選択するには、次の点を考慮してください。
- データ サイズはどのくらいですか?
- どのくらいの頻度でデータを転送するか?
- 使用可能なネットワーク帯域幅はどれくらいか?
少数のファイルをときどき転送する場合は、Azure Storage Explorer を選択するか、Azure portal を使うことができます。
ネットワーク帯域幅が狭い、または使用コストが高く、データ量が多い場合は、物理デバイスを使ってデータを転送できます。 独自のディスクを使いたい場合は、Azure Import/Export を選択します。 Microsoft のハードウェアを使う便利さを優先する場合は、Azure Data Box 製品を選択します。 その最大データ量に応じて、Data Box、Data Box Disk、Data Box Heavy から選択します。
利用可能なネットワーク帯域幅が十分にあり、データを定期的または継続的に転送する場合は、ネットワーク転送方法を選択します。 転送時に、コードを使用せずにデータを変換する必要がある場合は、Azure Data Factory を検討します。 時間をかけて、コードを記述することができる場合は、REST API 用のスクリプト ツールまたは開発されているコンパイル済みコードを使います。 大きなデータ セットをネットワーク経由で転送する必要があり、広い帯域幅を使用できる場合は、Data Box Gateway または Azure Stack Edge デバイスを選択します。
自律走行車両のデータ転送
あなたの組織では、ネットワークを占有せずに、高速かつ比較的低コストで安全な方法を使い、Azure に自律走行車両のテレメトリ データをアップロードする必要があります。 そのシナリオは、Azure Data Box Disk の重要なユース ケースです。
さまざまな種類のデータ転送シナリオに Azure Data Box Disk を使用できます。 Azure Data Box Disk は、オフラインのテープから Azure クール ストレージに最大 35 TB のデータを移動するなど、1 回限りの移行に適しています。 35 TB より多くをアップロードする場合は、追加の注文を作成できます。 また、最初のユニットで調べた他の Data Box ファミリのオプションがより適切な候補となる可能性があるため、そちらも確認する価値があります。 増分転送も問題なく使用できます。 Data Box Disk は最初の大きなシードを提供するために使い、その後の増分データは、標準のネットワーク技術を使ってコピーします。