はじめての Azure Data Lake ～ 環境構築からファイル アップロードまで ～
Microsoft Japan Data Platform Tech Sales Team
西村哲徳
みなさん、こんにちは。はじめての Azure Data Lake シリーズ２回目は、実際に Data Lake Store の環境を構築してファイルをアップロードするまでをご紹介します。「そもそもData Lakeって何 ？」という方は１回目で解説してますのでそちらをご覧ください。
本ブログの内容を試すのに必要なもの
- Azure アカウント : Data Lake Store は Azure サービスの１つなので Azure アカウントが必要です。まだ持ってない方は 20,500 円分の無料クレジットがつくのでこちらから作成してください。
- Visual Studio : ファイルを操作するツールの１つAzure Data Lake Explorerを使うために必要になります。 Community Editionでも構いません。入手方法は後ほど紹介します。
では早速、環境構築（ Data Lake Store の作成）に入ります。
１． Data Lake Storeの作成
作成した Azure アカウントを使い Azure Portal にログインします。
続いてメニュー左の「新規」から Data Lake Store を検索し作成を開始します。
必要な情報を入力し新しい Data Lake Store を作成します。
| 入力項目 | 説明 |
| 名前 | 一意の名前を入力します。 一意であれば画像のように緑色の✔になります。 |
| サブスクリプション | 使用可能なサブスクリプションを選択します。 |
| リソースグループ | 既存のものも使用可能ですが、ここでは新規で作成します。 |
| 場所 | 現在は米国中央部と米国東部２のみが選択可能です。 |
| 価格 | 任意の課金制を選択してください。 |
| 暗号化 | 暗号化する場合は有効、しない場合は無効を選択してください。 |
全てセットしたら作成ボタンを押下します。
通知からデプロイの開始と終了が確認できます。
作成した Data Lake Store を名前で検索して確認します。
以上で Data Lake Store の作成は完了です。たったこれだけのステップで実質無制限の容量のファイル群を格納できるビッグデータストアの完成です。
２．Data Lake Store へのファイルアップロード
続いてファイルのアップロードですがここでは２つの方法を紹介します。
- Azure Portal からのアップロード
- Visual Studioからのアップロード
１．Azure Portal からのアップロード
Azure Portal にログインして Data Lake Store のメニューからデータエクスプローラーを選択します。
データエクスプローラーのメニューからアップロードを選択し、ファイルのアップロード画面からアップロードできます。
もちろんどんな種類のファイルでも問題ありません。
ファイルが追加されました。
テキストファイルであれば中身も確認することができます。
通常のエクスプローラーのように右クリックメニューで様々な操作ができます。
このように Azure Portal から Data Lake Store の作成、ファイルのアップロードが簡単にできます。その裏で自動的に HDFS 互換のファイルシステムに3重化して保存されるため 高可用性かつ Hadoop 系のサービスからも分析することが可能です。
２．Visual Studio からのアップロード
Visual Studio からのファイル操作は Azure Data Lake Explorer から行いますが、Data Lake Tools for Visual Studio と Cloud Explorer をインストールする必要があります。単品で入手することも可能ですが必要なコンポーネントが全て含まれる Azure SDK for .NET をインストールすることをお勧めします。Visual Studio がない場合はこの SDK で Community Editionもインストールされます。また、次回以降の Data Lake Analytics で使うツールも含まれます。
Azure SDK for .NET のダウンロード先、インストールされるコンポーネントはこちらをご確認ください。インストールはクリックして先に進めていくだけなのでここでは割愛します。
インストール後、Visual Studio を起動し Cloud Explorer を表示します。
Cloud Explorer から Azure にログインします。
Cloud Explorer から Data Lake Store を展開すると先ほど作成した Data Lake Store が表示されるのでエクスプローラーで開きます。Azure Portal でアップロードしたファイルが確認できます。
右クリックのメニューからファイルをアップロードできます。
ファイルをダブル クリックして中身を確認することもできます。
ご覧いただいたように Data Lake Store の作成からファイル アップロードまで非常に簡単にできることがご理解いただけたと思います。もちろん GUI だけでなく PowerShell を用いてバッチ的にファイルをアップロードすることも可能なので機会があればこのブログで紹介させていただきます。
次回以降は格納したデータを Data Lake Analytics で分析する方法を紹介するので是非楽しみにしていてください。
関連記事