Visual Studio を使用した HDInsight/Hadoop と統合されたアプリケーションの構築
このポストは、12 月 2 日に投稿された “How To”: Using Visual Studio to build Applications That Integrate with HDInsight/Hadoop の翻訳です。
Visual Studio で開発したカスタム アプリケーションにおけるビッグ データ処理を効率化するために、最新の Azure SDK では、Visual Studio からより便利な HDInsight のツールを使用できるようにしました。これにより、使い慣れた強力なツールを使用して Hadoop クラスター、テーブル、関連付けられたストレージを視覚的に表示できるようになりました。このため開発者の皆様は、Visual Studio からクラスターに対して直接 HDInsight のアドホック Hive クエリを作成して送信したり、他の Visual Studio プロジェクトと同様に管理される Hive アプリケーションを開発したりすることができます。
ぜひすぐに VS 2013|VS 2012|VS 2015 プレビューの Azure SDK をダウンロードしてご利用ください。
サーバー エクスプローラーに HDInsight オブジェクトを統合すると、Azure の他のクラウド サービスと同じページにビッグ データのアセットが表示されます。そのため、テーブルの最初の 100 行に対してクエリを実行するなど、クラスター、Hive テーブル、スキーマをすばやく簡単に探索することができます。この機能により、Visual Studio で取り扱っているデータの全体像を手早く把握することが可能になりました。
また、Hive クエリを作成し、ジョブとして送信できるツールも用意されています。Hadoop クラスターのコンテキスト メニューを使用すれば、すぐに Hive クエリ スクリプトの記述を開始できます。下のスクリーンショットの例では、地理情報を含む Hive テーブルに対して、すべての国をカウントして国別に並べ替える簡単なクエリを作成しています。ジョブ ブラウザー ツールでは、ジョブの送信と状態を確認できます。任意のジョブをダブル クリックすると、[Hive Job Summary] ウィンドウに概要と詳細が表示されます。
また、任意の Azure Blob コンテナーを指定して開き、コンテナー内のファイルに対して作業することもできます。Azure ダッシュボードでクラスターを作成する際には、バッキング ストアが Hadoop クラスターに関連付けられます。Hadoop クラスターは、引き続き同じ Azure ダッシュボードで管理できます。
より複雑なスクリプトの作成やライフサイクル管理を行う場合も、Visual Studio で Hive プロジェクトを作成できます。[New Project] ダイアログ (下の図を参照) には、新たに HDInsight テンプレート カテゴリが表示されるようになりました。手始めに Hive Sample プロジェクト タイプをお試しいただくと機能がわかりやすいです。このプロジェクトには、Web サーバーのログを処理するための比較的複雑な Hive クエリとサンプル データが最初から用意されています。
この機能の利用を開始するには、以下の参考資料をご覧ください。