IntelliJ 用 HDInsight Tools の一般提供を開始

Artikel
2016-06-24

執筆者: Jenny Jiang (Principle Program Manager, Big Data Team)

このポストは、6 月 13 日に投稿された HDInsight tool for IntelliJ is generally available の翻訳です。

IntelliJ 用 HDInsight Tools の一般提供が開始されました。IntelliJ 用 HDInsight Tools はオープンソースコミュニティによって提供され、HDInsight を使用する Spark 開発者向けのツールです。このツールは IntelliJ とシームレスに統合されており、Scala や Java による Spark アプリケーションの開発エクスペリエンスをネイティブにサポートします。

HDInsight で Spark アプリケーションの開発を行う場合、最初のアプリケーションを構築するまでの準備が困難なことがあります。また、IDE での Spark アプリケーションの開発サイクルは長く煩雑なものになりがちです。そのような場合にこのツールを使用すれば、わずか数分で HDInsight による Spark 開発を開始できます。経験豊かな Spark 開発者であれば、イテレーションをさらに短期間で容易に実行することができます。

ツールの概要

IntelliJ 用 HDInsight Tools は IntelliJ を拡張するもので、Spark ジョブの作成、オーサリング、デバッグ、Azure HDInsight Spark クラスターヘの送信までのライフサイクルをサポートします。このツールは Azure と高度に統合されており、HDInsight Spark クラスター間の移動や関連付けられている Azure ストレージアカウントを表示することができます。また、Spark ジョブの履歴、詳細なログ、出力も表示されるため、さらなる生産性向上も期待できます。さらに、プレビュー時のユーザーフィードバックに基づいて、アーティファクトの自動作成、SDK の検索、Spark ログのキャッシュなどの操作性に関する機能強化も行われました。

IntelliJ 用 HDInsight Tools では以下のことを実行できます。

組み込み済みのテンプレート、サンプルコード、インテリジェンスを使用して Spark プロジェクトを作成し、アーティファクトの自動作成やアセンブリの検索を実行

IntelliJ (主に Scala と Java) のネイティブなオーサリング支援機能 (IntelliSense、オートフォーマット、エラーチェックなど) を活用して Spark アプリケーションを開発

Spark アプリケーションを HDInsight クラスターに送信

YARN および Spark との統合によりジョブの履歴、ログ、結果を表示

実行中の Spark アプリケーションの完了前にユーザーが停止

Spark アプリケーションのテストや検証をローカルで実施

ユーザーの Azure サブスクリプションに関連付けられている Spark クラスターをすべて表示

HDInsight Spark クラスターに関連付けられているストレージリソースに移動

Spark ログのサイズが大きい場合にディスクにキャッシュ

リモートデバッグ

Spark アプリケーションの作成、オーサリング、送信、停止

IntelliJ 用 HDInsight Tools では、Spark アプリケーションの作成から送信までのライフサイクル管理をサポートします。IntelliJ との緊密な統合や Azure とのシームレスな統合により、クラスターで実行されている Spark アプリケーションのジョブの履歴、情報、統計を表示することができます。