Azure Portal を使用して HDInsight の Apache Hadoop クラスターを管理する
Azure portal を使用して、Azure HDInsight の Apache Hadoop クラスターを管理できます。 他のツールを使用して HDInsight で Hadoop クラスターを管理する方法については、タブ セレクターを使用してください。
前提条件
HDInsight 上の 既存の Apache Hadoop クラスター。 「Azure Portal を使用した HDInsight の Linux ベースのクラスターの作成」を参照してください。
作業の開始
https://portal.azure.com にサインインします。
クラスターの一覧と表示
[HDInsight クラスター] ページには既存のクラスターの一覧が表示されます。 ポータルから:
- 左側のメニューから [すべてのサービス] を選択します。
- [ANALYTICS] の [HDInsight クラスター] を選択します。
クラスター ホーム ページ
[HDInsight クラスター] ページから、ご自身のクラスター名を選択します。 これにより、次の画像のような [概要] ビューが開きます。
上部のメニュー:
| Item | 説明 |
|---|---|
| 詳細ビュー | クラスターを別のリソース グループまたは別のサブスクリプションに移動します。 |
| 削除 | クラスターを削除します。 |
| 更新 | ビューを更新します。 |
左側のメニュー:
左上のメニュー
Item 説明 概要 クラスターの全般的な情報が表示されます。 アクティビティ ログ アクティビティ ログを表示およびクエリします。 アクセス制御 (IAM) ロールの割り当てを使用します。 「Azure サブスクリプション リソースへのアクセスを管理するための Azure ロールの割り当て」を参照してください。 Tags キーと値のペアを設定して、クラウド サービスのカスタム分類を定義できます。 たとえば、 プロジェクトという名前のキーを作成し、特定のプロジェクトに関連付けられているすべてのサービスに共通の値を使用できます。 問題の診断と解決 トラブルシューティング情報を表示します。 クイック スタート HDInsight の操作を開始するために役立つ情報を表示します。 ツール HDInsight 関連ツールのヘルプ情報です。 設定メニュー
Item 説明 クラスター サイズ クラスターの worker ノードの数を確認したり、増減したりします。 「クラスターのスケール」を参照してください。 クォータ制限 サブスクリプションの使用されているコアと使用可能なコアを表示します。 SSH およびクラスターのログイン Secure Shell (SSH) 接続を使用してクラスターに接続する方法を表示します。 詳細については、HDInsight での SSH の使用に関するページを参照してください。 Data Lake Storage Gen2 Data Lake Storage Gen2 へのアクセスを構成します。 「クイック スタート:HDInsight のクラスターを設定する」をご覧ください。 ストレージ アカウント ストレージ アカウントとキーを表示します。 ストレージ アカウントは、クラスター作成プロセス中に構成されます。 アプリケーション HDInsight アプリケーションを追加/削除します。 「カスタム HDInsight アプリケーションのインストール」を参照してください。 スクリプト操作 クラスター上の Bash スクリプトを実行します。 「 スクリプト アクションを使用して Linux ベースの HDInsight クラスターをカスタマイズする」をご覧ください。 外部メタストア Apache Hive メタストアと Apache Oozie メタストアを表示します。 メタストアを構成できるのは、クラスターの作成処理中のみです。 HDInsight パートナー 現在の HDInsight パートナーを追加または削除します。 Properties クラスターのプロパティを表示します。 Locks クラスターの変更または削除を防ぐためのロックを追加します。 テンプレートをエクスポートする クラスター向けの Azure Resource Manager テンプレートを表示およびエクスポートします。 現時点では、依存している Azure ストレージ アカウントのみをエクスポートできます。 「Resource Manager テンプレートを使用して HDInsight で Apache Hadoop クラスターを作成する」を参照してください。 監視メニュー
Item 説明 警告 アラートとアクションを管理します。 メトリック Azure Monitor ログでクラスター メトリックを監視します。 診断の設定 診断メトリックを格納する場所に関する設定。 Azure Monitor Azure Monitor でクラスターを監視します。 [サポート + トラブルシューティング] メニュー
Item 説明 リソース ヘルス 「Azure Resource Health の概要」をご覧ください。 新しいサポート要求 Microsoft サポートのサポート チケットを作成できます。
クラスターのプロパティ
クラスター ホーム ページの [設定] で、[プロパティ] を選択します。
| Item | 説明 |
|---|---|
| ホスト名 | クラスター名。 |
| クラスター URL | Ambari Web インターフェイスの URL。 |
| プライベート エンドポイント | クラスターのプライベート エンドポイント。 |
| Secure Shell (SSH) | SSH でクラスターにアクセスするときに使うユーザー名とホスト名。 |
| 状態 | 次のいずれか: Aborted、Accepted、ClusterStorageProvisioned、AzureVMConfiguration、HDInsightConfiguration、Operational、Running、Error、Deleting、Deleted、Timeout、DeleteQueued、DeleteTimeout、DeleteError、PatchQueued、CertRolloverQueued、ResizeQueued、ClusterCustomization。 |
| リージョン | Azure の場所。 サポートされている Azure の場所の一覧については、「HDInsight の価格」の [リージョン] ボックスの一覧をご覧ください。 |
| 作成日 | クラスターがデプロイされた日付。 |
| オペレーティング システム | [Windows] または [Linux] 。 |
| TYPE | Hadoop、HBase、Spark。 |
| Version | 「HDInsight で使用可能な Hadoop コンポーネントとバージョンとは」をご覧ください。 |
| TLS の最小バージョン | TLS のバージョン。 |
| サブスクリプション | サブスクリプションの名前。 |
| 既定のデータ ソース | クラスターの既定のファイル システムです。 |
| ワーカー ノードのサイズ | worker ノードの選択されている VM のサイズ。 |
| ヘッド ノードのサイズ | ヘッド ノードの選択されている VM のサイズ。 |
| 仮想ネットワーク | クラスターのデプロイ先の仮想ネットワークの名前 (デプロイ時に選択された場合)。 |
クラスターの移動
HDInsight クラスターを別の Azure リソース グループまたは別のサブスクリプションに移動できます。
- 上部のメニューから [移動] を選択します。
- [別のリソース グループに移動する] または [別のサブスクリプションに移動する] を選択します。
- 新しいページで説明されている手順に従います。
クラスターの削除
クラスターを削除しても、既定のストレージ アカウントまたはリンクされたストレージ アカウントは削除されません。 同じストレージ アカウントと同じメタストアを使用してクラスターを再作成することができます。 クラスターを再作成するときに、新しい既定の BLOB コンテナーを使うことをお勧めします。
- 上部のメニューで [削除] を選択します。
- 新しいページで説明されている手順に従います。
「 クラスターの一時停止またはシャットダウン」もご覧ください。
追加のストレージ アカウントの追加
クラスターが作成されたら、Azure ストレージ アカウントや Azure Data Lake Storage アカウントを追加できます。 詳細については、「HDInsight にストレージ アカウントを追加する」を参照してください。
クラスターのスケール
クラスターのスケール設定機能を使うと、Azure HDInsight クラスターによって使われる worker ノードの数を、クラスターを再作成することなく、変更できます。
詳細については、「HDInsight クラスターのスケーリング」を参照してください。
クラスターの一時停止またはシャットダウン
Hadoop ジョブの大半は、たまにしか実行されないバッチ ジョブです。 ほとんどの Hadoop クラスターでは、クラスターが処理に使用されていない期間がかなりあります。 HDInsight を使用すると、データは Azure Storage に格納されるため、クラスターは、使用されていない場合に安全に削除できます。 また、HDInsight クラスターは、使用していない場合でも課金されます。 クラスターの料金は Storage の料金の何倍にもなるため、クラスターを使用しない場合は削除するのが経済的にも合理的です。
このプロセスをプログラムで実行する方法は数多くあります。
- Azure Data Factory を使用する。 オンデマンドの HDInsight がリンクされたサービスを作成する詳細については、Azure Data Factory を使用して HDInsight でオンデマンドの Linux ベースの Apache Hadoop クラスターを作成するに関するページを参照してください。
- Azure PowerShell を使用する。 「 HDInsight での Hive を使用したフライト遅延データの分析」をご覧ください。
- Azure CLI を使用する。 「Azure CLI を使用した Azure HDInsight クラスターの管理」を参照してください。
- HDInsight .NET SDK を使用する。 Apache Hadoop ジョブを送信するに関するページをご覧ください。
価格情報については、「 HDInsight の価格」をご覧ください。 ポータルからクラスターを削除する方法については、「クラスターの削除
クラスターをアップグレードする
「HDInsight クラスターを新しいバージョンにアップグレードする」を参照してください。
Apache Ambari Web UI を開く
Ambari は、RESTful API がサポートする直感的で使いやすい Hadoop 管理 Web UI トを提供します。 Ambari によって、システム管理者が Hadoop クラスターを管理および監視できます。
[クラスター ダッシュボード] を選択します。
新しいページから [Ambari ホーム] を選択します。
クラスターのユーザー名とパスワードを入力します。 既定のクラスター ユーザー名は admin です。
詳細については、「Ambari Web UI を使用した HDInsight クラスターの管理」を参照してください。
パスワードの変更
HDInsight クラスターは、2 つのユーザー アカウントを持つことができます。 HDInsight クラスター ユーザー アカウント (HTTP ユーザー アカウント) と SSH ユーザー アカウントが、作成プロセス中に作成されます。 ポータルを使用してクラスターのユーザー アカウントのパスワードを変更し、スクリプト アクションを使用して SSH ユーザー アカウントを変更することができます。
クラスター ユーザーのパスワードの変更
注意
クラスター ユーザー (管理者) のパスワードを変更すると、このクラスターに対して実行されたスクリプト アクションが失敗する可能性があります。 worker ノードを対象とする保存済みスクリプト アクションがある場合、サイズの変更操作を通じてノードをクラスターに追加すると、これらのスクリプト アクションは失敗する可能性があります。 スクリプト アクションの詳細については、「 スクリプト アクションを使って HDInsight クラスターをカスタマイズする」を参照してください。
- [設定] で [SSH およびクラスターのログイン] を選択します。
- [資格情報のリセット] を選択します。
- テキスト ボックスに新しいパスワードを入力し、確認します。
- [OK] を選択します。
クラスター内のすべてのノードでパスワードが変更されます。
SSH ユーザーのパスワードまたは公開キーを変更する
テキスト エディターを使用して、次のテキストを changecredentials.sh という名前のファイルに保存します。
重要
行の終わりとして LF を使用するエディターを使用する必要があります。 エディターで CRLF が使用される場合、スクリプトは動作しません。
#! /bin/bash USER=$1 PASS=$2 usermod --password $(echo $PASS | openssl passwd -1 -stdin) $USERHTTP または HTTPS アドレスを使用して、HDInsight からアクセスできるストレージの場所にファイルをアップロードします。 たとえば、OneDrive や Azure Blob ストレージなどの公開ファイル ストアです。 URI (HTTP または HTTPS アドレス) をファイルに保存します。この URI は、次の手順で必要になります。
クラスター ホーム ページの [設定] で、 [スクリプト アクション] を選択します。
[スクリプト アクション] ページで、 [新規で送信] を選択します。
[スクリプト アクションの送信] ページで、次の情報を入力します。
注意
SSH パスワードでは次の文字は使用できません。
" ' ` / \ < % ~ | $ & ! #
| フィールド | 値 |
|---|---|
| スクリプトの種類 | ドロップダウン リストから [- カスタム] を選択します。 |
| 名前 | "SSH 資格情報の変更" |
| Bash スクリプト URI | changecredentials.sh ファイルへの URI |
| ノードの種類:(ヘッド、ワーカー、Nimbus、スーパーバイザー、または Zookeeper) | 表示するすべてのノード型に ✓ |
| パラメーター | SSH ユーザー名と新しいパスワードを入力します。 ユーザー名とパスワードの間に、スペースを 1 つ入れる必要があります。 |
| このスクリプト アクションを保持する… | このフィールドはオフのままにします。 |
- [作成] を選択してスクリプトを適用します。 スクリプトの完了後は、新しい資格情報で SSH を使用して、クラスターに接続できます。
サブスクリプション ID の検索
各クラスターは、Azure サブスクリプションに関連付けられています。 Azure サブスクリプション ID はクラスター ホーム ページから表示されます。
リソース グループの検索
Azure Resource Manager モードでは、各 HDInsight クラスターは Azure Resource Manager グループと共に作成されます。 Resource Manager グループはクラスター ホーム ページから表示されます。
ストレージ アカウントを検索する
HDInsight クラスターは、Azure Storage アカウントまたは Azure Data Lake Storage のいずれかを使用してデータを格納します。 各 HDInsight クラスターは、1 つの既定のストレージ アカウントと、複数のリンクされたストレージ アカウントを持つことができます。 ストレージ アカウントを一覧表示するには、クラスター ホーム ページの [設定] で [ストレージ アカウント] を選択します。
ジョブの監視
「Ambari Web UI を使用した HDInsight クラスターの管理」を参照してください。
クラスター サイズ
クラスター ホーム ページの [クラスター サイズ] タイルには、このクラスターに割り当てられているコアの数と、このクラスター内のノードに割り当てられているコアの数が表示されます。
重要
HDInsight クラスターによって提供されるサービスを監視するには、Ambari Web または Ambari REST API を使用する必要があります。 Ambari の使用について詳しくは、Apache Ambari を使用した HDInsight クラスターの管理に関するページをご覧ください
クラスターへの接続
次のステップ
この記事では、基本的な管理機能をいくつか説明しました。 詳細については、以下の記事をお読みください。