Azure portal を使用して HDInsight の Apache Hadoop クラスターを管理する
Azure portal を使用して、Azure HDInsight の Apache Hadoop クラスターを管理できます。 他のツールを使用して HDInsight で Hadoop クラスターを管理する方法については、タブ セレクターを使用してください。
前提条件
HDInsight 上の 既存の Apache Hadoop クラスター。 詳細については、「Azure portal を使用した HDInsight の Linux ベースのクラスターの作成」をご覧ください。
作業の開始
ポータルにサインインします。
クラスターの一覧と表示
[HDInsight クラスター] ページには既存のクラスターの一覧が表示されます。 ポータルから:
- 左側のメニューから、 [すべてのサービス] を選択します。
- [ANALYTICS] で [HDInsight クラスター] を選択します。
クラスター ホーム ページ
[HDInsight クラスター] ページで、ご自身のクラスター名を選択します。 [概要] ペインが開き、次の図のようになります。
上部のメニュー
| アイテム | 説明 |
|---|---|
| 移動 | クラスターを別のリソース グループまたは別のサブスクリプションに移動します。 |
| 削除 | クラスターを削除します。 |
| [更新] | ビューを更新します。 |
左側のメニュー
左側のメニューには複数のセクションがあります。
左上のメニュー
| アイテム | 説明 |
|---|---|
| 概要 | クラスターの一般的な情報を指定します。 |
| アクティビティ ログ | アクティビティ ログを表示およびクエリします。 |
| アクセス制御 (IAM) | ロールの割り当てを使用します。 「Azure サブスクリプション リソースへのアクセスを管理するための Azure ロールの割り当て」を参照してください。 |
| タグ | キーと値のペアを設定して、クラウド サービスのカスタム分類を定義します。 たとえば、project という名前のキーを作成し、特定のプロジェクトに関連付けられているすべてのサービスに共通の値を使用できます。 |
| 問題の診断と解決 | トラブルシューティング情報を表示します。 |
| クイックスタート | HDInsight の操作を開始するために役立つ情報を表示します。 |
| ツール | HDInsight 関連ツールのヘルプ情報です。 |
設定メニュー
| Item | 説明 |
|---|---|
| クラスター サイズ | クラスターの worker ノードの数を確認したり、増減したりします。 「クラスターのスケール」を参照してください。 |
| クォータ制限 | サブスクリプションの使用されているコアと使用可能なコアを表示します。 |
| SSH およびクラスターのログイン | Secure Shell (SSH) 接続を使用してクラスターに接続する方法を表示します。 詳細については、HDInsight での SSH の使用に関するページを参照してください。 |
| Azure Data Lake Storage Gen2 | Data Lake Storage Gen2 へのアクセスを構成します。 「クイック スタート:HDInsight のクラスターを設定する」をご覧ください。 |
| ストレージ アカウント | ストレージ アカウントとキーを表示します。 ストレージ アカウントは、クラスター作成プロセス中に構成されます。 |
| アプリケーション | HDInsight アプリケーションを追加/削除します。 「カスタム HDInsight アプリケーションのインストール」を参照してください。 |
| スクリプト アクション | クラスター上の Bash スクリプトを実行します。 「 スクリプト アクションを使用して Linux ベースの HDInsight クラスターをカスタマイズする」をご覧ください。 |
| 外部メタストア | Apache Hive メタストアと Apache Oozie メタストアを表示します。 メタストアは、クラスターの作成プロセス中にのみ構成できます。 |
| HDInsight パートナー | 現在の HDInsight パートナーを追加または削除します。 |
| プロパティ | クラスターのプロパティを表示します。 |
| Locks | クラスターの変更または削除を防ぐためのロックを追加します。 |
| テンプレートをエクスポートする | クラスター向けの Azure Resource Manager テンプレートを表示およびエクスポートします。 現時点では、依存している Azure Storage アカウントのみをエクスポートできます。 「Azure Resource Manager テンプレートを使用して HDInsight で Apache Hadoop クラスターを作成する」を参照してください。 |
監視メニュー
| Item | 説明 |
|---|---|
| 警告 | アラートとアクションを管理します。 |
| メトリック | Azure Monitor ログでクラスター メトリックを監視します。 |
| 診断の設定 | 診断メトリックを格納する場所を設定します。 |
| Azure Monitor | Azure Monitor でクラスターを監視します。 |
[サポート + トラブルシューティング] メニュー
| Item | 説明 |
|---|---|
| リソース ヘルス | 「Azure Resource Health の概要」をご覧ください。 |
| 新しいサポート要求 | Microsoft サポートでサポート チケットを作成します。 |
クラスターのプロパティ
クラスター ホーム ページの [設定] で、[プロパティ] を選択します。
| アイテム | 説明 |
|---|---|
| HOSTNAME | クラスター名。 |
| クラスターのURL | Ambari Web インターフェイスの URL。 |
| プライベート エンドポイント | クラスターのプライベート エンドポイント。 |
| Secure Shell | SSH を介してクラスターにアクセスするときに使うユーザー名とホスト名。 |
| 状態 | 次のいずれか: Aborted、Accepted、ClusterStorageProvisioned、AzureVMConfiguration、HDInsightConfiguration、Operational、Running、Error、Deleting、Deleted、Timeout、DeleteQueued、DeleteTimeout、DeleteError、PatchQueued、CertRolloverQueued、ResizeQueued、ClusterCustomization。 |
| リージョン | Azure の場所。 サポートされている Azure の場所の一覧については、「HDInsight の価格」の [リージョン]ボックスの一覧をご覧ください。 |
| 作成日 | クラスターがデプロイされた日付。 |
| オペレーティング システム | [Windows] または [Linux] 。 |
| TYPE | Hadoop、HBase、または Spark。 |
| Version | 「HDInsight で使用可能な Hadoop コンポーネントとバージョンとは」をご覧ください。 |
| TLS の最小バージョン | トランスポート層セキュリティ (TLS) のバージョン。 |
| SUBSCRIPTION | サブスクリプションの名前。 |
| 既定のデータ ソース | クラスターの既定のファイル システムです。 |
| ワーカー ノードのサイズ | ワーカー ノードの選択された仮想マシン (VM) サイズ。 |
| ヘッド ノードのサイズ | ヘッド ノードの選択されている VM のサイズ。 |
| 仮想ネットワーク | クラスターのデプロイ先の仮想ネットワークの名前 (デプロイ時に選択された場合)。 |
クラスターの移動
HDInsight クラスターを別の Azure リソース グループまたは別のサブスクリプションに移動できます。
上部のメニューから、[移動] を選択します。
[別のリソース グループに移動する] または [別のサブスクリプションに移動する] を選択します。
新しいページで説明されている手順に従います。
クラスターの削除
クラスターを削除しても、既定のストレージ アカウントまたはリンクされたストレージ アカウントは削除されません。 同じストレージ アカウントと同じメタストアを使用してクラスターを再作成することができます。 クラスターを再作成するときに、新しい既定の BLOB コンテナーを使用することをお勧めします。
- 上部のメニューで [削除] を選択します。
- 新しいページで説明されている手順に従います。
詳細については、「クラスターの一時停止またはシャットダウン」を参照してください。
ストレージ アカウントをさらに追加する
クラスターが作成されたら、Azure Storage アカウントや Azure Data Lake Storage アカウントを追加できます。 詳細については、「HDInsight にストレージ アカウントを追加する」を参照してください。
クラスターのスケール
クラスターのスケール設定機能を使うと、Azure HDInsight クラスターによって使われるワーカー ノードの数を、クラスターを再作成することなく、使用できます。
詳細については、HDInsight クラスターのスケーリングに関するページを参照してください。
クラスターを一時停止またはシャットダウンする
ほとんどの Hadoop ジョブは、たまにしか実行されていないバッチ ジョブです。 ほとんどの Hadoop クラスターでは、クラスターが処理に使用されていない期間がかなりあります。 HDInsight を使用すると、データは Azure Storage に格納されるため、クラスターは、使用されていない場合に安全に削除できます。 また、HDInsight クラスターは、使用していない場合でも課金されます。 クラスターの料金は Storage の料金の何倍にもなるため、クラスターを使用しない場合は削除するのが経済的にも合理的です。
プロセスはさまざまな方法でプログラミングできます。 使用できるもの:
- Azure Data Factory: オンデマンドの HDInsight がリンクされたサービスを作成する詳細については、｢Azure Data Factory を使用して HDInsight でオンデマンドの Linux ベースの Apache Hadoop クラスターを作成する」を参照してください。
- Azure PowerShell: 「フライト遅延データの分析」を参照してください。
- Azure CLI: 「Azure CLI を使用した Azure HDInsight クラスターの管理」を参照してください。
- HDInsight .NET SDK: 「Apache Hadoop ジョブの送信」を参照してください。
価格情報については、「HDInsight の価格」を参照してください。 ポータルからクラスターを削除する方法については、「クラスターの削除」を参照してください。
クラスターをアップグレードする
詳細については、「HDInsight クラスターを新しいバージョンにアップグレードする」を参照してください。
Apache Ambari Web UI を開く
Ambari は、RESTful API がサポートする直感的で使いやすい Hadoop 管理 Web UI を提供します。 Ambari を使用すると、システム管理者は Hadoop クラスターを管理および監視できます。
[クラスター ダッシュボード] を選択します。
新しいページで、[Ambari home] を選択します。
クラスターのユーザー名とパスワードを入力します。 既定のクラスター ユーザー名は admin です。
詳細については、「Apache Ambari Web UI を使用した HDInsight クラスターの管理」を参照してください。
パスワードの変更
HDInsight クラスターは、2 つのユーザー アカウントを持つことができます。 HDInsight クラスター ユーザー アカウント (HTTP ユーザー アカウント) と SSH ユーザー アカウントが、作成プロセス中に作成されます。 ポータルを使用してクラスターのユーザー アカウントのパスワードを変更し、スクリプト アクションを使用して SSH ユーザー アカウントを変更することができます。
クラスター ユーザーのパスワードの変更
Note
クラスター ユーザー (管理者) のパスワードを変更すると、このクラスターに対して実行されたスクリプト アクションが失敗する可能性があります。 ワーカー ノードを対象とする保存済みスクリプト アクションがある場合、サイズの変更操作を通じてノードをクラスターに追加すると、これらのスクリプト アクションは失敗する可能性があります。 スクリプト アクションの詳細については、「スクリプト アクションを使って HDInsight クラスターをカスタマイズする」を参照してください。
- [設定] で [SSH およびクラスターのログイン] を選択します。
- [資格情報のリセット] を選択します。
- テキスト ボックスに新しいパスワードを入力し、確認します。
- [OK] を選択します。
クラスター内のすべてのノードでパスワードが変更されます。
SSH ユーザーのパスワードまたは公開キーを変更する
テキスト エディターを使用して、次のテキストを
changecredentials.shという名前のファイルとして保存します。重要
行の終わりとして
LFを使用するエディターを使用する必要があります。 エディターでCRLFを使用している場合、スクリプトは機能しません。#! /bin/bash USER=$1 PASS=$2 usermod --password $(echo $PASS | openssl passwd -1 -stdin) $USERHTTP または HTTPS アドレスを使用して HDInsight からアクセスできるストレージの場所にファイルをアップロードします。 たとえば、OneDrive や Azure Blob Storage などの公開ファイル ストアです。 URI (HTTP または HTTPS アドレス) をファイルに保存します。 この URI は次の手順で必要になります。
クラスター ホーム ページの [設定] で、[スクリプト アクション] を選択します。
[スクリプト アクション] ページで、[新規で送信] を選択します。
[スクリプト アクションの送信] ページで、次の表に情報を入力します。
Note
SSH パスワードでは次の文字は使用できません " ' ` / \ < % ~ | $ & ! #
フィールド 値 スクリプトの種類 ドロップダウン リストから - Custom を選択します。 名前 "SSH 資格情報の変更" バッシュ スクリプト URI changecredentials.shファイルの URI。ノード型: Head、Wroker、Nimbus、Supervisor、または ZooKeeper 一覧表示されたすべてのノード型に ✓ を選択します。 パラメーター SSH ユーザー名を入力し、新しいパスワードを入力します。 ユーザー名とパスワードの間に、スペースを 1 つ入れる必要があります。 このスクリプト アクションを保持する… このフィールドは空のままにします。 [作成] を選択してスクリプトを適用します。 スクリプトの完了後は、新しい資格情報で SSH を使用して、クラスターに接続できます。
サブスクリプション ID の検索
各クラスターは、Azure サブスクリプションに関連付けられています。 Azure サブスクリプション ID はクラスター ホーム ページから表示されます。
リソース グループの検索
Resource Manager モードでは、各 HDInsight クラスターは Resource Manager グループと共に作成されます。 Resource Manager グループはクラスター ホーム ページから表示されます。
ストレージ アカウントを検索する
HDInsight クラスターは、Azure Storage アカウントまたは Data Lake Storage のいずれかを使用してデータを格納します。 各 HDInsight クラスターは、1 つの既定のストレージ アカウントと、多数のリンクされたストレージ アカウントを持つことができます。 ストレージ アカウントを一覧表示するには、クラスター ホーム ページの [設定] で [ストレージ アカウント] を選択します。
ジョブの監視
詳細については、「Apache Ambari Web UI を使用した HDInsight クラスターの管理」を参照してください。
クラスター サイズ
クラスター ホーム ページの [クラスター サイズ] タイルには、このクラスターに割り当てられているコアの数と、このクラスター内のノードに割り当てられているコアの数が表示されます。
重要
HDInsight クラスターによって提供されるサービスを監視するにはI または Ambari REST API を使用する必要があります。 Ambari の使用についての詳細は、「Apache Ambari を使用した HDInsight クラスターの管理」をご覧ください。
クラスターへの接続
関連するコンテンツ
この記事では、基本的な管理機能をいくつか説明しました。 詳細については、以下の記事をお読みください。