Azure HDInsight クラスター用の Log Analytics 移行ガイド
Azure HDInsight は、エンタープライズ対応のマネージド クラスター サービスです。 このサービスにより、Azure で Apache Spark、Hadoop、HBase、Kafka などのオープンソースの分析フレームワークが実行されます。 Azure HDInsight は他の Azure サービスと統合されており、これにより、顧客はビッグ データ分析アプリケーションをより適切に管理できます。
Log Analytics では、ログ クエリの編集と実行を行うための Azure portal のツールが提供されます。 クエリは Azure Monitor ログによって収集されたデータから取得され、その結果が対話形式で分析されます。 顧客は、Log Analytics クエリを使用して、特定の条件に一致するレコードを取得できます。 また、クエリを使用して、傾向を特定したり、パターンを分析したり、データの分析情報を提示したりできます。
Azure HDInsight は、2017 年に Log Analytics との統合が可能になりました。 HDInsight の顧客は、HDInsight クラスターを監視し、クラスター内のログに対してクエリを実行するために、この機能を迅速に採用しています。 この機能の導入が増加する一方で、統合に関する顧客からのフィードバックが提供されています。
- 顧客は格納すべきログを判断できず、すべてのログを格納すると、コストが高くなる場合がある。
- 現在の HDInsight スキーマ ログは一貫性のある名前付け規則に従っておらず、一部のテーブルは反復的である。
- 顧客は、HDInsight クラスターの KPI を簡単に監視できるよう、既定のダッシュボードが必要である。
- 顧客は、単純なクエリを実行するために Log Analytics に移動する必要がある。
ソリューションの概要
Azure HDInsight チームは、顧客からのフィードバックを考慮して、Azure Monitor との統合に投資しています。 この統合により、以下が実現されます。
- 顧客の Log Analytics ワークスペース内の新しいテーブル セット。 新しいテーブルは、新しい Log Analytics パイプラインを介して配信されます。
- 高い信頼性
- 迅速なログの配信
- リソースベースのテーブルのグループ化と既定のクエリ
新しい Azure Monitor 統合のベネフィット
このドキュメントでは、Azure Monitor 統合に加えられた変更について説明し、新しいテーブルを使用するためのベスト プラクティスを示します。
再設計されたスキーマ: 新しい Azure Monitor 統合のスキーマ フォーマットがより適切に編成され、理解しやすくなっています。 従来のスキーマ内のあいまいさを可能な限り解消するためのスキーマが 3 分の 2 少なくなっています。
選択的ログ: Log Analytics で使用できるログとメトリックが用意されています。 監視コストを節約するために、新しい選択的ログ機能がリリースされます。 この機能を使用して、さまざまなログとメトリック ソースをオンまたはオフにします。 この機能では、使用した分だけを支払います。 詳細については、選択的ログに関する記事を参照してください
クラスター ポータル統合のログ: HDInsight クラスター ポータルには、 [ログ] ウィンドウが新しく追加されています。 クラスターへのアクセス権を持つユーザーは、このウィンドウにアクセスして、クラスター リソースによるレコードの送信先であるテーブルに対してクエリを実行できます。 ユーザーは、特定のクラスター リソースのレコードを表示するために、Log Analytics ワークスペースにアクセスする必要がなくなります。
分析情報クラスター ポータル統合: HDInsight クラスター ポータルには、 [分析情報] ウィンドウも新しく追加されています。 新しい Azure Monitor 統合を有効にした後、 [分析情報] ウィンドウを選択すると、クラスターの種類に固有の既定のログおよびメトリック ダッシュボードが自動的に設定されます。 これらのダッシュボードは、以前の Azure ソリューションから改良されています。 これにより、クラスターのパフォーマンスと正常性に関する詳細な分析情報を得ることができます。
顧客シナリオ
次のセクションでは、さまざまなシナリオで新しい Azure Monitor 統合を使用する方法について説明します。 「新しい Azure Monitor 統合をアクティブ化する」セクションでは、新しい Azure Monitor 統合をアクティブ化して使用する方法について説明します。 Azure Monitor クラシックから新しい Azure Monitor 統合への移行に関するセクションには、以前の Azure Monitor 統合に依存するユーザー向けの追加情報が記載されています。
注意
新しい Azure 監視統合の対象となるのは、2020 年 9 月下旬に作成されたクラスターだけです。
新しい Azure Monitor 統合をアクティブ化する
注意
新しい統合を有効にする前に、アクセスできるサブスクリプションに Log Analytics ワークスペースを作成しておく必要があります。 Log Analytics ワークスペースの作成方法の詳細については、「Azure portal で Log Analytics ワークスペースを作成する」を参照してください。
クラスターのポータル ページに移動し、 [監視] セクションに達するまで左側のメニューを下にスクロールして、新しい統合をアクティブ化します。 [監視] セクションで、 [Monitor integration](Monitor 統合) を選択します。 次に、 [有効] を選択すると、ログの送信先となる Log Analytics ワークスペースを選択できます。 ワークスペースを選択したら、 [保存] を選択します。
新しいテーブルにアクセスする
新しいテーブルにアクセスするには、2 つの方法があります。
アプローチ 1:
新しいテーブルにアクセスする 1 つ目の方法では、Log Analytics ワークスペースを使用します。
- 統合を有効にしたときに選択した Log Analytics ワークスペースにアクセスします。
- 画面の左側にあるメニューを下にスクロールし、 [ログ] を選択します。 ログ クエリ エディターに、ワークスペース内のすべてのテーブルの一覧が表示されます。
- テーブルを [ソリューション] 別にグループ化している場合、新しい HDI テーブルは [Logs Management](ログ管理) セクションに表示されます。
- テーブルを [リソースの種類] 別にグループ化すると、次の図に示すように、テーブルは [HDInsight クラスター] セクションに表示されます。
注意
このプロセスは、以前の統合でのログへのアクセス方法を示しています。 これには、ユーザーがワークスペースにアクセスできる必要があります。
アプローチ 2:
新しいテーブルにアクセスする 2 つ目の方法では、クラスター ポータル アクセスを使用します。
- クラスターのポータル ページに移動し、 [監視] セクションが表示されるまで左側のメニューを下にスクロールします。 このセクションには、 [ログ] ウィンドウが表示されます。
- [ログ] を選択すると、ログ クエリ エディターが表示されます。 このエディターには、クラスター リソースに関連付けられているすべてのログが含まれています。 統合を有効にしたときに、Log Analytics ワークスペースにログが送信されています。 これらのログにより、リソースベースのアクセス (RBAC) が実現されます。 RBAC では、クラスターにアクセスできるがワークスペースへのアクセス権を持たないユーザーは、クラスターに関連付けられているログを確認できます。
比較のために、次のスクリーンショットは、従来の統合ワークスペース ビューと新しい統合ワークスペース ビューを示しています。
従来の統合ワークスペース ビュー
新しい統合ワークスペース ビュー
新しいテーブルを使用する
これらの統合により、新しいテーブルを使用することができます。
新しいテーブルで使用する既定のクエリ
ログ クエリ エディターで、テーブルの一覧の上にある [クエリ] への切り替えを設定します。 [リソースの種類] 別にクエリをグループ化し、 [HDInsight クラスター] 以外のリソースの種類に対してフィルターが設定されていないことをご確認ください。 次の図は、 [リソースの種類] 別にグループ化され、 [HDInsight クラスター] に対してフィルター処理された場合の結果の外観を示しています。 いずれか 1 つを選択すると、ログ クエリ エディターに表示されます。 クエリに含まれているコメントを必ず読んでください。クエリを正常に実行するために、クラスター名などの情報を入力しなければならない場合があります。
独自のクエリを作成する
ログ クエリ エディターで独自のクエリを入力できます。 古いテーブルで使用されるクエリは、新しいテーブルでは有効になりません。新しいテーブルの多くには、改良された新しいスキーマが含まれるためです。 新しいテーブルでクエリを構成するときに、既定のクエリを参照すると役立ちます。
洞察
分析情報は、Azure ブックを使用して作成されたクラスター固有の視覚エフェクト ダッシュボードです。 これらのダッシュボードを使用すると、クラスターがどのように実行されているかを示す詳細なグラフや視覚エフェクトが得られます。 これらのダッシュボードには、クラスターの種類、YARN、システム メトリック、およびコンポーネント ログごとにセクションがあります。 クラスターのダッシュボードにアクセスするには、ポータルでクラスターのページにアクセスし、 [監視] セクションまで下にスクロールして、 [分析情報] ウィンドウを選択します。 新しい統合を有効にした場合、ダッシュボードは自動的に読み込まれます。 ログのクエリを実行すると、グラフが読み込まれるまで数秒かかります。
カスタム Azure ブック
カスタムのグラフと視覚エフェクトを使用して、独自の Azure ブックを作成できます。 クラスターのポータル ページで、 [監視] セクションまで下にスクロールし、左側のメニューで [ブック] ウィンドウを選択します。 空のテンプレートを使用するか、 [HDInsight クラスター] セクションのいずれかのテンプレートを使用することができます。 クラスターの種類ごとにテンプレートがあります。 テンプレートは、既定の HDInsight 分析情報では提供されない特定のカスタマイズを保存する場合に便利です。 必要なものがないと思われる場合は、HDInsight 分析情報の新機能に関する要求をお気軽に送信してください。
警告
ログ クエリ エディターで、クラスターおよびワークスペースにカスタム アラートを追加できます。 クラスターまたはワークスペース ポータルから [ログ] ウィンドウを選択して、ログ クエリ エディターにアクセスします。 次のスクリーンショットに示すように、クエリを実行し、 [新しいアラート ルール] を選択します。 詳細については、アラートの構成に関するページを参照してください。
新しい Azure Monitor 統合に移行する
クラシック Azure Monitor 統合を使用している場合は、新しい Azure Monitor 統合に切り替えた後に、新しいテーブル形式に対していくつかの調整を行う必要があります。
新しい Azure Monitor 統合を有効にするには、「新しい Azure Monitor 統合をアクティブ化する」セクションで説明されている手順に従います。
Log Analytics でクエリを実行する
新しいテーブル形式は前の形式とは異なるため、新しいテーブルを使用できるようにクエリを変更する必要があります。 新しい Azure Monitor 統合を有効にすると、テーブルとスキーマを参照して、古いクエリで使用されているフィールドを特定できます。
ダッシュボードとクエリの移行に必要な新しいフィールドを簡単に見つけることができるように、古いテーブルから新しいテーブルへのマッピング テーブルが提供されています。
既定のクエリ: 一般的な状況で新しいテーブルを使用する方法を示す既定のクエリが作成されています。 既定のクエリでは、各テーブルで使用できる情報も表示されます。 既定のクエリにアクセスするには、この記事の「新しいテーブルで使用する既定のクエリ」セクションの手順に従ってください。
HDInsight クラスターのダッシュボードを更新する
HDInsight クラスターを監視するために複数のダッシュボードを作成した場合は、新しい Azure Monitor 統合を有効にした後、テーブルの背後にあるクエリを調整する必要があります。 新しい統合ではテーブル名またはフィールド名が変更される可能性がありますが、以前の統合に含まれるすべての情報が含まれています。
ダッシュボードの背後にあるクエリを更新するには、古いテーブルまたはスキーマから新しいテーブルまたはスキーマへのマッピング テーブルを参照してください。
既定のダッシュボード
また、既定のダッシュボードがクラスターレベルで改善されました。 各グラフの右上には、情報を生成する基になるクエリを表示するためのボタンがあります。 グラフにより、新しいテーブルに対して効果的にクエリを実行する方法を理解することができます。
移行を加速させるために両方の統合を有効にする
新しい Azure Monitor 統合に迅速に移行するために、両方の統合の対象となるクラスターで、クラシックと新しい Azure Monitor 統合の両方を同時にアクティブ化することができます。 新しい統合は、2020 年 9 月中旬以降に作成されたすべてのクラスターで使用できます。
これにより、使用しているクエリの並列比較を簡単に行うことができます。
クラシック統合を有効にする
2020 年 9 月中旬以降に作成されたクラスターを使用している場合は、クラスターのポータルに新しいポータル エクスペリエンスが表示されます。 新しいパイプラインを有効にするには、「新しい Azure Monitor 統合をアクティブ化する」セクションで説明されている手順に従います。 このクラスターでクラシック統合をアクティブ化するには、クラスターのポータル ページにアクセスします。 クラスター ポータル ページの左側にあるメニューの [監視] セクションで、 [Monitor integration](Monitor 統合) ウィンドウを選択します。 [Configure Azure Monitor for HDInsight clusters integration (classic)](HDInsight クラスター統合 (クラシック) 用に Azure Monitor を構成する) を選択します。 サイド コンテキストが表示され、クラシック Azure 監視統合を有効または無効にすることができます。
注意
クラスター ポータルのログと分析情報のページでは、クラシック統合のログやメトリックは表示されません。 これらの場所には、新しい統合のログとメトリックのみが表示されます。
2023 年 1 月 1 日以降、クラシック Azure Monitor 統合を使用して新しいクラスターは作成できません。
リリースとサポートのタイムライン
- 2021 年 10 月 15 日以降、クラシック Azure Monitoring 統合は利用できなくなります。 その日付以降は、クラシック Azure 監視統合を有効にできません。
- クラシック Azure Monitoring 統合インジェストは、2024 年 8 月 31 日以降は機能しなくなります。
- Azure Monitor 統合 (プレビュー) を使用する HDInsight クラスターは、2025 年 2 月 1 日以降はサポートされません。
- 既存の Azure Monitor 統合 (プレビュー) は、2025 年 1 月 31 日まで引き続き機能します。 Azure Monitor 統合 (プレビュー) では制限付きサポートとなります。
- ソリューションにイメージの変更が必要な場合、顧客は新しい統合に移行する必要があります。
- Microsoft は、重大なセキュリティ問題を除き、Azure Monitor 統合 (プレビュー) クラスターにパッチを適用しません。
付録: テーブル マッピング
クラシック Azure Monitor 統合から新しいものへのログ テーブル マッピングについては、ログ テーブル マッピングに関する記事を参照してください。