啟用對 HDInsight 作業的監視。
資料工程師和 IT 系統管理員都會對監視 HDInsight 叢集感到興趣,這使他們可以監視叢集的下列區域:
- 叢集健康情況和可用性
- 資源使用率和效能
- 工作負載資訊和記錄
IT 系統管理員將會使用監視來檢視叢集健康情況和可用性,以及監視叢集的安全性。 資料工程師則會對下列項目感到興趣:
- 工作負載資訊和記錄
- 監看作業的失敗或成功
- 叢集的效能
- 使用記錄檢視工作負載
有兩個主要工具可用來進行監視:Apache Ambari 和 Azure 監視器。
Apache Ambari
此工具是用來進行開放原始碼叢集管理和監視。 它能提供具有一系列小工具的儀表板,這些小工具可讓您從叢集和節點層級的硬體角度檢視 HDInsight 叢集的健康情況。 儀表板可從 Azure 入口網站中 HDInsight叢集的 [概觀] 畫面存取。
Apache Ambari 會在網頁瀏覽器中開啟,其中會提供監視工具的儀表板。
Apache Ambari 有許多區域對於 IT 系統管理員和資料工程師來說都很有用。 初始儀表板很適合 IT 系統管理員用來即時監視叢集健康情況。 還有其他區域 (例如 YARN 畫面) 可讓資料工程師檢視佇列容量、作業及相關記錄,以監視叢集上的工作負載。 此外,警示功能可讓您識別故障的元件,以讓您可以主動支援叢集。
監視
Azure 監視器是全面適用於 Azure 的監視工具,並可用於 HDInsight 叢集以監視您服務的健康情況。 Azure 監視器的個別層面會直接在 Azure 入口網站中公開:
警示
警示是可用來主動監視 Azure 中資源,並作為條件採取動作的實用工具。 警示可以針對指定資源 (例如 HDInsight 叢集) 設定,以決定觸發警示之條件的閾值。 可以包含的其中一個條件是「自動調整已啟用」。 此條件可以是 true 或 false。 取決於條件的定義方式,可支援從傳送電子郵件到重新啟動服務的動作。
計量
Azure 監視器的計量元件可讓您針對自己想要監視的內容設定特定的視覺效果圖表。 使用視覺效果圖表可讓您檢視、測量及相互關聯資料點,以協助判斷服務是否在可接受的範圍內執行。 HDInsight 計量包含「閘道要求」以查看叢集上的負載,以及使用中背景工作角色的數目,這可讓您留意 HDInsight 叢集的叢集大小
診斷設定
這些設定可讓您選取目標 (可以是儲存體帳戶、事件中樞服務或記錄分析帳戶) 以接收關於您所啟用之服務的診斷資料。 系統會將記錄傳送到您所選的目標,這能讓您記錄一段時間的服務活動,並於稍後分析。 這些設定只應該在您想要對服務進行深入分析的情況下設定。
Azure 監視器
有針對 Azure 監視器的直接連結,讓您可以使用 Azure 監視器所提供的完整功能。
資源健康情況
此儀表板是 Azure 中所有服務的標準儀表板,它可讓您檢視 HDInsight 服務任何一天的健康情況。 此區域並不會提供任何通知,您必須自行調查此內容。 資源健康情況可為您提供健康情況資訊的概觀。