使用 Azure HDInsight 大數據技術來進行 Azure WebSites 網站及其他紀錄檔分析 ( Log Analysis )

在使用大數據（Big Data）的實際應用場景中，記錄檔是一個很重要的資料來源。相比其他資料來源，記錄資訊總在源源不斷的產生中，不論是系統或代碼中設定好的觸發/生成機制，還是系統（例如 Web Server、Database Server等）配置自動生成的記錄，甚至包括了系統或應用執行發生異常或錯誤的情況，例如，SQL Server Azure VM上AlwaysOn高可用（HA）方案的運行狀態相關的記錄。

而記錄檔裡所潛藏的價值也正被大數據技術所挖掘，透過對於記錄檔一些基礎資料的統計、挖掘及分析，可以進一步獲得很多非常有用的資訊，例如，對網站記錄的分析，可以獲得頁面的點擊的情況、外部訪問的情況、用戶端/服務端錯誤的情況等，從而進一步分析網頁運行的流暢度、使用率分佈、訪問者行為等。

在 Azure 中提供了 HDInsight 雲端服務來説明大家進行大數據開發工作，可以把相關資料檔案存儲在 Azure Storage 中，然後利用 HDinsight 節點來對這些資料進行分析。

在 Azure HDInsight 的查詢控制台（Query Console）中，最近提供了一些輔助性的解決方案，其中就包括了如何快速、簡捷地建立記錄檔分析的應用。如下圖可在 HDInsight 服務頁面的底部進入查詢控制台：

在查詢控制台可以看到一些解決方案的樣例，就包括了對 Azure WebSites 記錄檔分析的解決方案，見下圖：

在搭建和運行 Azure WebSites 網站時，需要對記錄選項進行配置，確保可以根據需要保留網站的運行記錄資訊，如下圖：

在查詢控制台的記錄分析解決方案中，提供了 step-by-step 的執行嚮導，並提供了詳細的解釋資訊，便於大家瞭解其中相關的技術細節。如下圖：

其中，關鍵步驟包括了基於記錄檔的資料結構，建立 Hive 的表及分區，如下圖，解決方案中列出了具體建立過程的語句：

解決方案提供了一些常見的分析，並提供了樣例程式，可以基於這些代碼進行修改，滿足自己的需要。

執行結果可以通過 Excel 來展現，並可以利用大家熟悉的工具，例如 PivotChart，來做進一步分析。

此外，還可以通過查詢控制台，查看任務的輸出及執行的Log。

  本文原始發布於 使用 Azure HDInsight 大数据技术来进行 Azure WebSites 网站及其他日志文件分析 (Log Analysis)

Comments

• Anonymous
  May 18, 2015
  在使用大數據（Big Data）的實際應用場景中，記錄檔是一個很重要的資料來源。相比其他資料來源，記錄資訊總在源源不斷的產生中，不論是系統或代碼中設定好的觸發/生成機制，還是系統（例如 Web Server
• Anonymous
  June 29, 2015
  The comment has been removed