什麼是 Azure 資料總管?
Azure 資料總管 (ADX) 是一個完全受控的高效能巨量資料分析平台,可讓您輕易且近乎即時地分析大量資料。 Azure 資料總管工具箱提供了資料擷取、查詢、視覺效果及管理的端對端解決方案。
藉由在時間序列中分析結構化、半結構化和非結構化資料,以及使用機器學習,Azure 資料總管可讓您輕鬆地擷取重要的深入解析、找出模式和趨勢,以及建立預測模型。 Azure 數據總管會使用傳統關係型模型,將數據組織成具有強型別架構的數據表。 數據表會儲存在資料庫內,而叢集可以管理多個資料庫。 Azure Data Explorer 是可擴充、安全、穩健且符合企業需求的功能,可運用在 Log Analytics、時間序列分析、IoT 和一般用途的探索分析。
Azure 資料總管功能是由建置在其查詢語言之上的其他服務所延伸:Kusto 查詢語言 (KQL) 。 這些服務包括 Azure 監視器記錄、Application Insights、時間序列深入解析和 適用於端點的 Microsoft Defender。
何時應該使用 Azure 數據總管?
使用下列問題來協助判斷 Azure 數據總管是否適合您的使用案例:
- 互動式分析:互動式分析是解決方案的一部分嗎? 例如,匯總、相互關聯或異常偵測。
- 多樣性、速度、磁碟區:您的架構是否多樣化? 您需要近乎即時地內嵌大量數據嗎?
- 數據組織:您要分析原始資料嗎? 例如,不是完全策劃的星型架構。
- 查詢並行:多個用戶或進程是否會使用 Azure 數據總管?
- 建置與購買:您打算自定義數據平臺嗎?
Azure 資料總管非常適合透過高速、多樣化的原始數據來啟用互動式分析功能。 使用下列判定樹來協助您判斷 Azure 資料總管是否適合您:
Azure 數據總管的獨特之處為何?
資料的速度、多樣性和數量
透過 Azure 資料總管,您可以透過佇列擷取或串流擷取,以分鐘為單位內嵌數 TB 的數據。 您可以查詢數 PB 的數據,並在毫秒到秒內傳回的結果。 Azure 數據總管提供高速(每秒數百萬個事件)、低延遲(秒),以及原始數據的線性規模擷取。 以不同的格式和結構擷取您的數據,從各種管線和來源流動。
使用者易用的查詢語言
使用 Kusto 查詢語言 (KQL)查詢 Azure 數據總管,這是小組最初發明的開放原始碼語言。 此語言很容易了解、學習,且具高度生產力。 您可以使用簡單的運算子和進階分析。 Azure 數據總管也支援 T-SQL。
進階分析
使用 Azure 數據總管進行時間序列分析與一組大型函式,包括:新增和減去時間序列、篩選、回歸、季節性偵測、地理空間分析、異常偵測、掃描和預測。 時間序列函式經過最佳化,可在幾秒內處理數千個時間序列。 使用可診斷異常及執行根本原因分析的叢集外掛程式,可輕鬆地進行模式偵測。 您也可以在 KQL 查詢中內嵌 Python 程式代碼,以擴充 Azure 數據總管功能。
易於使用的精靈
取得 數據體驗 可讓數據擷取程式變得簡單、快速且直覺。 Azure 數據總 管 Web UI 提供直覺式且引導式的體驗,可協助您快速開始內嵌數據、建立資料庫數據表和對應結構。 它可以從各種來源和各種數據格式啟用一次或連續擷取。 資料表對應和結構描述是自動建議的,很容易修改。
多樣化的資料視覺效果
資料視覺效果可協助您深入了解重要資訊。 Azure 數據總管提供現成可用的內建視覺效果和 儀錶板 ,並支援各種圖表和視覺效果。 它與 Power BI 原生整合、Grafana、Kibana 和 Databricks 的原生連接器、Tableau、Sisense、Qlik 等 ODBC 支援。
自動擷取、處理和匯出
Azure 資料總管支援伺服器端的預存函式、連續擷取,以及連續匯出至 Azure Data Lake 存放區的功能。 它也支援在伺服器端擷取時間對應轉換、更新原則,以及使用具體化檢視預先計算的排程匯總。
Azure 數據總管流程
下圖顯示使用 Azure 數據總管的不同層面。
一般而言,當您與 Azure 數據總管互動時,您將經歷下列工作流程:
建立資料庫: 建立 叢集,然後在該叢集中 建立一或多個 資料庫 。 每個 Azure 資料總管叢集最多可保存 10,000 個資料庫,而每個資料庫最多可保存 10,000 個資料表。 每個資料表中的資料會儲存在資料分區中,也稱為「範圍」。 所有資料都會自動編製索引,並根據擷取時間進行資料分割。 這表示您可以儲存許多不同的資料,而且由於儲存的方式,您可以快速存取查詢。 快速入門:建立 Azure 數據總管叢集和資料庫
擷取數據: 將數據載入資料庫數據表,以便您可以對它執行查詢。 Azure 數據總管支持數 個擷取方法,每個方法都有自己的目標案例。 這些方法包括擷取工具、連接器和外掛程式到各種服務、受控管線、使用 SDK 以程式設計方式擷取,以及直接存取擷取。 開始使用取得數據體驗。
查詢資料庫:Azure 數據總管會使用 Kusto 查詢語言,這是一種表達、直覺且具生產力的查詢語言。 它可讓您從簡單的單一命令列順暢轉換為複雜的資料處理指令碼,並支援查詢結構化、半結構化和非結構化 (文字搜尋) 資料。 語言中有各種不同的查詢語言運算符和函式(匯總、篩選、 時間序列函式、 地理空間函式、 聯結、 聯集等等)。 KQL 支援 跨叢集和跨資料庫查詢,而且具有豐富的剖析功能(json、XML 等等) 觀點。 語言也原生支援進階分析。
使用 Web 應用程式來執行、檢閱及共用查詢和結果。 您也可以以程式設計方式傳送查詢(使用 SDK)或 REST API 端點。 如果您熟悉 SQL,請開始使用 SQL 至 Kusto 速查表。 快速入門:在 Azure 數據總管 Web UI 中查詢數據
將結果可視化: 使用原生 Azure 數據 總管儀錶板中數據的不同視覺效果顯示。 您也可以使用連接器將結果顯示至某些 領先的視覺效果服務,例如 Power BI 和 Grafana。 Azure 數據總管也支援 Tableau 和 Sisense 等工具的 ODBC 和 JDBC 連接器。
如何提供意見反應
我們很高興聽到您對 Azure 數據總管和 Kusto 查詢語言 的意見反應: