Azure 資料總管的運作方式

  • 10 分鐘

在此單元中，我們會探討系統的主要元件，以查看 Azure 資料總管在幕後的運作方式。 然後，您將透過探索常見工作流程來了解如何與服務互動：

  • 資料擷取
  • Kusto 查詢語言
  • 資料視覺效果

這些知識可協助您判斷 Azure 資料總管是否適合您的資料需求。

此影像顯示 Azure 資料總管的架構和進出服務的資料連線。

主要元件

Azure 資料總管叢集會執行各項工作來擷取、處理及查詢您的資料。 叢集會根據您的需求自動調整。 Azure 資料總管也會將資料儲存在 Azure 儲存體，並將其中部分資料快取到叢集計算節點上，以達到最佳查詢效能。

Azure 資料總管叢集中的內容為何？

每個 Azure 資料總管叢集最多可保存 10,000 個資料庫，而每個資料庫最多可保存 10,000 個資料表。 每個資料表中的資料會儲存在資料分區中，也稱為 [範圍]。 所有資料都會自動編製索引，並根據擷取時間進行資料分割。 與關聯式資料庫不同的是，沒有主要外部索引鍵條件約束或任何其他條件約束 (例如唯一性)。 此設計表示您可以儲存大量的不同資料。 而且因為這個儲存方式，您可以快速進行查詢。

資料庫的邏輯結構類似於許多其他關聯式資料庫。 Azure 資料總管資料庫可包含：

  • 資料表：由一組資料行組成。 每個資料行具有九種不同資料類型的其中一種。
  • 外部資料表：基礎儲存體在其他位置 (例如 Azure Data Lake) 的資料表。

了解一般工作流程

一般來說，當您與 Azure 資料總管互動時，會經歷以下工作流程：首先，內嵌資料以在系統中取得資料。 然後，分析您的資料。 接下來，以視覺化方式呈現分析的結果。 您隨時都可以與資料管理功能互動。 這項 Azure 資料總管工作可透過與叢集的互動來完成。 您可以在 Web UI 中或使用 SDK 來存取這些資源。

如何將我的資料放入 Azure 資料總管中？

資料擷取是一個程序，用於從一或多個來源將資料記錄載入 Azure 資料總管中的資料表。 進一步的資料操作包括比對結構描述、組織、編製索引、編碼以及壓縮資料。 然後，資料管理員會將資料擷取認可至引擎，以供查詢。

除了原生 Web UI 精靈之外，還有各種可用的擷取工具。 包括受控管線、事件方格、IoT 中樞 和 Azure Data Factory。 您可以使用連接器和外掛程式，例如 Logstash 外掛程式、Kafka 連接器、Power Automate 和 Apache Spark 連接器。 您也可以使用 SDK 或 LightIngest 進行程式設計擷取。

您可以用兩種模式來擷取資料：批次或串流。 批次擷取最適合用於高擷取輸送量和快速查詢結果。 串流擷取可讓您以近乎即時的延遲來處理每個資料表的小型資料集。

如何分析我的資料？

Azure 資料總管會使用專屬的 Kusto 查詢語言 (KQL) 來分析資料。 它廣泛用於 Microsoft (Azure 監視器 - Log Analytics 和 Application Insights、Microsoft Sentinel 和 Microsoft Defender XDR)。 KQL 最適用於快速流動、多樣化、巨量資料探索。 查詢會參考資料表、檢視、函式和任何其他表格式運算式。 包含不同資料庫或甚至叢集中的資料表。 您可以使用 Web UI、各種查詢工具，或其中一個 Azure 資料總管 SDK 來執行查詢。

Kusto 查詢語言的運作方式為何？

Kusto 查詢語言是一種具表達性、直覺性和高生產力的查詢語言。 它可讓您從簡單的單一命令列順暢轉換為複雜的資料處理指令碼，並支援查詢結構化、半結構化和非結構化 (文字搜尋) 資料。 此語言中有多種查詢語言運算子和函式 (彙總、篩選、時間序列函式、地理空間函式、聯結、聯集等等)。 KQL 支援跨叢集和跨資料庫查詢，且在剖析方面有豐富的功能 (json、XML 等 )。 此外，此語言原本就支援進階分析。

如何顯示我的查詢結果？

Azure 資料總管 Web UI 是以巨量資料為考量而設計的，旨在讓您執行查詢和建置儀表板。 它支援顯示最多 50 萬筆記錄和數千個資料行。 其具備高度擴充性和豐富的功能，可協助您從資料中快速獲取見解。 您也可以在 Azure 資料總管儀表板中使用不同的視覺效果顯示資料。 您也可以使用目前一些頂尖視覺效果服務的原生連接器來顯示結果，例如 Power BI 與 Grafana。 Azure 資料總管也具有對 Tableau 和 Qlik 等工具的 ODBC 和 JDBC 連接器支援。

如何管理我的資料?

系統管理員想要在其 Azure 資料總管叢集上執行各種維護和原則工作，而 Control 命令可讓他們執行此動作。 使用 Control 命令，他們可以建立新的叢集或資料庫、建立資料連線、執行自動調整，以及調整叢集設定。 它們也可以控制及修改實體、中繼資料物件、管理權限和安全性原則。 此外，這些使用者可以修改具體化檢視 (其他資料表持續更新的篩選檢視)、函式 (預存函式和使用者定義函式)，以及更新原則 (觸發下列擷取的函式)。

控制命令可使用 WebUI、Azure 入口網站、各種查詢工具，或 Azure 資料總管 SDK 之一直接在引擎上執行。