Azure 監視器中的資料收集轉換
透過 Azure 監視器中的轉換,您可以篩選或修改傳入資料,再將其傳送至 Log Analytics 工作區。 本文提供轉換的基本描述及其實作方式。 其提供其他內容的連結,用於建立轉換。
在資料來源傳遞資料之前,以及傳送至目的地之前,轉換會在資料擷取管線的 Azure 監視器中執行。 資料來源可能會在傳送資料之前執行自己的篩選,但其會依賴於轉換來進一步操作,再傳送至目的地。
轉換會在資料收集規則 (DCR) 中定義,並使用個別套用至傳入資料中每個項目的 Kusto 查詢語言 (KQL) 陳述式。 其必須了解傳入資料的格式,並以目的地預期的結構建立輸出。
下圖說明傳入資料的轉換程序,並顯示可能使用的範例查詢。 如需建置轉換查詢的詳細資訊,請參閱 Azure 監視器中轉換的結構。
為何使用轉換
下表描述您可以使用轉換達成的不同目標。
類別 | 詳細資料 |
---|---|
保護敏感性資料 | 您可能有一個資料來源,其會傳送您基於隱私權或合規性理由而不想儲存的資訊。 篩選敏感性資訊。 篩選掉整個資料列或包含敏感性資訊的特定資料行。 混淆敏感性資訊。 以一般字元取代 IP 位址或電話號碼中的數字等資訊。 傳送至替代資料表。 將敏感性記錄傳送至具有不同角色型存取控制設定的替代資料表。 |
使用更多或計算資訊擴充資料 | 使用轉換將資訊新增至提供商務內容或簡化後續查詢資料的資料。 新增具有更多資訊的資料行。 例如,您可以新增資料行,以識別另一個資料行中的 IP 位址是內部或外部。 新增商務特定資訊。 例如,您可以新增資料行,指出基於其他資料行中的位置資訊的公司部門。 |
降低資料成本 | 由於您需對傳送至 Log Analytics 工作區的任何資料的擷取成本付費,您想要篩選掉不需要的任何資料來降低成本。 移除整個資料列。 例如,可能有診斷設定可從特定資源中收集資源記錄,但不需要其產生的所有記錄項目。 建立轉換來篩選出符合特定準則的記錄。 從每個資料列移除資料行。 例如,您的資料可能包含具有多餘或很少值的資料行。 建立會篩選出不需要的資料行的轉換。 剖析資料行的重要資料。 您可能有一個資料表,其中的重要資料存放在特定資料行中。 使用轉換將重要資料剖析到新資料行,並移除原始資料。 將特定資料列傳送至基本記錄。 將資料中需要基本查詢功能的資料列傳送至基本記錄資料表,以降低擷取成本。 |
格式化目的地的資料 | 您可能有一個資料來源,其會以不符合目的地資料表結構的格式傳送資料。 使用轉換將資料重新格式化為必要的結構描述。 |
支援的資料表
如需可與轉換搭配使用的資料表清單,請參閱支援 Azure 監視器記錄中轉換的資料表。 您也可以使用 Azure 監視器資料參考,其中列出每個資料表的屬性,包括是否支援轉換。 除了這些資料表之外,也支援任何自訂資料表 (_CL 尾碼)。
- 支援 Azure 監視器記錄中轉換的資料表中所列的任何 Azure 資料表。 您也可以使用 Azure 監視器資料參考,其中列出每個資料表的屬性,包括是否支援轉換。
- 為 Azure 監視器代理程式建立的任何自訂資料表 (MMA 自訂資料表無法使用轉換)。
建立轉換
根據資料收集方法,有多個方法可建立轉換。 下表列出建立轉換的不同方法的指導。
資料集合 | 參考 |
---|---|
記錄內嵌 API | 使用 REST API 將資料傳送至 Azure 監視器記錄 (Azure 入口網站) 使用 REST API 將資料傳送至 Azure 監視器記錄 (Resource Manager 範本) |
具有 Azure 監視器代理程式的虛擬機器 | 將轉換新增至 Azure 監視器記錄 |
具有容器深入解析的 Kubernetes 叢集 | 容器見解中的資料轉換 |
Azure 事件中樞 | 教學課程:將事件從 Azure 事件中樞擷取至 Azure 監視器記錄 (公開預覽) |
轉換成本
雖然轉換本身不會產生直接成本,但下列案例可能會導致額外費用:
- 如果轉換增加傳入資料的大小 (例如透過新增計算結果欄),您將需要支付額外資料的標準擷取費率。
- 如果轉換將擷取的資料減少了一半以上,您將需要支付超過 50% 之已篩選資料量的費用。
若要計算轉換所產生的資料處理費用,請使用下列公式:
[轉換所篩選的 GB] - ([管線所擷取的 GB 資料] / 2)。 下表顯示範例。
管線所擷取的資料 | 轉換所捨棄的資料 | Log Analytics 工作區所擷取的資料 | 資料處理費用 | 擷取費用 |
---|---|---|---|---|
20 GB | 12 GB | 8 GB | 2 GB 1 | 8 GB |
20 GB | 8 GB | 12 GB | 0 GB | 12 GB |
1 此費用不包括 Log Analytics 工作區所擷取的資料費用。
若要避免這項費用,您應該先使用替代方法篩選內嵌資料,再套用轉換。 如此一來,您就可以減少轉換所處理的資料量,從而將任何額外的成本降到最低。
如需擷取和保留 Azure 監視器中記錄資料的目前費用,請參閱 Azure 監視器定價。
重要
如果已啟用 Log Analytics 工作區的 Azure Sentinel,則不論轉換篩選了多少資料,都不會有篩選擷取費用。