Kurz: Transformace textových protokolů během příjmu dat v protokolech služby Azure Monitor

Transformace v době příjmu dat umožňují filtrovat nebo upravovat příchozí data před jejich uložením v pracovním prostoru služby Log Analytics. Tento článek vysvětluje, jak napsat dotaz KQL, který transformuje data textového protokolu a přidá transformaci do pravidla shromažďování dat.

Postup popsaný tady předpokládá, že jste už ingestovali nějaká data z textového souboru, jak je popsáno v tématu Shromažďování textových protokolů pomocí agenta Azure Monitoru. V tomto kurzu:

1. Napište dotaz KQL pro transformaci přijatých dat.
2. Upravte schéma cílové tabulky.
3. Přidejte transformaci do pravidla shromažďování dat.
4. Ověřte, že transformace funguje správně.

Požadavky

K dokončení tohoto postupu potřebujete:

• Pracovní prostor služby Log Analytics, kde máte alespoň práva přispěvatele.
• Pravidlo shromažďování dat, koncový bod shromažďování dat a vlastní tabulka, jak je popsáno v tématu Shromažďování textových protokolů pomocí agenta služby Azure Monitor.
• Virtuální počítač, škálovací sada virtuálních počítačů nebo místní server s podporou arc, který zapisuje protokoly do textového souboru. Požadavky na textový soubor:
  • Uložte ho na místní disk počítače, na kterém běží agent Azure Monitoru.
  • Delineujte koncem řádku.
  • Použijte kódování ASCII nebo UTF-8. Jiné formáty, jako je UTF-16, se nepodporují.
  • Nepovolujte kruhové protokolování, obměně protokolu, kde se soubor přepíše novými položkami, nebo přejmenování, kam se soubor přesune, a otevře se nový soubor se stejným názvem.

Zápis dotazu KQL pro transformaci přijatých dat

1. Zobrazení dat v cílové vlastní tabulce v Log Analytics:

   1. Na webu Azure Portal vyberte pracovní prostory služby Log Analytics, které protokoly> pracovního prostoru >služby Log Analytics obsahují.
   2. Spuštěním základního dotazu v tabulce vlastních protokolů zobrazte data tabulky.

2. Pomocí okna dotazu můžete napsat a otestovat dotaz, který transformuje nezpracovaná data v tabulce.

   Informace o operátorech KQL, které transformace podporují, najdete v tématu Struktura transformace ve službě Azure Monitor.

   Poznámka:

   Jedinými sloupci, které jsou k dispozici pro použití transformací, jsou TimeGenerated a RawData. Další sloupce se do tabulky přidají automaticky po transformaci a nejsou v době transformace k dispozici. Sloupec _ResourceId nelze použít v transformaci.

   Příklad

   Ukázka používá základní operátory KQL k analýze dat ve RawData sloupci do tří nových sloupců s názvem Time Ingested, RecordNumbera RandomContent:

   • Operátor extend přidá nové sloupce.
   • Operátor project formátuje výstup tak, aby odpovídal sloupcům schématu cílové tabulky:

   MyTable_CL
   | extend d=todynamic(RawData)  
   | project TimeGenerated,TimeIngested=tostring(d.Time), 
   RecordNumber=tostring(d.RecordNumber), 
   RandomContent=tostring(d.RandomContent), 
   RawData 
   

   Poznámka:

   Dotazování na data tabulky tímto způsobem neupravuje data v tabulce. Azure Monitor použije transformaci v kanálu příjmu dat po přidání transformačního dotazu do pravidla shromažďování dat.

3. Naformátujte dotaz na jeden řádek a nahraďte název tabulky v prvním řádku dotazu slovem source.

   Příklad:

   source | extend d=todynamic(RawData) | project TimeGenerated,TimeIngested=tostring(d.Time),RecordNumber=tostring(d.RecordNumber), RandomContent=tostring(d.RandomContent), RawData 
   

4. Zkopírujte formátovaný dotaz, abyste ho mohli vložit do konfigurace pravidla shromažďování dat.

Úprava vlastní tabulky tak, aby zahrnovala nové sloupce

Přidejte nebo odstraňte sloupce ve vlastní tabulce na základě transformačního dotazu.

Výše uvedený ukázkový transformační dotaz přidá tři nové sloupce typu string:

• TimeIngested
• RecordNumber
• RandomContent

Pokud chcete tuto transformaci podporovat, přidejte tyto tři nové sloupce do vlastní tabulky.

Použití transformace na pravidlo shromažďování dat

1. V nabídce Monitorování vyberte Pravidla> shromažďování dat pravidla shromažďování dat.

2. Vyberte Zdroje> dat, které zdroj dat máte.

3. Vložte formátovaný transformační dotaz do pole Transformace na kartě Zdroj dat na obrazovce Přidat zdroj dat.

4. Zvolte Uložit.

   

Zkontrolujte, jestli transformace funguje.

Prohlédněte si data v cílové vlastní tabulce a zkontrolujte, jestli se data správně ingestují do upravené tabulky:

1. Na webu Azure Portal vyberte pracovní prostory služby Log Analytics, které protokoly> pracovního prostoru >služby Log Analytics obsahují.
2. Spuštěním základního dotazu v tabulce vlastních protokolů zobrazte data tabulky.

Další kroky

Přečtěte si další informace:

• Transformace shromažďování dat
• Pravidla shromažďování dat.
• Koncové body shromažďování dat