Omvandlingar av datainsamling i Azure Monitor
Med transformeringar i Azure Monitor kan du filtrera eller ändra inkommande data innan de skickas till en Log Analytics-arbetsyta. Den här artikeln innehåller en grundläggande beskrivning av transformeringar och hur de implementeras. Den innehåller länkar till annat innehåll för att skapa en transformering.
Transformeringar utförs i Azure Monitor i datainmatningspipelinen när datakällan levererar data och innan de skickas till målet. Datakällan kan utföra sin egen filtrering innan data skickas, men förlitar sig sedan på omvandlingen för ytterligare manipulering innan den skickas till målet.
Transformeringar definieras i en datainsamlingsregel (DCR) och använder en KQL-instruktion (Kusto-frågespråk) som tillämpas individuellt på varje post i inkommande data. Den måste förstå formatet på inkommande data och skapa utdata i den struktur som förväntas av målet.
Följande diagram illustrerar omvandlingsprocessen för inkommande data och visar en exempelfråga som kan användas. Mer information om hur du skapar transformeringsfrågor finns i Struktur för omvandling i Azure Monitor .
Varför du ska använda transformeringar
I följande tabell beskrivs de olika mål som du kan uppnå med hjälp av transformeringar.
| Kategori | Information |
|---|---|
| Ta bort känsliga data | Du kanske har en datakälla som skickar information som du inte vill lagra av sekretess- eller tillförlitlighetsskäl. Filtrera känslig information. Filtrera bort hela rader eller vissa kolumner som innehåller känslig information. Fördunkla känslig information. Ersätt information som siffror i en IP-adress eller ett telefonnummer med ett gemensamt tecken. Skicka till en alternativ tabell. Skicka känsliga poster till en alternativ tabell med olika rollbaserad konfiguration av åtkomstkontroll. |
| Utöka data med mer eller beräknad information | Använd en transformering för att lägga till information till data som tillhandahåller affärskontext eller förenklar frågor mot data senare. Lägg till en kolumn med mer information. Du kan till exempel lägga till en kolumn som identifierar om en IP-adress i en annan kolumn är intern eller extern. Lägg till affärsspecifik information. Du kan till exempel lägga till en kolumn som anger en företagsdivision baserat på platsinformation i andra kolumner. |
| Minska datakostnader | Eftersom du debiteras inmatningskostnad för data som skickas till en Log Analytics-arbetsyta vill du filtrera bort alla data som du inte behöver för att minska kostnaderna. Ta bort hela rader. Du kan till exempel ha en diagnostikinställning för att samla in resursloggar från en viss resurs men inte kräva alla loggposter som genereras. Skapa en transformering som filtrerar bort poster som matchar ett visst villkor. Ta bort en kolumn från varje rad. Dina data kan till exempel innehålla kolumner med data som är redundanta eller har minimalt värde. Skapa en transformering som filtrerar bort kolumner som inte krävs. Parsa viktiga data från en kolumn. Du kan ha en tabell med värdefulla data begravda i en viss kolumn. Använd en transformering för att parsa värdefulla data till en ny kolumn och ta bort originalet. Skicka vissa rader till grundläggande loggar. Skicka rader i dina data som kräver grundläggande frågefunktioner till grundläggande loggtabeller för en lägre inmatningskostnad. |
| Formatera data för målet | Du kan ha en datakälla som skickar data i ett format som inte matchar måltabellens struktur. Använd en transformering för att formatera om data till det obligatoriska schemat. |
Tabeller som stöds
Se Tabeller som stöder transformeringar i Azure Monitor-loggar för en lista över de tabeller som kan användas med transformeringar. Du kan också använda Azure Monitor-datareferensen som visar attributen för varje tabell, inklusive om den stöder transformeringar. Förutom dessa tabeller stöds även anpassade tabeller (suffix för _CL).
- Alla Azure-tabeller som anges i Tabeller som stöder transformeringar i Azure Monitor-loggar. Du kan också använda Azure Monitor-datareferensen som visar attributen för varje tabell, inklusive om den stöder transformeringar.
- Alla anpassade tabeller som skapats för Azure Monitor-agenten. (Anpassad MMA-tabell kan inte använda transformeringar)
Skapa en transformering
Det finns flera metoder för att skapa transformeringar beroende på datainsamlingsmetoden. I följande tabell visas vägledning för olika metoder för att skapa transformeringar.
| Datainsamling | Referens |
|---|---|
| Loggar inmatnings-API | Skicka data till Azure Monitor-loggar med hjälp av REST API (Azure Portal) Skicka data till Azure Monitor-loggar med hjälp av REST API (Azure Resource Manager-mallar) |
| Virtuell dator med Azure Monitor-agent | Lägga till transformering i Azure Monitor-loggen |
| Kubernetes-kluster med containerinsikter | Datatransformeringar i Container Insights |
| Azure Event Hubs | Självstudie: Mata in händelser från Azure Event Hubs i Azure Monitor-loggar (offentlig förhandsversion) |
Kostnad för transformeringar
Även om själva omvandlingarna inte medför direkta kostnader kan följande scenarier resultera i ytterligare avgifter:
- Om en transformering ökar storleken på inkommande data, till exempel genom att lägga till en beräknad kolumn, debiteras du standardinmatningshastigheten för extra data.
- Om en transformering minskar inmatade data med mer än 50 % debiteras du för mängden filtrerade data över 50 %.
Använd följande formel för att beräkna databearbetningsavgiften till följd av transformeringar:
[GB filtreras bort av transformeringar] – ([GB-data som matas in av pipeline] / 2). Följande tabell visar exempel.
| Data som matas in av pipeline | Data som släppts av transformering | Data som matas in av Log Analytics-arbetsytan | Avgift för databearbetning | Inmatningsavgift |
|---|---|---|---|---|
| 20 GB | 12 GB | 8 GB | 2 GB 1 | 8 GB |
| 20 GB | 8 GB | 12 GB | 0 GB | 12 GB |
1 Den här avgiften exkluderar avgiften för data som matas in av Log Analytics-arbetsytan.
För att undvika den här avgiften bör du filtrera inmatade data med hjälp av alternativa metoder innan du tillämpar transformeringar. På så sätt kan du minska mängden data som bearbetas av transformeringar och därmed minimera eventuella ytterligare kostnader.
Se Priser för Azure Monitor för aktuella avgifter för inmatning och kvarhållning av loggdata i Azure Monitor.
Viktigt!
Om Azure Sentinel är aktiverat för Log Analytics-arbetsytan finns det ingen avgift för filtreringsinmatning oavsett hur mycket data transformeringsfiltren filtrerar.