Transformações no Azure Monitor
As transformações no Azure Monitor permitem filtrar ou modificar dados de entrada antes de serem enviados para um espaço de trabalho do Log Analytics. As transformações são realizadas no pipeline de nuvem depois que a fonte de dados entrega os dados e antes que eles sejam enviados para o destino. Eles são definidos em uma regra de coleta de dados (DCR) e usam uma instrução KQL (Kusto Query Language) que é aplicada individualmente a cada entrada nos dados recebidos.
O diagrama a seguir ilustra o processo de transformação dos dados de entrada e mostra uma consulta de exemplo que pode ser usada. Neste exemplo, apenas os registos em que a message coluna contém a palavra error serão recolhidos.
Tabelas suportadas
As tabelas a seguir em um espaço de trabalho do Log Analytics oferecem suporte a transformações.
- Qualquer tabela do Azure listada em Tabelas que dão suporte a transformações nos Logs do Azure Monitor. Você também pode usar a referência de dados do Azure Monitor que lista os atributos de cada tabela, incluindo se ela dá suporte a transformações.
- Qualquer tabela personalizada criada para o Azure Monitor Agent.
Criar uma transformação
Há alguns cenários de coleta de dados que permitirão adicionar uma transformação usando o portal do Azure, mas a maioria dos cenários exigirá que você crie um novo DCR usando sua definição JSON ou adicione uma transformação a um DCR existente. Consulte Criar uma transformação no Azure Monitor para diferentes opções e Práticas recomendadas e exemplos para transformações no Azure Monitor para obter consultas de transformação de exemplo para cenários comuns.
DCR de transformação do espaço de trabalho
As transformações são definidas em uma regra de coleta de dados (DCR), mas ainda há coleções de dados no Azure Monitor que ainda não usam um DCR. Os exemplos incluem logs de recursos coletados por configurações de diagnóstico e dados de aplicativos coletados por insights de aplicativos.
A regra de coleta de dados de transformação do espaço de trabalho (DCR) é um DCR especial que é aplicado diretamente a um espaço de trabalho do Log Analytics. O objetivo deste DCR é realizar transformações em dados que ainda não usam um DCR para sua coleta de dados e, portanto, não tem meios para definir uma transformação.
Pode haver apenas um DCR de espaço de trabalho para cada espaço de trabalho, mas ele pode incluir transformações para qualquer número de tabelas suportadas. Essas transformações são aplicadas a quaisquer dados enviados para essas tabelas, a menos que esses dados venham de outro DCR.
Por exemplo, a tabela Evento é usada para armazenar eventos de máquinas virtuais do Windows. Se você criar uma transformação no DCR de transformação do espaço de trabalho para a tabela de eventos, ela será aplicada a eventos coletados por máquinas virtuais que executam o agente 1 do Log Analytics porque esse agente não usa um DCR. A transformação seria ignorada por quaisquer dados enviados do Azure Monitor Agent (AMA) porque ele usa um DCR para definir sua coleta de dados. Você ainda pode usar uma transformação com o agente do Azure Monitor, mas incluiria essa transformação no DCR associado ao agente e não no DCR de transformação do espaço de trabalho.
1 O agente do Log Analytics foi preterido, mas alguns ambientes ainda podem usá-lo. É apenas um exemplo de uma fonte de dados que não usa um DCR.
Custo das transformações
Embora as transformações em si não incorram em custos diretos, os seguintes cenários podem resultar em encargos adicionais:
- Se uma transformação aumentar o tamanho dos dados recebidos, por exemplo, adicionando uma coluna calculada, será cobrada a taxa de ingestão padrão pelos dados extras.
- Se uma transformação reduzir os dados ingeridos em mais de 50%, você será cobrado pela quantidade de dados filtrados acima de 50%.
Para calcular a taxa de processamento de dados resultante de transformações, use a seguinte fórmula:
[GB filtrado por transformações] - ([GB de dados ingeridos por pipeline] / 2). A tabela a seguir mostra exemplos.
| Dados ingeridos por pipeline | Dados descartados por transformação | Dados ingeridos pelo espaço de trabalho do Log Analytics | Taxa de processamento de dados | Taxa de ingestão |
|---|---|---|---|---|
| 20 GB | 12 GB | 8 GB | 2 GB 1 | 8 GB |
| 20 GB | 8 GB | 12 GB | 0 GB | 12 GB |
1 Essa cobrança exclui a cobrança pelos dados ingeridos pelo espaço de trabalho do Log Analytics.
Para evitar essa cobrança, você deve filtrar os dados ingeridos usando métodos alternativos antes de aplicar transformações. Ao fazer isso, você pode reduzir a quantidade de dados processados por transformações e, portanto, minimizar quaisquer custos adicionais.
Consulte Preços do Azure Monitor para obter informações sobre os encargos atuais de ingestão e retenção de dados de log no Azure Monitor.
Importante
Se o Azure Sentinel estiver habilitado para o espaço de trabalho do Log Analytics, não haverá cobrança de ingestão de filtragem, independentemente da quantidade de dados filtrada pela transformação.