Regras de recolha de dados (DCRs) no Azure Monitor.
As regras de coleta de dados (DCRs) fazem parte de um processo de coleta de dados semelhante ao ETL que melhora os métodos de coleta de dados herdados para o Azure Monitor. Esse processo usa um pipeline de ingestão de dados comum para todas as fontes de dados e um método padrão de configuração que é mais gerenciável e escalável do que os métodos de coleta anteriores.
As vantagens específicas da recolha de dados baseada em DCR incluem o seguinte:
- Método consistente para configuração de diferentes fontes de dados.
- Capacidade de aplicar uma transformação para filtrar ou modificar dados de entrada antes de serem enviados para um destino.
- Opções de configuração escaláveis que suportam a infraestrutura como processos de código e DevOps.
- Opção de pipeline de borda em seu próprio ambiente para fornecer escalabilidade high-end, configurações de rede em camadas e conectividade periódica.
Visualizando DCRs
As regras de coleta de dados (DCRs) são armazenadas no Azure para que possam ser implantadas e gerenciadas centralmente como qualquer outro recurso do Azure. Eles fornecem uma maneira consistente e centralizada de definir e personalizar diferentes cenários de coleta de dados.
Exiba todos os DCRs em sua assinatura na opção Regras de Coleta de Dados do menu Monitor no portal do Azure. Independentemente do método usado para criar o DCR e os detalhes do DCR em si, todos os DCRs na assinatura são listados nesta tela.
Métodos de coleta de dados herdados substituídos
O processo de coleta de DCR substituiu ou está no processo de substituição de outros métodos de coleta de dados no Azure Monitor. A tabela a seguir lista os métodos herdados com suas substituições baseadas em DCR. Espera-se que outros métodos de coleta de dados no Azure Monitor também sejam substituídos por DCRs no futuro.
| Método herdado | Método DCR | Description |
|---|---|---|
| Agente do Log Analytics | Agente do Azure Monitor | O agente do Azure Monitor agora é usado para monitorar VMs e clusters Kubernetes com suporte a insights de VM e insights de contêiner. |
| Configurações de diagnóstico (apenas métricas) |
Exportação de métricas | As configurações de diagnóstico ainda são usadas atualmente para coletar logs de recursos dos recursos do Azure. As métricas da plataforma agora podem ser coletadas usando a exportação de métricas. |
| API do coletor de dados | API de ingestão de logs | A API de ingestão de logs é usada para enviar dados para um espaço de trabalho do Log Analytics a partir de qualquer cliente REST. Ele substitui a API do coletor de dados, que era menos segura e menos funcional. |
Pipeline do Azure Monitor
O processo de coleta de dados suportado por DCRs é baseado no pipeline do Azure Monitor, que fornece um caminho de processamento comum para dados de entrada. O pipeline de nuvem é um componente do pipeline do Azure Monitor (consulte Pipeline de borda abaixo para o outro componente) e está automaticamente disponível em sua assinatura do Azure como parte da plataforma Azure Monitor. Ele não requer nenhuma configuração e não aparece no portal do Azure.
Cada cenário de coleta de dados usando o pipeline do Azure Monitor é definido em um DCR que fornece instruções sobre como o pipeline de nuvem deve processar os dados recebidos. Dependendo do cenário, os DCRs especificarão todos ou alguns dos seguintes itens:
- Dados a serem coletados e enviados para o pipeline.
- Esquema dos dados recebidos.
- Transformações a serem aplicadas aos dados antes de serem armazenados.
- Destino para onde os dados devem ser enviados.
Usando um DCR
Há duas maneiras fundamentais pelas quais os DCRs são especificados para um cenário específico de coleta de dados, conforme descrito nas seções a seguir. Cada cenário suportará um desses métodos, mas não ambos.
Nota
Os DCRs de transformação do espaço de trabalho ficam ativos assim que são criados. Eles não usam nenhum dos métodos descritos nesta seção.
Associações de regras de coleta de dados (DCRA)
As associações de regras de coleta de dados (DCRAs) são usadas para associar um DCR a um recurso monitorado. Esta é uma relação muitos-para-muitos, onde um único DCR pode ser associado a vários recursos e um único recurso pode ser associado a vários DCRs. Isso permite que você desenvolva uma estratégia para manter seu monitoramento em conjuntos de recursos com diferentes requisitos.
Por exemplo, o diagrama a seguir ilustra a coleta de dados para o agente do Azure Monitor (AMA) em execução em uma máquina virtual. Quando o agente é instalado, ele se conecta ao Azure Monitor para recuperar quaisquer DCRs associados a ele. Nesse cenário, os DCRs especificam eventos e dados de desempenho a serem coletados, que o agente usa para determinar quais dados coletar da máquina e enviar para o Azure Monitor. Depois que os dados são entregues, o pipeline de nuvem executa qualquer transformação especificada no DCR para filtrar e modificar os dados e, em seguida, envia os dados para o espaço de trabalho e a tabela especificados.
Ingestão direta
Com a ingestão direta, um DCR específico é especificado para processar os dados recebidos. Por exemplo, o diagrama a seguir ilustra dados de um aplicativo personalizado usando a API de ingestão de logs. Cada chamada de API especifica o DCR que processará seus dados. O DCR compreende a estrutura dos dados de entrada, inclui uma transformação que garante que os dados estejam no formato da tabela de destino e especifica um espaço de trabalho e uma tabela para enviar os dados transformados.
Transformações
As transformações são consultas KQL incluídas em um DCR que são executadas em relação a cada registro enviado para o pipeline de nuvem. Eles permitem que você modifique os dados de entrada antes que eles sejam armazenados no Azure Monitor ou enviados para outro destino. Você pode filtrar dados desnecessários para reduzir os custos de ingestão, remover dados confidenciais que não devem ser persistentes no espaço de trabalho do Log Analytics ou formatar dados para garantir que correspondam ao esquema de seu destino. As transformações também permitem cenários avançados, como o envio de dados para vários destinos ou o enriquecimento de dados com informações adicionais.
Pipeline de borda
O pipeline de borda estende o pipeline do Azure Monitor para seu próprio data center. Ele permite a coleta e o roteamento em escala de dados de telemetria antes de serem entregues ao pipeline de nuvem. Ao contrário do pipeline de nuvem, o pipeline de borda é opcional e requer configuração.
Os casos de uso específicos para o pipeline de borda do Azure Monitor são:
- Escalabilidade. O pipeline de borda pode lidar com grandes volumes de dados de recursos monitorados que podem ser limitados por outros métodos de coleta, como o agente do Azure Monitor.
- Conectividade periódica. Alguns ambientes podem ter conectividade não confiável com a nuvem ou podem ter longos períodos inesperados sem conexão. O pipeline de borda pode armazenar dados em cache localmente e sincronizar com a nuvem quando a conectividade é restaurada.
- Rede em camadas. Em alguns ambientes, a rede é segmentada e os dados não podem ser enviados diretamente para a nuvem. O pipeline de borda pode ser usado para coletar dados de recursos monitorados sem acesso à nuvem e gerenciar a conexão com o Azure Monitor na nuvem.
Regiões DCR
As regras de recolha de dados estão disponíveis em todas as regiões públicas onde os espaços de trabalho do Log Analytics e as nuvens do Azure Government e China são suportados. As nuvens com ar comprimido ainda não são suportadas. Um DCR é criado e armazenado em uma região específica e o backup é feito na região emparelhada dentro da mesma geografia. O serviço é implantado em todas as três zonas de disponibilidade dentro da região. Por esse motivo, é um serviço com redundância de zona, o que aumenta ainda mais a disponibilidade.
A residência de dados de região única é um recurso de visualização para permitir o armazenamento de dados de clientes em uma única região e, atualmente, está disponível apenas na Região do Sudeste Asiático (Cingapura) do Geo Ásia-Pacífico e na Região Brasil Sul (Estado de São Paulo) do Geo Brasil. A residência de região única é habilitada por padrão nessas regiões.
Próximos passos
Consulte os seguintes artigos para obter informações adicionais sobre como trabalhar com DCRs.
- Estrutura de regras de coleta de dados para uma descrição da estrutura JSON de DCRs e os diferentes elementos usados para diferentes fluxos de trabalho.
- Regras de coleta de dados de exemplo (DCRs) para DCRs de amostra para diferentes cenários de coleta de dados.
- Crie e edite regras de coleta de dados (DCRs) no Azure Monitor para métodos diferentes para criar DCRs para diferentes cenários de coleta de dados.
- Limites de serviço do Azure Monitor para limites que se aplicam a cada DCR.