Regras de coleta de dados (DCRs) no Azure Monitor
As regras de coleta de dados (DCRs) fazem parte de um processo de coleta de dados semelhante a ETL, que melhora os métodos de coleta de dados herdados para o Azure Monitor. Esse processo usa um pipeline de ingestão de dados comum para todas as fontes de dados e um método padrão de configuração mais gerenciável e escalonável do os métodos de coleta anteriores.
As vantagens específicas da coleta de dados baseada em DCR incluem o seguinte:
- Método consistente para configuração de diferentes fontes de dados.
- Capacidade de aplicar uma transformação para filtrar ou modificar dados de entrada antes de enviar para um destino.
- Opções de configuração escalonáveis que dão suporte à infraestrutura como processos de código e DevOps.
- Opção de pipeline de borda no seu próprio ambiente para fornecer escalabilidade de alto nível, configurações de rede em camadas e conectividade periódica.
Exibindo DCRs
As regras de coleta de dados (DCRs) são armazenadas no Azure para que possam ser implantadas e gerenciadas centralmente, como qualquer outro recurso do Azure. Elas fornecem uma maneira consistente e centralizada de definir e personalizar diferentes cenários de coleta de dados.
Exiba todos os DCRs em sua assinatura na opção Regras de Coleta de Dados do menu Monitor no portal do Azure. Independentemente do método usado para criar a DCR e os detalhes dela, todas as DCRs na assinatura são listadas nesta tela.
Métodos de coleta de dados herdados substituídos
O processo de coleta de DCR foi substituído ou está no processo de substituição de outros métodos de coleta de dados no Azure Monitor. A tabela a seguir lista os métodos herdados com suas substituições baseadas em DCR. Espera-se que outros métodos de coleta de dados no Azure Monitor também sejam substituídos por DCRs no futuro.
| Método herdado | Método DCR | Descrição |
|---|---|---|
| Agente do Log Analytics | Agente do Azure Monitor | O agente do Azure Monitor agora é usado para monitorar VMs e clusters kubernetes que dão suporte a insights de VM e insights de contêiner. |
| Configurações de Diagnóstico (somente métricas) |
Exportação de métricas | As configurações de diagnóstico ainda são usadas atualmente para coletar logs de recursos dos recursos do Azure. As métricas da plataforma agora podem ser coletadas usando a exportação de métricas. |
| API do Coletor de dados | API de ingestão de logs | A API de ingestão de Logs é usada para enviar dados para um workspace do Log Analytics de qualquer cliente REST. Ele substitui a API do Coletor de Dados que era menos segura e menos funcional. |
Pipeline do Azure Monitor
O processo de coleta de dados com suporte por DCRs baseia-se no pipeline do Azure Monitor, que fornece um caminho de processamento comum para dados de entrada. O pipeline de nuvem é um componente do pipeline do Azure Monitor (consulte pipeline do Edge abaixo para o outro componente) e está disponível automaticamente em sua assinatura do Azure como parte da plataforma do Azure Monitor. Ele não requer configuração e não aparece no portal do Azure.
Cada cenário de coleta de dados usando o pipeline do Azure Monitor é definido em uma DCR que fornece instruções sobre como o pipeline de nuvem deve processar os dados recebidos. Dependendo do cenário, as DCRs especificarão todos ou alguns dos seguintes:
- Dados a serem coletados e enviados para o pipeline.
- Esquema dos dados de entrada.
- Transformações a serem aplicadas aos dados antes de serem armazenados.
- Destino para onde os dados devem ser enviados.
Usando uma DCR
Há duas maneiras fundamentais de especificar DCRs para um cenário de coleta de dados específico, conforme descrito nas seções a seguir. Cada cenário dará suporte a um desses métodos, mas não a ambos.
Observação
As DCRs de transformação do workspace ficam ativos assim que são criadas. Elas não usam nenhum dos métodos descritos nesta seção.
Associações de regras de coleta de dados (DCRA)
As associações de regras de coleta de dados (DCRAs) são usadas para associar uma DCR a um recurso monitorado. Essa é uma relação muitos para muitos, em que uma única DCR pode ser associada a vários recursos e um único recurso pode ser associado a várias DCRs. Isso permite que você desenvolva uma estratégia para manter o monitoramento entre conjuntos de recursos com requisitos diferentes.
Por exemplo, o diagrama a seguir ilustra a coleta de dados para o agente do Azure Monitor (AMA) em execução em uma máquina virtual. Quando o agente é instalado, ele se conecta ao Azure Monitor para recuperar as DCRs associadas a ele. Nesse cenário, as DCRs especificam os eventos e dados de desempenho a serem coletados, que são os que o agente usa para determinar quais dados coletar no computador e enviar para o Azure Monitor. Depois que os dados são entregues, o pipeline de nuvem executa as transformações especificadas na DCR para filtrar e modificar os dados e, em seguida, envia os dados para o workspace e tabela especificados.
Ingestão direta
Com a ingestão direta, uma DCR é especificada para processar os dados de entrada. Por exemplo, o diagrama a seguir ilustra dados de um aplicativo personalizado usando a API de ingestão de logs. Cada chamada à API especifica a DCR que processará seus dados. A DCR entende a estrutura dos dados de entrada, inclui uma transformação que garante que os dados estejam no formato da tabela de destino e especifica um workspace e uma tabela para enviar os dados transformados.
Transformações
As transformações são consultas KQL incluídas em uma DCR executada em cada registro enviado ao pipeline de nuvem. Elas permitem que você modifique os dados de entrada antes que eles sejam armazenados no Azure Monitor ou enviados para outro destino. Você pode filtrar dados desnecessários para reduzir os custos de ingestão, remover dados confidenciais que não devem ser mantidos no workspace do Log Analytics ou formatar dados para garantir que eles correspondam ao esquema de seu destino. As transformações também permitem cenários avançados, como enviar dados para vários destinos ou enriquecer dados com informações adicionais.
Pipeline de borda
O pipeline de borda estende o pipeline do Azure Monitor para seu próprio data center. Ele habilita a coleta em escala e o roteamento de dados de telemetria antes de serem enviados para o pipeline de nuvem. Ao contrário do pipeline de nuvem, o pipeline de borda é opcional e requer configuração.
Os casos de uso específicos do pipeline de borda do Azure Monitor são:
- Escalabilidade. O pipeline de borda pode lidar com grandes volumes de dados de recursos monitorados, que podem ser limitados por outros métodos de coleção, como o agente do Azure Monitor.
- Conectividade periódica. Alguns ambientes podem ter uma conectividade não confiável com a nuvem ou podem ter longos períodos inesperados sem conexão. O pipeline de borda pode armazenar dados em cache localmente e ser sincronizado com a nuvem quando a conectividade for restaurada.
- Rede em camadas. Em alguns ambientes, a rede é segmentada e os dados não podem ser enviados diretamente para a nuvem. O pipeline de borda pode ser usado para coletar dados de recursos monitorados sem acesso à nuvem e gerenciar a conexão com o Azure Monitor na nuvem.
Regiões de DCR
As regras de coleta de dados estão disponíveis em todas as regiões públicas em que há suporte para workspaces do Log Analytics, além das nuvens do Azure Governamental e da China. Nuvens desconectadas ainda não são compatíveis. Uma DCR é criada e armazenada em uma região específica e o backup é feito para a região emparelhada dentro da mesma área geográfica. O serviço é implantado nas três zonas de disponibilidade dentro da região. Por esse motivo, é um serviço com redundância de zona, o que aumenta ainda mais a disponibilidade.
Residência de dados de região única é uma versão prévia do recurso para habilitar o armazenamento de dados do cliente em apenas uma região e está disponível atualmente apenas na região do Sudeste da Ásia (Singapura), na área geográfica do Pacífico Asiático e na região Sul do Brasil (Estado de São Paulo). A residência de região única é habilitada por padrão nessas regiões.
Próximas etapas
Confira os artigos a seguir para obter mais informações sobre como trabalhar com DCRs.
- Estrutura da regra de coleta de dados para uma descrição da estrutura JSON das DCRs e os diferentes elementos usados para diferentes fluxos de trabalho.
- Regras de coleta de dados (DCRs) de amostra para obter DCRs de amostra em diferentes cenários de coleta de dados.
- Crie e edite regras de coleta de dados (DCRs) no Azure Monitor para diferentes métodos e criar DCRs para diferentes cenários de coleta de dados.
- Limites de serviço do Azure Monitor para verificar os limites que se aplicam a cada DCR.