Dados não estão sendo armazenados no Azure Log Analytics

Question

Uso o Log Analytics para armazenar os logs do meu Data Factory e analisar as cargas dos meus pipelines, que refletem am alguns relatórios.

Notei que, as vezes, alguns logs do Data Factory não são salvos na tabela ADFPipelineRun. No Data Factory o pipeline já está como "Success" mas o Log Analytics não reflete o novo status.

Não acontece no mesmo horário e nem com os mesmos pipelines, já esperei por algumas horas para ver se em algum momento o status iria atualizar no Log Analytics, mas nada mudou.

Answer 1

Oi Bernardo Pereira!

Bem-vindo ao Microsoft Q&A!

Entendo a frustração de não ver os logs do Data Factory refletidos corretamente no Azure Log Analytics. Aqui estão algumas possíveis causas e soluções para o problema:

Limite de Colunas: O Azure Monitor Logs tem um limite de 500 colunas. Se esse limite for atingido, qualquer linha contendo dados fora das primeiras 500 colunas será descartada no momento da ingestão1.

Configurações de Diagnóstico: Verifique se as configurações de diagnóstico estão corretamente configuradas para enviar logs para o Log Analytics. Certifique-se de que a tabela correta (Resource Specific) está selecionada e que as categorias de log necessárias (pipeline activity runs, pipeline runs, e trigger runs) estão habilitadas2.

Permissões: Assegure-se de que o usuário configurando as configurações de diagnóstico tem as permissões necessárias para escrever no Log Analytics. O usuário deve ter pelo menos a função de Contribuidor tanto no Azure Data Factory quanto no Log Analytics.

Atraso na Ingestão de Logs: Às vezes, pode haver um atraso na ingestão dos logs. Embora 24 horas geralmente sejam suficientes, pode valer a pena esperar um pouco mais para ver se os logs aparecem.

Consultas no Log Analytics: Use a interface de consulta do Log Analytics para procurar manualmente os logs. Às vezes, os logs podem estar presentes, mas não visíveis imediatamente devido às configurações de consulta. Você pode usar consultas como:

ADFPipelineRun | where TimeGenerated > ago(1d)

Gerenciar o acesso aos workspaces do Log Analytics

Enviar logs de recursos do Azure para espaços de trabalho do Log Analytics, Hubs de Eventos ou Armazenamento do Microsoft Azure

Espero que essas dicas ajudem a resolver o problema! Se precisar de mais assistência, estou à disposição.

Saudações

Jonathan.

-----------

Sua opinião é muito importante para nós! Se esta resposta resolveu sua consulta, por favor clique em ‘YES‘. Isso nos ajuda a melhorar continuamente a qualidade e relevância de nossas soluções. Obrigado pela sua colaboração!