Ideias de soluções
Este artigo descreve uma ideia de solução. Seu arquiteto de nuvem pode usar essa orientação para ajudar a visualizar os principais componentes para uma implementação típica dessa arquitetura. Use este artigo como ponto de partida para projetar uma solução bem arquitetada que se alinhe com os requisitos específicos da sua carga de trabalho.
Essa ideia de solução demonstra a ingestão de baixa latência e alta taxa de transferência de grandes volumes de logs da Rede de Distribuição de Conteúdo (CDN). Você pode usar esses dados para criar painéis de análise quase em tempo real.
Arquitetura
Transfira um ficheiro do Visio desta arquitetura.
Fluxo de dados
- Os provedores da Rede de Entrega de Conteúdo, como Verizon e Fastly, ingerem grandes quantidades de logs de CDN no Azure Data Explorer para analisar latências, integridade e desempenho de ativos de CDN.
- A maioria dos cenários de CDN ingere dados por meio do Armazenamento do Azure (Blob ou ADLS Gen2), que usa a Grade de Eventos do Azure e aciona o pipeline de ingestão para o Azure Data Explorer. Como alternativa, você pode ingerir os dados em massa usando a ferramenta LightIngest. Você também pode exportar dados continuamente para o Armazenamento do Azure no formato parquet compactado e particionado e consultar esses dados sem problemas, conforme detalhado em Visão geral da exportação contínua de dados.
- O Azure Data Explorer fornece operadores e funções nativos fáceis de usar para processar, agregar e analisar séries temporais e dados de log, bem como fornecer informações à velocidade da luz. Você pode criar painéis de análise quase em tempo real usando painéis do Azure Data Explorer, Power BI ou Grafana.
- Crie e agende alertas e notificações usando o conector do Azure Data Explorer para Aplicativos Lógicos do Azure.
Componentes
- Conector do Azure Data Explorer de Armazenamento: ingestão contínua do Armazenamento do Azure (armazenamento de Blob e ADLSv2) com assinatura da Grade de Eventos do Azure para transmitir essas notificações para o Azure Data Explorer.
- Azure Data Explorer: Serviço de análise de dados rápido, totalmente gerenciado e altamente escalável para análise em tempo real em grandes volumes de streaming de dados de aplicativos, sites, dispositivos IoT e muito mais.
- Painéis do Azure Data Explorer: exporte nativamente consultas Kusto que foram exploradas na interface do usuário da Web para painéis otimizados.
- Aplicativos Lógicos do Azure Conector do Azure Data Explorer: execute consultas e comandos Kusto automaticamente como parte de uma tarefa agendada ou acionada.
Detalhes do cenário
Você pode usar essa solução para ingerir grandes volumes de logs de CDN com a finalidade de criar painéis de análise quase em tempo real.
Potenciais casos de utilização
- Log Analytics
- Análise de séries cronológicas
- IoT
- Análise exploratória de uso geral
Contribuidores
Este artigo é mantido pela Microsoft. Foi originalmente escrito pelos seguintes contribuidores.
Autor principal:
- Ornat Spodek - Brasil | Gestor de Conteúdos Sénior
Próximos passos
Para obter mais informações, consulte a documentação do Azure Data Explorer.