Ideias de soluções
Este artigo descreve uma ideia de solução. Seu arquiteto de nuvem pode usar essa orientação para ajudar a visualizar os principais componentes para uma implementação típica dessa arquitetura. Use este artigo como ponto de partida para projetar uma solução bem arquitetada que se alinhe aos requisitos específicos de sua carga de trabalho.
Essa ideia de solução demonstra a análise de Big Data em grandes volumes de dados de alta velocidade de várias fontes.
Apache® e Apache Kafka® são marcas registradas ou marcas comerciais da Apache Software Foundation nos Estados Unidos e/ou em outros países. O uso desta marca não implica aprovação por parte da Apache Software Foundation.
Arquitetura
Baixe um Arquivo Visio dessa arquitetura.
Fluxo de dados
- Dados brutos estruturados, semiestruturados e não estruturados (texto livre), como qualquer tipo de logs, eventos de negócios e atividades do usuário, podem ser ingeridos no Azure Data Explorer de várias fontes.
- Ingerir dados no Azure Data Explorer com baixa latência e alta taxa de transferência usando seus conectores para o Azure Data Factory, o Hubs de Eventos do Azure, o Hub IoT do Azure, o Kafka e assim por diante. Como alternativa, ingira dados por meio do Armazenamento do Azure (Blob ou ADLS Gen2), que usa a Grade de Eventos do Azure e dispara o pipeline de ingestão para o Azure Data Explorer. Você também pode exportar dados continuamente para o Armazenamento do Azure em formato parquet compactado e particionado e consultar perfeitamente esses dados, conforme detalhado na Visão geral da exportação de dados contínua.
- Exporte dados pré-agregados do Azure Data Explorer para o Armazenamento do Azure e, em seguida, ingira os dados no Synapse Analytics para criar modelos de dados e relatórios.
- Use os recursos nativos do Azure Data Explorer para processar, agregar e analisar dados. Para obter insights em uma velocidade relâmpago, crie painéis de análise quase em tempo real usando painéis do Azure Data Explorer, o Power BI, o Grafana ou outras ferramentas. Use o Azure Synapse Analytics para criar um data warehouse moderno e combiná-lo com os dados do Azure Data Explorer para gerar relatórios de BI em modelos de dados selecionados e agregados.
- O Azure Data Explorer fornece recursos analíticos avançados nativos para análise de séries temporais, reconhecimento de padrões e detecção e previsão de anomalias. O Azure Data Explorer também é bem integrado a serviços de ML como o Databricks e o Azure Machine Learning. Essa integração permite que você crie modelos usando outras ferramentas e serviços e exporte modelos de ML para o Azure Data Explorer para dados de pontuação.
Componentes
- Hubs de Eventos do Azure: um serviço de ingestão de dados em tempo real totalmente gerenciado, que é simples, confiável e escalonável.
- Hub IoT do Azure: serviço gerenciado para habilitar a comunicação bidirecional entre dispositivos IoT e o Azure.
- Kafka no HDInsight: serviço fácil, econômico e de nível empresarial para análise de código aberto com o Apache Kafka.
- O Azure Data Explorer: serviço de análise de dados rápido, totalmente gerenciado e altamente escalonável para análise em tempo real de grandes volumes de streaming de dados de aplicativos, sites, dispositivos IoT e muito mais.
- Painéis do Azure Data Explorer: exporte nativamente consultas Kusto que foram exploradas na interface do usuário da Web para painéis otimizados.
- O Azure Synapse Analytics: serviço de análise que reúne data warehouse empresarial e análise de Big Data.
Detalhes do cenário
Possíveis casos de uso
Esta solução ilustra como o Azure Data Explorer e o Azure Synapse Analytics se complementam para análises quase em tempo real e casos de uso modernos de data warehouse.
Essa solução já está sendo usada por clientes da Microsoft. Por exemplo, a empresa de transporte por aplicativo com sede em Singapura, a Grab, implementou análises em tempo real sobre uma enorme quantidade de dados coletados de seus serviços de táxi e entrega de comida, bem como aplicativos de parceiros comerciais. A equipe da Grab apresentou sua solução no MS Ignite neste vídeo (20:30 em diante). Usando esse padrão, a Grab processou mais de um trilhão de eventos por dia.
Esta solução é otimizada para o setor de varejo.
Colaboradores
Esse artigo é mantido pela Microsoft. Ele foi originalmente escrito pelos colaboradores a seguir.
Autor principal:
- Ornat Spodek | Gerente de Conteúdo Sênior
Para ver perfis não públicos do LinkedIn, entre no LinkedIn.
Próximas etapas
- Documentação do Azure Data Explorer
- Treinamento: Introdução ao Azure Data Explorer
- Azure Synapse Analytics
- Hubs de eventos do Azure