Projetar uma solução do Azure Stream Analytics para análise de dados
O processo de consumir fluxos de dados, analisá-los e obter insights acionáveis é chamado de processamento de fluxo. O Azure Stream Analytics é um mecanismo de processamento de eventos complexo e totalmente gerenciado (oferta de PaaS), análise em tempo real e processamento de eventos. Ele oferece a possibilidade de realizar análises em tempo real em vários fluxos de dados de fontes como dados de dispositivos IoT, sensores, fluxos de cliques e feeds de mídia social.
Coisas a saber sobre o Azure Stream Analytics
O Azure Stream Analytics funciona com base nos seguintes conceitos:
- Fluxos de dados: os fluxos de dados são dados contínuos gerados por aplicativos, dispositivos IoT ou sensores. Os fluxos de dados são analisados e insights acionáveis são extraídos. Alguns exemplos são o monitoramento de fluxos de dados de equipamentos industriais e de fabricação e o monitoramento de dados de tubulações de água por fornecedores de serviços públicos. Os fluxos de dados ajudam-nos a compreender as mudanças ao longo do tempo.
- Processamento de eventos: O processamento de eventos refere-se ao consumo e à análise de um fluxo de dados contínuo para extrair insights acionáveis dos eventos que acontecem nesse fluxo. Um exemplo é como um carro que passa por um pedágio deve incluir informações temporais, como um carimbo de data/hora que indica quando o evento ocorreu.
Importante
O Azure Stream Analytics dá suporte ao processamento de eventos em três formatos de dados: CSV, JSON e Avro.
A ilustração a seguir mostra o pipeline do Stream Analytics e como os dados são ingeridos, analisados e enviados para apresentação ou ação.
Funcionalidades principais
O Stream Analytics ingere dados dos Hubs de Eventos do Azure (incluindo Hubs de Eventos do Azure do Apache Kafka), do Hub IoT do Azure ou do Armazenamento de Blobs do Azure. A consulta, que é baseada na linguagem de consulta SQL, pode ser usada para filtrar, classificar, agregar e unir facilmente dados de streaming durante um período. Você também pode estender essa linguagem SQL com JavaScript e C# funções definidas pelo usuário (UDFs).
Um trabalho do Azure Stream Analytics consiste em uma entrada, consulta e saída. Você pode executar as seguintes tarefas com a saída do trabalho:
- Encaminhe dados para sistemas de armazenamento como o Armazenamento de Blobs do Azure, o Banco de Dados SQL do Azure, o Repositório Azure Data Lake e o Azure Cosmos DB.
- Envie dados para o Power BI para visualização em tempo real.
- Armazene dados em um serviço de Data Warehouse como o Azure Synapse Analytics para treinar um modelo de aprendizado de máquina com base em dados históricos ou executar análises em lote.
- Acione fluxos de trabalho downstream personalizados enviando os dados para serviços como Azure Functions, Tópicos do Barramento de Serviço do Azure ou Filas do Azure.
Cenário de negócio
A Tailwind Traders está usando a transformação digital para seus aplicativos e serviços para ajudar no crescimento da empresa. Eles precisam dar suporte ao acesso, armazenamento e análise de dados de sensores do GPS em seus caminhões de entrega que estão na estrada entregando mercadorias. Você está procurando uma solução para fornecer análises em tempo real sobre dados de streaming GPS dos caminhões para permitir que os administradores tomem decisões em tempo real. Em uma análise mais aprofundada, você aprenderá que a equipe gostaria que esses dados estivessem presentes em um painel de visualização existente do Power BI. O Azure Stream Analytics pode ajudar a cumprir os requisitos deste cenário.
O Azure Stream Analytics é uma solução ideal para outros requisitos comuns de dados empresariais. Considere os seguintes cenários:
| Requisito | Description |
|---|---|
| Analise fluxos de telemetria em tempo real a partir de dispositivos IoT. | Reúna dados de sensores em tempo real no Azure Stream Analytics criando sistemas de automação que retransmitem temperatura, umidade e tempo de execução do ventilador. Pode fazer ajustes para manter a temperatura ideal do edifício e reduzir custos. |
| Crie logs da Web e análises de clickstream. | Um varejista de bens de consumo pode oferecer sugestões de produtos em tempo real aos usuários com base em análises de comércio eletrônico. |
| Crie análises geoespaciais. | Prepare análises para fontes de dados geoespaciais, como sensores, redes sociais, imagens de satélite e dispositivos móveis. Você pode prever eventos climáticos extremos, como incêndios florestais e furacões, para ajudar as companhias aéreas com rotas. Pode enviar alertas móveis aos clientes para condições meteorológicas adversas com base na sua geolocalização. |
| Executar monitoramento remoto e manutenção preditiva de ativos de alto valor. | Monitore ativos de alto valor, como equipamentos industriais, coletando dados operacionais no Azure Stream Analytics. Pode maximizar a vida útil do seu equipamento através da manutenção preditiva. Os dados recolhidos a partir de transformadores de energia elétrica são empresas de serviços públicos para evitar a interrupção da operação. |
| Execute análises em tempo real nos dados do ponto de venda. | Detete transações fraudulentas com cartão de crédito e identifique atividades suspeitas no ponto de venda. Você pode detetar transações extraordinariamente grandes ou atividades de localização incomuns com base nas informações de contato do titular do cartão de crédito. Os gatilhos de alerta podem ser configurados em dados coletados no Azure Stream Analytics. |
No cenário Tailwind Traders, podemos aplicar o Azure Stream Analytics para visualizar localizações em tempo real dos camiões através do Power BI. Para decisões de gerenciamento em cargas de trabalho analíticas, os dados podem ser armazenados em um data warehouse como o Azure Cosmos DB ou o Azure Data Lake para análise futura.
Coisas a considerar ao usar o Azure Stream Analytics
O Azure Stream Analytics pode ser um componente valioso no seu plano de integração de dados para os Tailwind Traders. Analise os seguintes benefícios do serviço.
- Considere os requisitos de provisionamento. O Azure Stream Analytics é um serviço totalmente gerenciado. Ele é oferecido como uma oferta de PaaS (Platform as a Service), portanto, não há sobrecarga de provisionamento de hardware ou infraestrutura. O Azure Stream Analytics gerencia totalmente seu trabalho, para que você possa se concentrar em sua lógica de negócios e não na infraestrutura.
- Considere os custos. O Stream Analytics é de baixo custo. O faturamento é feito por Unidades de Streaming (SUs) consumidas, que representam a quantidade de recursos de CPU e memória alocados. A expansão para cima e para baixo é baseada nas necessidades do negócio, o que também pode reduzir os custos. Não estão envolvidos custos de manutenção.
- Considere a implementação. Você pode executar o Azure Stream Analytics na nuvem para análises em larga escala. Para análises de latência ultrabaixa, execute o Stream Analytics no IoT Edge ou no Azure Stack.
- Considere o desempenho. O Stream Analytics oferece garantias de desempenho confiáveis. Ele suporta maior desempenho por particionamento, o que permite que consultas complexas sejam paralelizadas e executadas em vários nós de streaming. O Stream Analytics pode processar milhões de eventos a cada segundo. Ele pode fornecer resultados com latências ultrabaixas.
- Considere a segurança. O Stream Analytics criptografa todas as comunicações de entrada e saída e suporta TLS 1.2. Os pontos de verificação incorporados também são encriptados. O Stream Analytics não armazena os dados de entrada porque todo o processamento é feito na memória.