Elaborar uma solução do Azure Stream Analytics para análise de dados
O processo de consumir fluxos de dados, analisá-los e derivar deles insights práticos é chamado processamento de fluxo. O Azure Stream Analytics é um mecanismo de processamento de eventos complexo e análise em tempo real totalmente gerenciado (oferta de PaaS). Ele oferece a possibilidade de executar análises em tempo real em vários fluxos de dados de fontes como dados do dispositivo IoT, sensores, cliques e feeds de mídia social.
Informações importantes sobre o Azure Stream Analytics
O Azure Stream Analytics funciona nos seguintes conceitos:
- Fluxos de dados: os fluxos de dados são dados contínuos gerados por aplicativos, dispositivos IoT ou sensores. Os fluxos de dados são analisados e insights acionáveis são extraídos. Alguns exemplos são o monitoramento de fluxos de dados de equipamentos industriais e de fabricação e o monitoramento de dados de dutos de água por provedores de serviços públicos. Os fluxos de dados ajudam a entender alterações ao longo do tempo.
- Processamento de eventos: refere-se ao consumo e à análise de um fluxo de dados contínuo para extrair insights acionáveis dos eventos que ocorrem dentro desse fluxo. Um exemplo disso é como um carro que passa por um pedágio deve incluir informações temporais como um carimbo de data/hora que indica quando o evento ocorreu.
Importante
O Azure Stream Analytics dá suporte ao processamento de eventos em três formatos de dados: CSV, JSON e Avro.
A ilustração a seguir mostra o pipeline do Stream Analytics e como os dados são ingeridos, analisados e enviados para apresentação ou ação.
Principais recursos
O Stream Analytics ingere dados dos Hubs de Eventos do Azure (incluindo Hubs de Eventos do Azure do Apache Kafka), do Hub IoT do Azure ou do Armazenamento de Blobs do Azure. A consulta, que é baseada na linguagem de consulta SQL, pode ser usada para filtrar, classificar, agregar e juntar dados de streaming facilmente durante um período. Também é possível estender essa linguagem SQL com UDFs (funções definidas pelo usuário) do JavaScript e do C#.
Um trabalho do Azure Stream Analytics consiste em uma entrada, uma consulta e uma saída. Você pode realizar as seguintes tarefas com a saída do trabalho:
- Encaminhar dados para sistemas de armazenamento como Armazenamento de Blobs do Azure, Banco de Dados SQL do Azure, Azure Data Lake Store e Azure Cosmos DB.
- Enviar dados ao Power BI para visualização em tempo real.
- Armazenar dados em um serviço de Data Warehouse como o Azure Synapse Analytics para treinar um modelo de machine learning com base em dados históricos ou realizar análises em lote.
- Acionar fluxos de trabalho downstream personalizados enviando os dados para serviços como Azure Functions, Tópicos do Barramento de Serviço do Azure ou Filas do Azure.
Cenário empresarial
A Tailwind Traders está usando a transformação digital dos próprios aplicativos e serviços para ajudar no crescimento da empresa. Eles precisam dar suporte ao acesso, armazenamento e análises dos dados do sensor de GPS nos próprios caminhões de entrega, que estão na estrada entregando mercadorias. Você está procurando uma solução para fornecer análise em tempo real de dados de streaming do GPS dos caminhões para permitir que os administradores tome decisões em tempo real. Em uma análise mais aprofundada, você descobre que a equipe gostaria que esses dados estivessem presentes em um dashboard de visualização existente do Power BI. O Azure Stream Analytics pode ajudar a atender aos requisitos desse cenário.
O Azure Stream Analytics é uma solução ideal para outros requisitos comuns de dados corporativos. Considere os seguintes cenários:
| Requisito | Descrição |
|---|---|
| Analisar streams de telemetria em tempo real de dispositivos IoT. | Colete dados do sensor em tempo real no Azure Stream Analytics criando sistemas de automação que retransmitem temperatura, umidade e runtimes de ventilador. Você pode fazer ajustes para manter a temperatura ideal do edifício e reduzir os custos. |
| Crie logs da Web e análise de cliques em fluxo. | Um varejista de bens de consumo pode oferecer sugestões de produtos em tempo real aos usuários com base em análises de comércio eletrônico. |
| Crie uma análise geoespacial. | Prepare uma análise de fontes de dados geoespaciais, como sensores, mídias sociais, imagens de satélite e dispositivos móveis. Você pode prever eventos climáticos extremos, como incêndios florestais e furacões, para ajudar as companhias aéreas com o roteamento. Você pode enviar alertas móveis aos clientes para condições climáticas adversas com base na geolocalização deles. |
| Execute monitoramento remoto e manutenção preditiva de ativos de alto valor. | Monitore ativos de alto valor, como equipamentos industriais, coletando dados operacionais no Azure Stream Analytics. Você pode maximizar a vida útil de seu equipamento por meio da manutenção preditiva. Os dados coletados de transformadores de energia elétrica são utilizados por empresas de serviços públicos para evitar interrupções na operação. |
| Realize análise em tempo real em dados de ponto de venda. | Detecte transações fraudulentas de cartão de crédito e identifique atividades suspeitas no ponto de venda. Você pode identificar transações extraordinariamente grandes ou atividades de localização incomuns com base nas informações de contato do titular do cartão de crédito. Os gatilhos de alerta podem ser configurados nos dados coletados no Azure Stream Analytics. |
No cenário da Tailwind Traders, podemos aplicar o Azure Stream Analytics para visualizar a localização em tempo real dos caminhões por meio do Power BI. Para decisões de gerenciamento sobre cargas de trabalho analíticas, os dados podem ser armazenados em um data warehouse como o Azure Cosmos DB ou Azure Data Lake para análise futura.
O que você deve considerar ao usar o Azure Stream Analytics
O Azure Stream Analytics pode ser um componente valioso em seu plano de integração de dados para a Tailwind Traders. Examine os benefícios do serviço a seguir.
- Considere os requisitos de provisionamento. O Azure Stream Analytics é um serviço totalmente gerenciado. Ele é oferecido como uma oferta de PaaS (plataforma como serviço), portanto, não há sobrecarga de provisionamento de hardware ou infraestrutura. O Azure Stream Analytics gerencia totalmente seu trabalho, de modo que você possa se concentrar na lógica de negócios e não na infraestrutura.
- Considere os custos. O Stream Analytics tem baixo custo. A cobrança é feita por SUs (unidades de streaming) consumidas que representam a quantidade de recursos de CPU e memória alocados. A expansão ou redução são baseadas nas necessidades do negócio, o que também pode reduzir os custos. Não há cobranças de manutenção envolvidas.
- Considere a implementação. Você pode executar o Azure Stream Analytics na nuvem para análise em larga escala. Para análise de latência extremamente baixa, execute o Stream Analytics no IoT Edge ou no Azure Stack.
- Considerar o desempenho. O Stream Analytics oferece garantias de desempenho confiáveis. Ele dá suporte a um melhor desempenho por meio do particionamento, permitindo que consultas complexas sejam paralelizadas e executadas em vários nós de streaming. O Stream Analytics pode processar milhões de eventos a cada segundo. Ele pode fornecer resultados com latências extremamente baixas.
- Considere a segurança. O Stream Analytics criptografa todas as comunicações de entrada e de saída e dá suporte ao TLS 1.2. Os pontos de verificação internos também são criptografados. O Stream Analytics não armazena os dados de entrada, pois todo o processamento é feito na memória.