Quando usar o Azure Data Explorer
Aqui, discutiremos como você pode decidir se o Azure Data Explorer é a escolha certa para suas necessidades de análise de Big Data. Ao avaliar os critérios a seguir, você pode determinar se o Azure Data Explorer atende às suas metas funcionais e de desempenho.
- Análise interativa
- Variedade de dados
- Velocidade de dados
- Volume de dados
- Organização de dados
- Simultaneidade de consulta
- Criar ou comprar
Critérios de decisão
O Azure Data Explorer é uma plataforma de análise interativa de Big Data que capacita as pessoas a tomar decisões controladas por dados em um ambiente altamente ágil. Os fatores listados aqui podem ajudá-lo a avaliar se o Azure Data Explorer é uma boa opção para a carga de trabalho em questão. Faça a si mesmo as seguintes perguntas principais:
Análise interativa
Preciso analisar dados interativamente?
A análise de dados inclui técnicas como agregação, definição de escopo, avaliação, correlação, detecção de anomalias, previsão e avaliação do modelo geral que ajudam a reduzir grandes quantidades de dados para chegar a conclusões acionáveis. O Azure Data Explorer trata de realizar essas atividades interativamente. As atividades podem ocorrer em painéis interativos, aplicativos personalizados analíticos ou pela interação direta com os dados por meio de consultas e visualizações amigáveis. O Azure Data Explorer pode não ser a tecnologia certa para executar trabalhos em lotes de execução prolongada por dados. Considere o uso de tecnologias como o Microsoft Spark, que funcionam bem com o Azure Data Explorer para tarefas de execução prolongada.
Variedade de dados
Quão variada é a estrutura de dados?
O Azure Data Explorer fornece índice de texto completo escalonável de alto desempenho e suporte para esquema dinâmico. Se você precisa analisar e processar dados estruturados, semiestruturados (json/xml) e textuais, essa é uma boa indicação de que o Azure Data Explorer é relevante para sua carga de trabalho.
Velocidade de dados
A análise de dados em tempo real é um fator crítico?
O Azure Data Explorer pode ingerir uma quantidade enorme de dados rapidamente e com baixa latência. Conjuntos de dados típicos incluem rastreamentos, logs de transações, séries temporais, métricas e, de modo geral, fluxos de registro de atividades. A análise quase em tempo real em dados atualizados é um caso de uso comum. O Azure Data Explorer se conecta bem a tecnologias de streaming como os Hubs de Eventos do Azure, hubs IoT e o Kafka para processar essas cargas de trabalho. No entanto, caso haja necessidade de análise em tempo real, o Azure Data Explorer pode não ser a melhor opção.
Volume de dados
Que volume de dados preciso ingerir?
O Azure Data Explorer foi criado para fornecer análise de caminho quente, interativa e por meio da API em cargas de trabalho de dados enormes. Para cenários em que o tamanho total de dados acumulados é de alguns gigabytes, pode haver outras soluções mais econômicas.
Organização de dados
Com que consistência meus dados estão organizados?
O Azure Data Explorer foi criado para aplicar o esquema no momento da leitura de dados brutos. Essa abordagem cria flexibilidade para examinar dados de maneiras diferentes e de diversos pontos de vista com base nas necessidades do momento. Essa funcionalidade é valiosa para lidar com desafios inesperados em segurança, operações e ambientes competitivos, dentre outras áreas. O Azure Data Explorer fornece velocidade, escalabilidade e economia extremas para analisar dados brutos. Geralmente, em implantações de armazenamento de dados, um processo de extração, transformação e carregamento (ETL) gera periodicamente um conjunto bem coletado, altamente consistente e bem documentado de entidades e atributos. Geralmente, a análise desses complexos esquemas em estrela envolve grandes junções de fato a fato para as quais o Azure Data Explorer não é otimizado.
Simultaneidade de consulta
Quantos usuários precisam consultar/ingerir/processar dados ao mesmo tempo?
O Azure Data Explorer é amplamente usado para implementar ofertas de SaaS de análise. Se houver a necessidade de dar suporte a necessidades de análise diferentes e exclusivas de um grande número de solicitações em paralelo, o Azure Data Explorer deverá fornecer uma boa solução.
Criar ou comprar
O quanto desejo personalizar minha plataforma de dados?
O Azure Data Explorer é uma plataforma como serviço totalmente gerenciada. No entanto, ele não fornece uma solução pronta para uso. Ele requer personalização, configuração, conexão e criação de experiências para fornecer uma solução (build). Há várias soluções, da Microsoft e de terceiros, que usam o Azure Data Explorer para fornecer essas soluções prontas para uso em diferentes domínios e verticais. Por exemplo, o Azure Monitor para operações de TI. A Proteção Avançada contra Ameaças da Microsoft e o Microsoft Sentinel no domínio de segurança e o Azure Time Series Insights e o Azure IoT Central nos domínios de IoT.
Aplicar os critérios
O Azure Data Explorer funciona melhor para habilitar recursos de análise interativa para trabalhadores do conhecimento em dados brutos diversificados e com alta velocidade. Vamos pensar em como aplicar os critérios listados anteriormente aos nossos processos de exemplo no cenário da empresa de roupas.
O Azure Data Explorer deve ser usado para dados de produção?
O departamento de produção da empresa de vestuário de exemplo precisa tomar decisões sobre como gerenciar volumes de inventário e produção. Eles têm logs de entrada de dados de estoque. Eles também querem usar dados geoespaciais do marketing para prever as necessidades de produto por região. Esses dados têm alto grau de variedade, velocidade e volume. Ele não é organizado de forma consistente e muitos stakeholders precisam consultar esses dados simultaneamente. Da ingestão à consulta, eles exigem baixa latência. Eles precisam de tempos de resposta de consulta de menos de um segundo ou melhores. Com base nos critérios de decisão, o Azure Data Explorer é uma boa escolha para a divisão de produção da empresa de vestuário.
O Azure Data Explorer deve ser usado para dados de marketing?
O departamento de marketing da empresa de vestuário deseja avaliar a eficácia de sua campanha. Eles têm dados de sequência de cliques do site e das campanhas publicitárias. Eles também têm dados em texto livre (não estruturados) de mídias sociais. Esses dados são altamente variados e desorganizados. O departamento deseja fazer análises interativas exploratórias. Com base nos critérios de decisão, o Azure Data Explorer é uma boa escolha para a divisão de marketing da empresa de vestuário.
Resumo das diretrizes
A tabela a seguir mostra como avaliar novos casos de uso. Embora todos os casos de uso não sejam abordados aqui, achamos que isso pode ajudar a decidir se o Azure Data Explorer é a solução certa para você.
| Caso de uso | Análise interativa | Big Data (variedade, velocidade, volume) | Organização de dados | Simultaneidade | Criar ou comprar | Devo usar o Azure Data Explorer? |
|---|---|---|---|---|---|---|
| Implementar um SaaS de análise de segurança | Uso intenso de análises interativas quase em tempo real. | Os dados de segurança são diversificados, com alto volume e alta velocidade. | Varia | O sistema geralmente é usado por vários analistas de vários locatários. | Implementar uma oferta de SaaS é um cenário de Build. | Sim |
| Análise de logs da CDN | Interativo para solução de problemas e monitoramento de QoS. | Os logs da CDN são diversificados, com alto volume e alta velocidade. | Registros de log separados. | Um pequeno grupo de cientistas de dados pode usar essas análises, mas elas também podem alimentar muitos painéis. | O valor extraído da análise de CDN é específico do cenário e requer análise personalizada. | Sim |
| Banco de dados de série temporal para telemetria de IoT | Interativo para solucionar problemas, análise de tendências, uso e detecção de anomalias. | A telemetria da Internet das Coisas é de alta velocidade, mas pode ser estruturada apenas ou de tamanho médio. | Conjuntos de registros relacionados. | Um pequeno grupo de cientistas de dados pode usar essas análises, mas elas também podem alimentar muitos painéis. | Normalmente, o contexto é Build ao pesquisar um banco de dados. | Sim |
A tabela de fluxograma a seguir resume as principais perguntas a serem feitas quando você estiver considerando usar o Azure Data Explorer.
