O que é o Gerenciador de dados do Azure?
Vamos começar definindo o serviço e fazendo um tour pelos principais recursos do Azure Data Explorer. Esta visão geral deve ajudar você a decidir se ele é o serviço certo para você gerenciar e analisar seus dados.
O que é o Gerenciador de dados do Azure?
O Azure Data Explorer é uma plataforma de análise de Big Data que facilita a análise de grandes volumes de dados quase em tempo real. Permitindo que você extraia insights importantes, identifique padrões e tendências e crie modelos de previsão.
A caixa de ferramentas do Azure Data Explorer fornece uma solução de ponta a ponta para ingestão, consulta, visualização e gerenciamento de dados. Essas ferramentas permitem analisar dados estruturados, semiestruturados e não estruturados em séries temporais e aplicar Machine Learning.
O Azure Data Explorer é totalmente gerenciado, escalonável, seguro, robusto e pronto para a empresa. É útil para análise de log, análise de série temporal, IoT e análise exploratória de uso geral.
Como entender seu Big Data
Se você se lembra do nosso exemplo da empresa de roupas, ela recebe diferentes tipos de dados de diferentes domínios. A empresa precisa usar diferentes tipos de análise sobre esses tipos de dados e, em seguida, compartilhar os resultados com diversos stakeholders. Eles vão usar o Azure Data Explorer para obter insights de todos os dados em toda a empresa.
A produção analisa logs de produtos para gerenciar o estoque e tomar decisões de fabricação. A análise geoespacial informa essas decisões, que são usadas para identificar áreas geográficas com anúncios de alto desempenho e antecipar o estoque.
Os depósitos da empresa são equipados com dispositivos IoT, alguns dos quais são usados pela segurança para gerenciar logs de entrada/saída no depósito, enquanto outros são usados pelo setor de operações para monitorar o ambiente dentro do depósito. Lojas individuais usam análise de série temporal para identificar anomalias nas vendas e prever futuros eventos de estoque.
A equipe de marketing global usa dados de sequência de cliques (que também são uma forma de análise de logs) para otimizar e verificar online as campanhas publicitárias e o funil de clientes, enquanto o departamento de atendimento ao cliente usa pesquisa de texto para analisar comentários dos usuários nas mídias sociais.
Cada minuto do dia, uma decisão é tomada na empresa com base nos dados que fluem para o Azure Data Explorer.
Quais são alguns dos principais recursos do Azure Data Explorer?
Agora que você tem uma ideia de como o Azure Data Explorer pode ser usado, vamos dar uma olhada em alguns de seus principais recursos.
Velocidade, variedade e volume de dados
O Azure Data Explorer pode ingerir terabytes de dados em minutos em lote ou modo de streaming. Ele pode consultar petabytes de dados e retornar resultados que variam de milissegundos a segundos. Essa capacidade permite alta velocidade (milhões de eventos por segundo), baixa latência (segundos) e ingestão em escala linear de dados brutos. Esses dados brutos podem ser ingeridos em diferentes formatos e estruturas e podem fluir de vários pipelines e fontes.
Linguagem de consulta amigável
O Azure Data Explorer usa o KQL (Linguagem de Consulta Kusto), uma linguagem de software livre inventada inicialmente pela equipe. A linguagem é simples de entender e aprender e altamente produtiva. Você pode usar operadores simples e análise avançada.
Análise avançada
O Azure Data Explorer tem um grande conjunto de funções para análise de série temporal. Incluindo adição e subtração de séries temporais, filtragem, regressão, detecção de sazonalidade, análise geoespacial, detecção de anomalias, varredura e previsão. As funções de série temporal são otimizadas para processar milhares de séries temporais em segundos. A detecção de padrões é facilitada por plug-ins de cluster que podem diagnosticar anomalias e fazer análise de causa raiz. Você também pode estender os recursos do Azure Data Explorer inserindo código Python em consultas KQL.
Assistente fácil de usar
O assistente de ingestão torna o processo de ingestão de dados fácil, rápido e intuitivo. A interface do usuário da Web fornece uma experiência intuitiva e guiada que ajuda os clientes a se prepararem rapidamente para iniciar a ingestão de dados, a criação de tabelas de bancos de dados e o mapeamento de estruturas. Ele permite uma ingestão única ou contínua de várias fontes em vários formatos de dados. O esquema e os mapeamentos de tabela são sugeridos automaticamente e fáceis de modificar.
Visualização de dados versátil
A visualização de dados ajuda você a obter insights importantes. O Azure Data Explorer oferece recursos internos de visualização e criação de painéis prontos para uso, com suporte para vários gráficos e visualizações. Ele tem integração nativa com o Power BI, conectores nativos para Grafana, Kibana e Databricks, suporte do ODBC para Tableau, Sisense, Qlik e muito mais.
Ingestão, processamento e exportação automáticos
O Azure Data Explorer dá suporte a funções armazenadas no lado do servidor, à ingestão contínua e à exportação contínua para o Azure Data Lake Storage. Ele também dá suporte a transformações de mapeamento no tempo de ingestão no lado do servidor, à atualização de políticas e a agregações agendadas pré-calculadas com exibições materializadas.
Integração com outros serviços
Integre de maneira fácil e direta a outras ferramentas em todos os aspectos do fluxo de trabalho, como Ingestão, Visualização, Orquestração e Monitoramento.