O que é o Gerenciador de dados do Azure?
O Azure Data Explorer é uma plataforma de análise de Big Data totalmente gerenciada e de alto desempenho que facilita a análise de grandes volumes de dados quase em tempo real. A caixa de ferramentas do Azure Data Explorer fornece uma solução de ponta a ponta para ingestão, consulta, visualização e gerenciamento de dados.
Analisando dados estruturados, semiestruturados e não estruturados na série temporal e usando Machine Learning, o Azure Data Explorer simplifica a extração de insights importantes, a detecção de padrões e tendências e a criação de modelos de previsão. O Azure Data Explorer usa um modelo relacional tradicional, organizando dados em tabelas com esquemas fortemente tipados. As tabelas são armazenadas em bancos de dados e um cluster pode gerenciar vários bancos de dados. O Azure Data Explorer é escalonável, seguro, robusto e pronto para uso corporativo, além de ser útil para análise de logs, análise de séries temporais, IoT e análise exploratória de uso geral.
Os recursos do Azure Data Explorer são estendidos por outros serviços criados em sua linguagem de consulta: KQL (Linguagem de Consulta Kusto). Esses serviços incluem logs do Azure Monitor, Application Insights, Time Series Insights e Microsoft Defender para Ponto de Extremidade.
Quando você deve usar o Azure Data Explorer?
Use as seguintes perguntas para decidir se o Azure Data Explorer é o certo para o seu caso de uso:
- Análise interativa: a análise interativa faz parte da solução? Por exemplo, agregação, correlação ou detecção de anomalias.
- Variedade, velocidade, volume: seu esquema é diversificado? Você precisa ingerir grandes quantidades de dados quase em tempo real?
- Organização de dados: deseja analisar dados brutos? Por exemplo, um esquema em estrela que não foi totalmente coletado.
- Simultaneidade da consulta: vários usuários ou processos usarão o Azure Data Explorer?
- Criar vs. comprar: você planeja personalizar sua plataforma de dados?
O Azure Data Explorer é ideal para habilitar funcionalidades de análise interativa em dados brutos diversificados e com alta velocidade. Use a árvore de decisão a seguir como auxílio para decidir se o Azure Data Explorer é o certo para você:
O que torna o Azure Data Explorer único?
Velocidade, variedade e volume de dados
Com o Azure Data Explorer, você pode ingerir terabytes de dados em minutos por meio de ingestão enfileirada ou ingestão de streaming. Você pode consultar petabytes de dados, com resultados retornados em um tempo que varia de milissegundos a segundos. O Azure Data Explorer fornece alta velocidade (milhões de eventos por segundo), baixa latência (segundos) e ingestão de dados brutos em escala linear. Realize a ingestão dos seus dados em diferentes formatos e estruturas, fluindo de vários pipelines e fontes.
Linguagem de consulta amigável
Consulte o Azure Data Explorer com a KQL (Linguagem de Consulta Kusto), uma linguagem de código aberto inicialmente criada pela equipe. A linguagem é simples de entender e aprender e altamente produtiva. Você pode usar operadores simples e análise avançada. O Azure Data Explorer também dá suporte ao T-SQL.
Análise avançada
Use o Azure Data Explorer para análise de séries temporais com um grande conjunto de funções, incluindo: adição e subtração de séries temporais, filtragem, regressão, detecção de sazonalidade, análise geoespacial, detecção de anomalias, verificação e previsão. As funções de série temporal são otimizadas para processar milhares de séries temporais em segundos. A detecção de padrões é facilitada por plug-ins de cluster que podem diagnosticar anomalias e fazer análise de causa raiz. Você também pode estender as funcionalidades do Azure Data Explorer inserindo código Python em consultas KQL.
Assistente fácil de usar
A experiência de obtenção de dados torna o processo de ingestão de dados fácil, rápido e intuitivo. A interface do usuário da Web do Azure Data Explorer fornece uma experiência intuitiva e guiada que ajuda você a aumentar rapidamente para começar a ingerir dados, criar tabelas de banco de dados e estruturas de mapeamento. Ele permite ingestão realizada uma vez ou contínua, de várias fontes e em vários formatos de dados. O esquema e os mapeamentos de tabela são sugeridos automaticamente e fáceis de modificar.
Visualização de dados versátil
A visualização de dados ajuda você a obter insights importantes. O Azure Data Explorer oferece visualização e painéis prontos para uso, com suporte para vários gráficos e visualizações. Ele tem integração nativa com o Power BI, conectores nativos para Grafana, Kibana e Databricks, suporte ODBC para Tableau, Sisense, Qlik e muito mais.
Ingestão, processamento e exportação automáticos
O Azure Data Explorer dá suporte a funções armazenadas no lado do servidor, à ingestão contínua e à exportação contínua para o Azure Data Lake Storage. Ele também dá suporte a transformações de mapeamento de tempo de ingestão no lado do servidor, políticas de atualização e agregações agendadas pré-comprimidas com exibições materializadas.
Fluxo do Gerenciador de dados do Azure
O diagrama a seguir mostra os diferentes aspectos de como trabalhar com o Data Explorer do Azure.
Em termos gerais, ao interagir com o Azure Data Explorer, você vai passar pelo seguinte fluxo de trabalho:
Observação
Você pode acessar seus recursos do Azure Data Explorer na interface do usuário da Web do Azure Data Explorer ou usando SDKs.
Criar banco de dados: Crie um cluster e crie um ou mais bancos de dados nesse cluster. Cada cluster do Azure Data Explorer pode conter até dez mil bancos de dados e cada banco de dados pode conter até dez mil tabelas. Os dados em cada tabela são armazenados em fragmentos de dados, também chamados de "extensões". Todos os dados são indexados e particionados automaticamente com base no tempo de ingestão. Isso significa que você pode armazenar muitos dados variados e, devido à maneira como eles são armazenados, você tem acesso rápido para consultá-los. Início rápido: Criar um cluster do Gerenciador de dados do Azure e o banco de dados
Ingerir dados: Carregue dados em tabelas de banco de dados para que você possa executar consultas sobre ele. O Azure Data Explorer é compatível com vários métodos de ingestão, cada qual com cenários de destino próprios. Esses métodos incluem ferramentas de ingestão, conectores e plug-ins para diversos serviços, pipelines gerenciados, ingestão programática usando SDKs e acesso direto à ingestão. Comece a usar a experiência de obtenção de dados.
Banco de dados de consulta: o Azure Data Explorer usa a Linguagem de Consulta Kusto, que é uma linguagem de consulta expressiva, intuitiva e altamente produtiva. Ela oferece uma transição suave de scripts simples de uma linha para scripts complexos de processamento de dados e dá suporte à consulta de dados estruturados, semiestruturados e não estruturados (pesquisa de texto). Há uma ampla variedade de operadores e funções de linguagem de consulta (agregação, filtragem, funções de séries temporais, funções geoespaciais, junções, uniões e muito mais) na linguagem. O KQL dá suporte a consultas entre clusters e bancos de dados e é um recurso rico de uma perspectiva de análise (json, XML e muito mais). A linguagem também dá suporte nativo à análise avançada.
Use o aplicativo Web para executar, examinar e compartilhar consultas e resultados. Você também pode enviar consultas programaticamente (usando um SDK) ou para um ponto de extremidade da API REST. Se você está familiarizado com o SQL, familiarize-se com o Roteiro do SQL para o Kusto. Início Rápido: Consultar dados na interface do usuário da Web do Azure Data Explorer
Visualizar resultados: use diferentes exibições visuais de seus dados nos painéis nativos do Azure Data Explorer. Você também pode exibir os resultados usando conectores para alguns dos principais serviços de visualização, como Power BI e Grafana. O Azure Data Explorer também tem suporte ao conector ODBC e JDBC para ferramentas como Tableau e Sisense.
Como fornecer comentários
Gostaríamos de receber seus comentários sobre o Azure Data Explorer e a linguagem de consulta Kusto em:
- Faça perguntas
- Faça sugestões de produto no User Voice