Migrar do Splunk para os Logs do Azure Monitor

Os Logs do Azure Monitor são um serviço de observabilidade e monitoramento gerenciado baseado em nuvem que fornece muitas vantagens em termos de gerenciamento de custos, escalabilidade, flexibilidade, integração e baixa exigência de manutenção. O serviço foi projetado para lidar com grandes quantidades de dados e escalar facilmente a fim de atender às necessidades de organizações de todos os tamanhos.

Os Logs do Azure Monitor coletam dados de uma ampla variedade de fontes, incluindo logs de eventos do Windows, Syslog e logs personalizados, para fornecer uma exibição unificada de todos os recursos do Azure e não Azure. Usando uma linguagem de consulta sofisticada e uma visualização seleta, você pode analisar rapidamente milhões de registros para identificar, entender e responder a padrões críticos em seus dados de monitoramento.

Este artigo explica como migrar sua implantação de Observabilidade do Splunk para Logs do Azure Monitor para fins de registro em log e análise de dados de log.

Para obter informações sobre como migrar sua implantação de SIEM (Gerenciamento de Eventos e Informações de Segurança) do Splunk Enterprise Security para o Azure Sentinel, confira Planejar sua migração para o Microsoft Sentinel.

Por que migrar para o Azure Monitor?

Os benefícios de migrar para o Azure Monitor incluem:

• Plataforma de SaaS (Software como Serviço) totalmente gerenciada com:
  • Upgrades e dimensionamento automático.
  • Preço simples de pagamento conforme o uso por GB.
  • Recursos de otimização e monitoramento de custos e Planos de tabela Básicos e Auxiliares de baixo custo.
• Monitoramento e observabilidade nativos de nuvem, incluindo:
  • Monitoramento de ponta a ponta e em grande escala.
  • Monitoramento nativo de recursos do Azure.
  • Privacidade e conformidade.
• Integração nativa com um leque de serviços complementares do Azure, por exemplo, Microsoft Sentinel para gerenciamento de eventos e informações de segurança, Aplicativos Lógicos do Azure para automação, Espaço Gerenciado do Azure para Grafana para painéis e Azure Machine Learning para recursos de análise avançada e resposta.

Comparar ofertas

Oferta do Splunk	Product	Oferta do Azure
Plataforma Splunk	Plataforma Splunk Cloud Splunk Enterprise	Os Logs do Azure Monitor são uma plataforma SaaS (software como serviço) centralizada para coletar, analisar e agir com base em dados de telemetria gerados por recursos e aplicativos do Azure e não Azure.
Observabilidade do Splunk	Splunk Infrastructure Monitoring Monitoramento de Desempenho de Aplicativos Splunk Inteligência do Serviço de TI do Splunk	O Azure Monitor é uma solução de ponta a ponta para coletar, analisar e agir em relação a telemetria dos seus ambientes de nuvem, multinuvem e locais, criada com base em um pipeline avançado de ingestão de dados que é compartilhado com o Microsoft Sentinel. O Azure Monitor oferece às empresas uma solução abrangente para monitorar ambientes híbridos, locais e de nuvem, com isolamento de rede, recursos de resiliência e proteção contra falhas de data center, relatórios e recursos de alertas e resposta. Os recursos internos do Azure Monitor incluem: Insights do Azure Monitor – experiências de monitoramento prontas para uso e selecionadas com pesquisas, alertas, visualizações e entradas de dados pré-configuradas. Application Insights – fornece o APM (Gerenciamento de Desempenho de Aplicativos) para aplicativos Web dinâmicos. Funcionalidades de aprendizado de máquina internas e do AIOps do Azure Monitor – fornecem insights e ajudam a solucionar problemas e automatizar tarefas controladas por dados, como prever o uso da capacidade e dimensionamento automático, identificar e analisar problemas de desempenho do aplicativo e detectar comportamentos anômalos em máquinas virtuais, contêineres e outros recursos. Esses recursos não têm taxas de instalação.
Segurança do Splunk	Splunk Enterprise Security Splunk Mission Control Splunk SOAR	O Microsoft Sentinel é uma solução nativa de nuvem que é executada na plataforma Azure Monitor para fornecer análise de segurança inteligente e inteligência contra ameaças em toda a empresa.

Introdução aos principais conceitos

Logs do Azure Monitor	Conceito semelhante do Splunk	Descrição
Espaço de Trabalho do Log Analytics	Namespace	Um workspace do Log Analytics é um ambiente no qual você pode coletar dados de log de todos os recursos monitorados do Azure e não Azure. Os dados no workspace ficam disponíveis para consulta e análise, recursos do Azure Monitor e outros serviços do Azure. De forma semelhante a um namespace do Splunk, você pode gerenciar o acesso a dados e artefatos, como alertas e pastas de trabalho, no workspace do Log Analytics. Crie sua arquitetura de workspace do Log Analytics com base em suas necessidades, por exemplo, cobrança dividida, requisitos regionais de armazenamento de dados e considerações de resiliência.
Gerenciamento de tabela	Indexação	Os Logs do Azure Monitor ingerem dados de log em tabelas em um banco de dados gerenciado do Azure Data Explorer. Durante a ingestão, o serviço indexa e coloca carimbos de data/hora automaticamente nos dados, o que significa que você pode armazenar vários tipos de dados e acessá-los rapidamente usando consultas de KQL (Linguagem de Consulta Kusto). Use as propriedades da tabela para gerenciar o esquema de tabela, a retenção de dados e se deseja armazenar os dados para auditoria e solução de problemas ocasionais ou para análise e uso contínuos por recursos e serviços. Para obter uma comparação dos conceitos de tratamento e consulta do Splunk e do Azure Data Explorer, confira Mapa do Splunk para a Linguagem de Consulta Kusto.
Planos de tabelaAnálise, Básico e Auxiliar		Os Logs do Azure Monitor oferecem três planos de tabela que permitem reduzir os custos de ingestão e retenção de logs e aproveitar os recursos avançados e as funcionalidades de análise do Azure Monitor com base em suas necessidades. O plano de Análise disponibiliza dados de log para consultas interativas e uso por recursos e serviços. O plano Básico permite ingerir e reter logs a um custo reduzido para solução de problemas e resposta a incidentes. O plano de Auxiliar é uma maneira de ingerir e reter dados de baixo toque de logs, como logs detalhados e dados necessários para auditoria e conformidade.
Retenção de longo prazo	Estados de bucket de dados (muito frequente, frequente, esporádico, descongelado), arquivamento, DDAA (Arquivo Ativo de Dados Dinâmicos)	A opção econômica de retenção de longo prazo mantém seus logs no workspace do Log Analytics e permite que você acesse esses dados imediatamente, quando necessário. As alterações de configuração de retenção morto entram em vigor imediatamente porque os dados não são transferidos fisicamente para o armazenamento externo. Você pode restaurar dados em retenção de longo prazo ou executar um trabalho de pesquisa para disponibilizar um intervalo de tempo específico de dados para análise em tempo real.
Controle de acesso	Permissões, acesso de usuário baseado em função	Defina quais pessoas e recursos podem ler, gravar e executar operações em recursos específicos usando o RBAC (controle de acesso baseado em função) do Azure. Um usuário com acesso a um recurso tem acesso aos logs do recurso. O Azure facilita a segurança de dados e o gerenciamento de acesso com recursos como funções internas, funções personalizadas, herança de permissão de função e histórico de auditoria. Você também pode configurar o acesso no nível do workspace e o acesso no nível da tabela para controle de acesso granular a tipos de dados específicos.
Transformações de dados	Transformações, extrações de campo	As transformações permitem filtrar ou modificar dados recebidos antes de serem enviados a um workspace do Log Analytics. Use transformações para remover dados confidenciais, enriquecer dados em seu workspace do Log Analytics, executar cálculos e filtrar dados de que você não precisa a fim de reduzir os custos de dados.
Regras de coleta de dados	Entradas de dados, pipeline de dados	Defina quais dados coletar, como transformar esses dados e para onde enviá-los.
KQL (Kusto Query Language)	SPL (Linguagem de Processamento de Pesquisa) do Splunk	Os logs do Azure Monitor usam um grande subconjunto de KQL que é adequada para consultas de log simples, mas também inclui funcionalidades avançadas como agregações, junções e análises inteligentes. Use o Mapa do Splunk para a Linguagem de Consulta Kusto a fim de converter seu conhecimento da SPL do Splunk para a KQL. Você também pode aprender KQL com tutoriais e módulos de treinamento em KQL.
Log Analytics	Splunk Web, Aplicativo de pesquisa, Ferramenta dinâmica	Uma ferramenta no portal do Azure para editar e executar consultas de log nos Logs do Azure Monitor. O Log Analytics também fornece um conjunto avançado de ferramentas para explorar e visualizar dados sem usar KQL.
Otimização de custos		O Azure Monitor fornece ferramentas e práticas recomendadas para ajudá-lo a entender, monitorar e otimizar seus custos com base em suas necessidades.

1. Entender seu uso atual

Seu uso atual no Splunk ajudará você a decidir qual tipo de preço selecionar no Azure Monitor e estimará seus custos futuros:

• Siga as diretrizes do Splunk para exibir seu relatório de uso.
• Estimativas de custo do Azure Monitor usando a Calculadora de preços.

2. Configurar um workspace do Log Analytics

Seu workspace do Log Analytics é onde você coleta dados de log de todos os seus recursos monitorados. Você pode reter dados em um workspace do Log Analytics por até sete anos. O arquivamento de dados de baixo custo dentro do workspace permite acessar dados em retenção de longo prazo de forma rápida e fácil quando necessário, sem a sobrecarga de gerenciar um armazenamento de dados externo.

Recomendamos coletar todos os seus dados de log em um único workspace do Log Analytics para facilitar o gerenciamento. Se você estiver considerando usar vários workspaces, confira Criar uma arquitetura de workspace do Log Analytics.

Para configurar um workspace do Log Analytics para coleta de dados:

1. Criar um espaço de trabalho do Log Analytics.

   Os Logs do Azure Monitor criam tabelas do Azure em seu workspace automaticamente com base nos serviços do Azure usados por você e na configuração de coleta de dados definida para recursos do Azure.

2. Configurar o workspace do Log Analytics, incluindo:

   1. Tipo de preço.
   2. Vincule seu workspace do Log Analytics a um cluster dedicado para aproveitar os recursos avançados, se você estiver qualificado, com base no tipo de preço.
   3. Limite diário.
   4. Retenção de dados.
   5. Isolamento de rede.
   6. Controle de acesso.

3. Use as definições de configuração no nível da tabela para:

   1. Defina o plano de dados de log de cada tabela.

      O plano de dados de log padrão é o Analytics, que permite aproveitar os recursos avançados de monitoramento e análise do Azure Monitor.

   2. Defina uma política de retenção e arquivamento de dados para tabelas específicas, se você precisar que elas sejam diferentes da política de arquivamento e retenção de dados no nível do workspace.

   3. Modifique o esquema de tabela com base no modelo de dados.

3. Migrar artefatos do Splunk para o Azure Monitor

Para migrar a maioria dos artefatos do Splunk, você precisará converter SPL (Splunk Processing Language) para KQL (Linguagem de Consulta Kusto). Para obter mais informações, confira o Mapa do Splunk para a Linguagem de Consulta Kusto e Introdução às consultas de log no Azure Monitor.

Esta tabela lista artefatos do Splunk e vincula à diretrizes para configuração dos artefatos equivalentes no Azure Monitor:

Artefato Splunk	Artefato do Azure Monitor
Alertas	Regras de alerta
Ações de alerta	Grupos de ação
Monitoramento da infraestrutura	OsInsights do Azure Monitor são um conjunto de experiências de monitoramento prontas para uso e coletadas com entradas de dados pré-configuradas, pesquisas, alertas e visualizações para que você comece a analisar dados de forma rápida e eficaz.
Dashboards	Pastas de trabalho
Pesquisas	O Azure Monitor fornece várias maneiras de enriquecer dados, incluindo: - Regras de coleta de dados, que permitem enviar dados de várias fontes para um workspace do Log Analytics e executar cálculos e transformações antes da ingestão dos dados. – Operadores KQL, como o operador join, que combina dados de tabelas diferentes, e o operador externaldata, que retorna dados do armazenamento externo. – Integração com serviços, como o Azure Machine Learning ou os Hubs de Eventos do Azure, para aplicar aprendizado de máquina avançado e fluxo em mais dados.
Namespaces	Você pode conceder ou limitar a permissão a artefatos no Azure Monitor com base no controle de acesso definido no workspace do Log Analytics ou nos grupos de recursos do Azure.
Permissões	Gerenciamento de acesso
Relatórios	O Azure Monitor oferece uma variedade de opções para analisar, visualizar e compartilhar dados, incluindo: - Integração com o Grafana - Insights - Workbooks - Dashboards - Integração com o Power BI - Integração com o Excel
Searches	Consultas
Tipos de origem	Definir seu modelo de dados no workspace do Log Analytics. Use transformações de tempo de ingestão para filtrar, formatar ou modificar dados de entrada.
Métodos de coleta de dados	Confira Coletar dados para ferramentas do Azure Monitor projetadas para recursos específicos.

Para obter informações sobre como migrar artefatos SIEM do Splunk, incluindo regras de detecção e automação SOAR, confira Planejar sua migração para o Microsoft Sentinel.

4. Coletar dados

O Azure Monitor fornece ferramentas para coletar dados de fontes de dados de log em recursos do Azure e não Azure em seu ambiente.

Para coletar dados de um recurso:

1. Configure a ferramenta de coleta de dados relevante com base na tabela abaixo.
2. Decida quais dados você precisa coletar do recurso.
3. Use transformações para remover dados confidenciais, enriquecer dados ou executar cálculos e filtrar os dados de que você não precisa para reduzir os custos.

Esta tabela lista as ferramentas que o Azure Monitor fornece para coletar dados de vários tipos de recursos.

Tipo de recurso	Ferramenta de coleta de dados	Ferramenta Splunk semelhante	Dados coletados
Azure	Configurações de Diagnóstico		Locatário do Azure - os logs de auditoria do Microsoft Entra fornecem o histórico de atividades de entrada e a trilha de auditoria das alterações feitas em um locatário. Recursos do Azure – logs e contadores de desempenho. Assinatura do Azure – registros de integridade do serviço, além de registros de alterações de configuração feitas nos recursos da assinatura do Azure.
Aplicativo	Application Insights	Monitoramento de Desempenho de Aplicativos Splunk	Dados de monitoramento de desempenho de aplicativos.
Contêiner	Insights do contêiner	Monitoramento de contêineres	Dados de desempenho do contêiner.
Sistema operacional	Agente do Azure Monitor	Encaminhador Universal, Encaminhador do Heavy	Dados de monitoramento do sistema operacional convidado do Máquinas Virtuais do Azure e de outros.
Origem não Azure	API de ingestão de logs	HEC (Coletor de Eventos) HTTP	Logs baseados em arquivo e todos os dados enviados para um ponto de extremidade de coleta de dados em um recurso monitorado.

5. Migrar para logs do Azure Monitor

Uma abordagem comum é fazer a transição gradual para os Logs do Azure Monitor, mantendo os dados históricos no Splunk. Durante esse período, você pode:

• Usar a API de ingestão de log para ingerir dados do Splunk.
• Usar a exportação de dados do workspace do Log Analytics para exportar dados do Azure Monitor.

Para exportar seus dados históricos do Splunk:

1. Use um dos métodos de exportação do Splunk para exportar dados no formato CSV.
2. Para coletar os dados exportados:

   1. Use o Agente do Azure Monitor para coletar os dados exportados do Splunk, conforme descrito em Coletar logs de texto com o Agente do Azure Monitor.

      ou

   2. Colete os dados exportados diretamente com a API de Ingestão de Logs, conforme descrito em Enviar dados para logs do Azure Monitor usando uma API REST.

Próximas etapas

• Saiba mais sobre como usar o Log Analytics e a API de Consulta do Log Analytics.
• Habilitar o Microsoft Sentinel no workspace do Log Analytics.
• Faça o módulo de treinamento Analisar logs no Azure Monitor com KQL.