Ingerir dados do Splunk para o Azure Data Explorer

Importante

Este conector pode ser usado em Real-Time Intelligence no Microsoft Fabric. Use as instruções incluídas neste artigo com as seguintes exceções:

• Se necessário, crie bancos de dados usando as instruções em Criar um banco de dados KQL.
• Se necessário, crie tabelas usando as instruções em Criar uma tabela vazia.
• Obtenha URIs de consulta ou ingestão usando as instruções em Copiar URI.
• Execute consultas em um KQL queryset.

Splunk Enterprise é uma plataforma de software que permite ingerir dados de várias fontes simultaneamente. O indexador Splunk processa os dados e os armazena por padrão no índice principal ou em um índice personalizado especificado. A pesquisa no Splunk usa os dados indexados para criar métricas, dashboards e alertas. O Azure Data Explorer é um serviço de exploração de dados rápido e altamente escalonável para dados telemétricos e de log.

Neste artigo, você aprenderá a usar o complemento splunk do Azure Data Explorer para enviar dados do Splunk para uma tabela em seu cluster. Inicialmente, você cria uma tabela e um mapeamento de dados, depois direciona o Splunk para enviar dados para a tabela e, em seguida, valida os resultados.

Os seguintes cenários são mais adequados para ingerir dados no Azure Data Explorer:

• Dados de alto volume: o Azure Data Explorer foi criado para manipular com eficiência grandes quantidades de dados. Se sua organização gerar um volume significativo de dados que precisa de análise em tempo real, o Azure Data Explorer será uma opção adequada.
• Dados de série temporal: o Azure Data Explorer se destaca no tratamento de dados de série temporal, como logs, dados de telemetria e leituras de sensor. Ele organiza dados em partições baseadas em tempo, facilitando a execução de análises e agregações baseadas em tempo.
• análise em tempo real: se sua organização exigir insights em tempo real dos dados que fluem, os recursos quase em tempo real do Azure Data Explorer poderão ser benéficos.

Pré-requisitos

• Uma conta Microsoft ou uma identidade de usuário do Microsoft Entra. Uma assinatura do Azure não é necessária.
• Um cluster e um banco de dados do Azure Data Explorer. Criar um cluster e um banco de dados.
• Splunk Enterprise 9 ou mais recente.
• Uma entidade de serviço do Microsoft Entra. Crie uma entidade de serviço Microsoft Entra.

Criar uma tabela e um objeto de mapeamento

Depois de ter um cluster e um banco de dados, crie uma tabela com um esquema que corresponda aos dados do Splunk. Você também cria um objeto de mapeamento usado para transformar os dados de entrada no esquema da tabela de destino.

No exemplo a seguir, você cria uma tabela chamada WeatherAlert com quatro colunas: Timestamp, Temperature, Humiditye Weather. Você também cria um novo mapeamento chamado WeatherAlert_Json_Mapping que extrai propriedades do json de entrada, conforme observado pelo path e as gera para o columnespecificado.

No editor de consultas de interface do usuário da Web, execute os seguintes comandos para criar a tabela e o mapeamento:

1. Crie uma tabela:

   .create table WeatherAlert (Timestamp: datetime, Temperature: string, Humidity: string, Weather: string)
   

2. Verifique se a tabela WeatherAlert foi criada e está vazia:

   WeatherAlert
   | count
   

3. Crie um objeto de mapeamento:

   .create table WeatherAlert ingestion json mapping "WeatherAlert_Json_Mapping"
       ```[{ "column" : "Timestamp", "datatype" : "datetime", "Properties":{"Path":"$.timestamp"}},
           { "column" : "Temperature", "datatype" : "string", "Properties":{"Path":"$.temperature"}},
           { "column" : "Humidity", "datatype" : "string", "Properties":{"Path":"$.humidity"}},
           { "column" : "Weather", "datatype" : "string", "Properties":{"Path":"$.weather_condition"}}
         ]```
   

4. Utilize a entidade de serviço dos Pré-requisitos para conceder permissão para trabalhar com a base de dados.

   .add database YOUR_DATABASE_NAME admins  ('aadapp=YOUR_APP_ID;YOUR_TENANT_ID') 'Entra App'
   

Instalar o complemento Splunk do Azure Data Explorer

O complemento Splunk se comunica com o Azure Data Explorer e envia os dados para a tabela especificada.

1. Baixe o Complemento do Azure Data Explorer.

2. Entre em sua instância do Splunk como administrador.

3. Acesse Aplicativos>Gerenciar Aplicativos.

4. Selecione Instalar aplicativo do arquivo e, em seguida, Complemento do Azure Data Explorer que você baixou.

5. Siga as instruções para concluir a instalação.

6. Selecione Reiniciar Agora.

7. Verifique se o complemento está instalado acessando o Painel>Ações de Alerta e procurando o Complemento do Azure Data Explorer.

   

Criar um novo índice no Splunk

Crie um índice no Splunk especificando os critérios para os dados que você deseja enviar ao Azure Data Explorer.

1. Entre em sua instância do Splunk como administrador.
2. Acesse as Configurações>dos Índices.
3. Especifique um nome para o índice e configure os critérios para os dados que você deseja enviar ao Azure Data Explorer.
4. Configure as propriedades restantes conforme necessário e salve o índice.

Configurar o complemento do Splunk para enviar dados ao Azure Data Explorer

1. Entre em sua instância do Splunk como administrador.

2. Vá para o painel e pesquise usando o índice que você criou anteriormente. Por exemplo, se você criou um índice chamado WeatherAlerts, pesquise index="WeatherAlerts".

3. Selecione Salvar como>Alerta.

4. Especifique o nome, o intervalo e as condições conforme necessário para o alerta.

   

5. Em Ações de Gatilho, selecione Adicionar Ações>Enviar ao Microsoft Azure Data Explorer.

   

6. Configure os detalhes das conexões, da seguinte maneira:

   Configuração	Descrição
   URL de Ingestão de Cluster	Especifique a URL de ingestão do cluster do Azure Data Explorer. Por exemplo, https://ingest-<mycluster>.<myregion>.kusto.windows.net.
   ID do Cliente	Especifique a ID do cliente do aplicativo Microsoft Entra criado anteriormente.
   Segredo do Cliente	Especifique o segredo do cliente do aplicativo Microsoft Entra criado anteriormente.
   ID do Locatário	Especifique a ID do locatário do aplicativo Microsoft Entra criado anteriormente.
   Backup de banco de dados	Especifique o nome do banco de dados para o qual você deseja enviar os dados.
   Tabela	Especifique o nome da tabela para a qual você deseja enviar os dados.
   Mapeamento	Especifique o nome do objeto de mapeamento criado anteriormente.
   Remover campos extras	Selecione esta opção para remover todos os campos vazios dos dados enviados para o cluster.
   Modo Durável	Selecione esta opção para habilitar o modo de durabilidade durante a ingestão. Quando definido como verdadeiro, a taxa de transferência de ingestão é afetada.

   

7. Selecione Salvar para salvar o alerta.

8. Vá para a página Alertas e verifique se o alerta aparece na lista de alertas.

   

Verifique se os dados são ingeridos no Azure Data Explorer

Depois que o alerta é disparado, os dados são enviados para a tabela do Azure Data Explorer. Você pode verificar se os dados são ingeridos executando uma consulta no editor de consultas da UI da web.

1. Execute a seguinte consulta para verificar se os dados são ingeridos na tabela:

   WeatherAlert
   | count
   

2. Execute a consulta a seguir para exibir os dados:

   WeatherAlert
   | take 100
   

   

Conteúdo relacionado

• Gravar consultas