Ingesta de datos de Splunk en Azure Data Explorer

Importante

Este conector se puede usar en Inteligencia de tiempo real en Microsoft Fabric. Use las instrucciones de este artículo con las siguientes excepciones:

• Si es necesario, cree una bases de datos con las instrucciones de Crear una base de datos KQL.
• Si es necesario, cree tablas con las instrucciones de Crear una tabla vacía.
• Obtenga los URI de consulta o ingesta mediante las instrucciones de Copiar URI.
• Ejecute consultas en un Conjunto de consultas KQL.

Splunk Enterprise es una plataforma de software que permite ingerir datos de muchos orígenes simultáneamente. El indexador Splunk procesa los datos y los almacena de forma predeterminada en el índice principal o en un índice personalizado especificado. La búsqueda en Splunk usa los datos indexados para crear métricas, paneles y alertas. El Explorador de datos de Azure es un servicio de exploración de datos altamente escalable y rápido para datos de telemetría y registro.

En este artículo, obtendrá información sobre cómo el complemento Splunk de Azure Data Explorer para enviar datos de Splunk a una tabla del clúster. Inicialmente se crea una tabla y una asignación de datos, luego se indica a Splunk que envíe datos a la tabla y luego se validan los resultados.

Los siguientes escenarios son más adecuados para ingerir datos en Azure Data Explorer:

• Datos de gran volumen: Azure Data Explorer se crea para controlar de forma eficaz grandes cantidades de datos. Si la organización genera un volumen significativo de datos que necesita análisis en tiempo real, Azure Data Explorer es una opción adecuada.
• Datos de serie temporal: Azure Data Explorer destaca en el control de datos de serie temporal, como registros, datos de telemetría y lecturas de sensores. Organiza los datos en particiones basadas en tiempo, lo que facilita la realización de análisis y agregaciones basados en tiempo.
• Análisis en tiempo real: si su organización necesita información en tiempo real de los datos que recibe, las capacidades casi en tiempo real de Azure Data Explorer pueden ser beneficiosas.

Requisitos previos

• Una cuenta de Microsoft o una identidad de usuario de Microsoft Entra. No se necesita una suscripción a Azure.
• Un clúster y la base de datos de Azure Data Explorer. Cree un clúster y una base de datos.
• Splunk Enterprise 9 o posterior.
• Una entidad de servicio de Microsoft Entra. Crear una entidad de servicio de Microsoft Entra.

Crear una tabla y un objeto de asignación

Después de tener un clúster y una base de datos, cree una tabla con un esquema que coincida con los datos de Splunk. También se crea un objeto de asignación que se usa para transformar los datos recibidos en el esquema de la tabla de destino.

En el ejemplo siguiente, creará una tabla denominada WeatherAlert con cuatro columnas: Timestamp, Temperature, Humidity y Weather. También se crea una nueva asignación denominada WeatherAlert_Json_Mapping que extrae las propiedades del json entrante, como se indica en el path y las envía al column especificado.

En el editor de consultas de UI, ejecute los siguientes comandos para crear la tabla y la asignación:

1. Creación de una tabla:

   .create table WeatherAlert (Timestamp: datetime, Temperature: string, Humidity: string, Weather: string)
   

2. Compruebe que la tabla WeatherAlert se creó y está vacía:

   WeatherAlert
   | count
   

3. Cree un objeto de asignación:

   .create table WeatherAlert ingestion json mapping "WeatherAlert_Json_Mapping"
       ```[{ "column" : "Timestamp", "datatype" : "datetime", "Properties":{"Path":"$.timestamp"}},
           { "column" : "Temperature", "datatype" : "string", "Properties":{"Path":"$.temperature"}},
           { "column" : "Humidity", "datatype" : "string", "Properties":{"Path":"$.humidity"}},
           { "column" : "Weather", "datatype" : "string", "Properties":{"Path":"$.weather_condition"}}
         ]```
   

4. Use la entidad de servicio de los requisitos previos para conceder permiso para trabajar con la base de datos.

   .add database YOUR_DATABASE_NAME admins  ('aadapp=YOUR_APP_ID;YOUR_TENANT_ID') 'Entra App'
   

Instalación del complemento Splunk de Azure Data Explorer

El complemento Splunk se comunica con Azure Data Explorer y envía los datos a la tabla especificada.

1. Descargue el complemento de Azure Data Explorer.

2. Inicie sesión en la instancia de Splunk como administrador.

3. Vaya a Aplicaciones>Administrar aplicaciones.

4. Seleccione Instalar aplicación desde el archivo y luego el archivo complemento de Azure Data Explorer que descargó.

5. Siga los mensajes que aparecen en pantalla para completar la instalación.

6. Seleccione Reiniciar ahora.

7. Compruebe que el complemento está instalado; para ello, vaya a Panel>Acciones de alerta y busque complemento de Azure Data Explorer.

   

Crear un nuevo índice en Splunk

Cree un índice en Splunk especificando los criterios para los datos que desea enviar a Azure Data Explorer.

1. Inicie sesión en la instancia de Splunk como administrador.
2. Vaya a Configuración>Índices.
3. Especifique un nombre para el índice y configure los criterios de los datos que desea enviar a Azure Data Explorer.
4. Configure las propiedades restantes según sea necesario y guarde el índice.

Configuración del complemento Splunk para enviar datos a Azure Data Explorer

1. Inicie sesión en la instancia de Splunk como administrador.

2. Vaya al panel y busque con el índice que creó anteriormente. Por ejemplo, si creó un índice denominado WeatherAlerts, busque index="WeatherAlerts".

3. Seleccione Guardar como>Alerta.

4. Especifique el nombre, el intervalo y las condiciones según sea necesario para la alerta.

   

5. En Acciones de desencadenador, seleccione Agregar acciones>Enviar a Microsoft Azure Data Explorer.

   

6. Configure los detalles de las conexiones, como se indica a continuación:

   Configuración	Descripción
   Dirección URL de ingesta del clúster	Especifique la dirección URL de ingesta del clúster de Azure Data Explorer. Por ejemplo, https://ingest-<mycluster>.<myregion>.kusto.windows.net.
   Id de cliente	Especifique el id. de cliente de la aplicación Microsoft Entra que creó anteriormente.
   Secreto de cliente	Especifique el secreto de cliente de la aplicación Microsoft Entra que creó anteriormente.
   Id. de inquilino	Especifique el id. de inquilino de la aplicación Microsoft Entra que creó anteriormente.
   Base de datos	Especifique el nombre de la base de datos a la que desea enviar los datos.
   Tabla	Especifique el nombre de la tabla a la que desea enviar los datos.
   Asignación	Especifique el nombre del objeto de asignación que creó anteriormente.
   Quitar campos adicionales	Seleccione esta opción para quitar los campos vacíos de los datos enviados al clúster.
   Modo duradero	Seleccione esta opción para habilitar el modo de durabilidad durante la ingesta. Cuando se establece en verdadero, el rendimiento de la ingesta se ve afectado.

   

7. Seleccione Guardar para guardar la alerta.

8. Vaya a la página Alertas y compruebe que la alerta aparece en la lista de alertas.

   

Comprobar que los datos se ingieren en Azure Data Explorer

Una vez desencadenada la alerta, los datos se envían a la tabla de Azure Data Explorer. Puede comprobar que los datos se ingieren ejecutando una consulta en el editor de consultas de la UI web.

1. Ejecute la consulta siguiente para comprobar que los datos se ingieren en la tabla:

   WeatherAlert
   | count
   

2. Ejecute la siguiente consulta para ver los datos:

   WeatherAlert
   | take 100
   

   

Contenido relacionado

• Escritura de consultas