Introducción a las integraciones
Hay muchos conectores de datos, herramientas e integraciones que funcionan perfectamente con la plataforma para la ingesta, orquestación, salida y consulta de datos. Este documento es una introducción general de alto nivel sobre los conectores, herramientas e integraciones disponibles. Se proporciona información detallada para cada conector, junto con vínculos a su documentación completa.
Para obtener páginas de información general sobre un tipo específico de integración, seleccione uno de los siguientes botones.
Tablas de comparación
En las tablas siguientes se resumen las funcionalidades de cada elemento. Seleccione la pestaña correspondiente a conectores o herramientas e integraciones. Cada nombre de elemento está vinculado a su descripción detallada.
En la tabla siguiente se resumen los conectores disponibles y sus funcionalidades:
Nombre | Ingesta | Exportación | Organizar | Consultar |
---|---|---|---|---|
Apache Kafka | ✔️ | |||
Apache Flink | ✔️ | |||
Apache Log4J 2 | ✔️ | |||
Spark de Apache | ✔️ | ✔️ | ✔️ | |
Apache Spark para Azure Synapse Analytics | ✔️ | ✔️ | ✔️ | |
Azure Cosmos DB | ✔️ | |||
Azure Data Factory | ✔️ | ✔️ | ||
Azure Event Grid | ✔️ | |||
Azure Event Hubs | ✔️ | |||
Funciones de Azure | ✔️ | ✔️ | ||
Instancias de Azure IoT Hub | ✔️ | |||
Azure Stream Analytics | ✔️ | |||
Cribl Stream | ✔️ | |||
Fluent Bit | ✔️ | |||
JDBC | ✔️ | |||
Logic Apps | ✔️ | ✔️ | ✔️ | |
Logstash | ✔️ | |||
Matlab | ✔️ | |||
NLog | ✔️ | |||
ODBC | ✔️ | |||
Abrir telemetría | ✔️ | |||
Power Apps | ✔️ | ✔️ | ||
Power Automate | ✔️ | ✔️ | ✔️ | |
Serilog | ✔️ | |||
Splunk | ✔️ | |||
Reenviador universal de Splunk | ✔️ | |||
Telegraf | ✔️ |
Descripciones detalladas
A continuación se muestran descripciones detalladas de conectores e integraciones. Seleccione la pestaña correspondiente a conectores o herramientas e integraciones. Todos los elementos disponibles se resumen en las Tablas comparativas anteriores.
Apache Kafka
Apache Kafka es una plataforma de streaming distribuida para la creación de canalizaciones de streaming de datos en tiempo real que mueve los datos de forma confiable entre aplicaciones o sistemas. Kafka Connect es una herramienta para realizar streaming de datos de forma escalable y confiable entre Apache Kafka y otros sistemas de datos. El receptor de Kafka actúa como conector de Kafka y no necesita que se use código. Tiene la certificación Oro de Confluent: ha pasado por una revisión completa y pruebas de calidad, integridad de características, cumplimiento de estándares y rendimiento.
- Funcionalidad: Ingesta
- Tipo de ingesta admitido: procesamiento por lotes, streaming
- Casos de uso: registros, telemetría, serie temporal
- SDK subyacente: Java
- Repositorio: Microsoft Azure - https://github.com/Azure/kafka-sink-azure-kusto/
- Documentación: Ingesta de datos desde Apache Kafka
- Blog de la comunidad: Ingesta de Kafka en Azure Data Explorer
Apache Flink
Apache Flink es un marco y un motor de procesamiento distribuido para cálculos con estado mediante flujos de datos enlazados y no enlazados. El conector implementa el receptor de datos para mover datos entre los clústeres de Azure Data Explorer y de Flink. Con Azure Data Explorer y Apache Flink, puede compilar aplicaciones rápidas y escalables orientadas a escenarios controlados por datos. Por ejemplo, aprendizaje automático (ML), extracción, transformación y carga de datos (ETL) y Log Analytics.
- Funcionalidad: Ingesta
- Tipo de ingesta admitido: streaming
- Casos de uso: telemetría
- SDK subyacente: Java
- Repositorio: Microsoft Azure - https://github.com/Azure/flink-connector-kusto/
- Documentación: Ingesta de datos de Apache Flink
Apache Log4J 2
Log4J es un conocido marco de registro para aplicaciones Java mantenido por Apache Foundation. Log4j permite a los desarrolladores controlar qué instrucciones de registro se generan con granularidad arbitraria en función del nombre del registrador, el nivel del registrador y el patrón de mensaje. El receptor Apache Log4J 2 permite transmitir los datos de registro a la base de datos, donde puede analizar y visualizar los registros en tiempo real.
- Funcionalidad: Ingesta
- Tipo de ingesta admitido: procesamiento por lotes, streaming
- Casos de uso: registros
- SDK subyacente: Java
- Repositorio: Microsoft Azure - https://github.com/Azure/azure-kusto-log4j
- Documentación: Ingestar datos con el conector Apache Log4J 2
- Blog de la comunidad: Cómo empezar con Apache Log4J y Azure Data Explorer
Apache Spark
Apache Spark es un motor de análisis unificado para el procesamiento de datos a gran escala. El conector Spark es un proyecto de código abierto que se puede ejecutar en cualquier clúster de Spark. Implementa el origen y el receptor de datos para mover datos a o desde clústeres de Spark. Con el conector Apache Spark, puede compilar aplicaciones rápidas y escalables orientadas a escenarios controlados por datos. Por ejemplo, aprendizaje automático (ML), extracción, transformación y carga de datos (ETL) y Log Analytics. Con el conector, la base de datos se convierte en un almacén de datos válido para las operaciones estándar de origen y receptor de Spark, como las de escritura, lectura y writeStream.
- Funcionalidad: ingesta, exportación
- Tipo de ingesta admitido: procesamiento por lotes, streaming
- Casos de uso: telemetría
- SDK subyacente: Java
- Repositorio: Microsoft Azure - https://github.com/Azure/azure-kusto-spark/
- Documentación: Conector Apache Spark
- Blog de la comunidad: Preprocesamiento de datos para Azure Data Explorer para Azure Data Explorer con Apache Spark
Apache Spark para Azure Synapse Analytics
Apache Spark es una plataforma de procesamiento paralelo que admite el procesamiento en memoria para mejorar el rendimiento de las aplicaciones de análisis de macrodatos. Apache Spark en Azure Synapse Analytics es una de las implementaciones de Microsoft de Apache Spark en la nube. Puede acceder a una base de datos desde Synapse Studio con Apache Spark para Azure Synapse Analytics.
- Funcionalidad: ingesta, exportación
- Tipo de ingesta admitido: procesamiento por lotes
- Casos de uso: telemetría
- SDK subyacente: Java
- Documentación: Conectarse a un área de trabajo Azure Synapse
Azure Cosmos DB
La conexión de datos de alimentación de cambios Azure Cosmos DB es una canalización de ingestión que escucha la alimentación de cambios de Cosmos DB e ingiere los datos en la base de datos.
- Funcionalidad: Ingesta
- Tipo de ingesta admitido: procesamiento por lotes, streaming
- Casos de uso: Cambiar alimentación
- Documentación: Ingestar datos desde Azure Cosmos DB (Versión preliminar)
Azure Data Factory
Azure Data Factory (ADF) es un servicio de integración de datos basado en la nube que le permite integrar diferentes almacenes de datos y realizar actividades en los datos.
- Funcionalidad: ingesta, exportación
- Tipo de ingesta admitido: procesamiento por lotes
- Casos de uso: orquestación de datos
- Documentación: Copiar datos a su base de datos mediante Azure Data Factory
Azure Event Grid
La ingesta de Event Grid es una canalización que escucha Azure Storage y actualiza la base de datos para extraer información cuando se producen eventos suscritos. Puede configurar la ingesta continua desde Azure Storage (Blob Storage y ADLSv2) con una suscripción de Azure Event Grid para las notificaciones de blob creadas o con el nombre del blob y transmitir las notificaciones a través de Azure Event Hubs.
- Funcionalidad: Ingesta
- Tipo de ingesta admitido: procesamiento por lotes, streaming
- Casos de uso: procesamiento de eventos
- Documentación: Conexión de datos de Event Grid
Azure Event Hubs
Azure Event Hubs es una plataforma de streaming de macrodatos y un servicio de ingesta de eventos. Puede configurar la ingesta continua desde una instancia de Event Hubs administrada por el cliente.
- Funcionalidad: Ingesta
- Tipo de ingesta admitido: procesamiento por lotes, streaming
- Documentación: Conexión de datos de Azure Event Hubs
Funciones de Azure
Azure Functions le permite ejecutar código sin servidor en la nube según una programación o en respuesta a un evento. Con los enlaces de entrada y salida para Azure Functions, puede integrar la base de datos en los flujos de trabajo para ingerir datos y ejecutar consultas en la base de datos.
- Funcionalidad: ingesta, exportación
- Tipo de ingesta admitido: procesamiento por lotes
- Casos de uso: integraciones de flujo de trabajo
- Documentación: Integración de Azure Functions utilizando enlaces de entrada y salida (versión preliminar)
- Blog de la comunidad: Azure Data Explorer (Kusto) Bindings para Azure Functions
Instancias de Azure IoT Hub
Azure IoT Hub es un servicio administrado, hospedado en la nube, que actúa como centro de mensajes para las comunicaciones bidireccionales entre la aplicación IoT y los dispositivos que administra. Puede configurar la ingesta continua desde IoT Hubs administrados por el cliente, utilizando su Event Hubs compatible integrado en el punto de conexión de mensajes de dispositivo a la nube.
- Funcionalidad: Ingesta
- Tipo de ingesta admitido: procesamiento por lotes, streaming
- Casos de uso: Datos IoT
- Documentación: Conexión de datos IoT Hub
Azure Stream Analytics
Azure Stream Analytics es un motor de procesamiento de eventos complejos y de análisis en tiempo real que está diseñado para analizar y procesar grandes volúmenes de datos de streaming rápido de varios orígenes de manera simultánea.
- Funcionalidad: Ingesta
- Tipo de ingesta admitido: procesamiento por lotes, streaming
- Casos de uso: procesamiento de eventos
- Documentación: Ingerir datos de Azure Stream Analytics
Cribl Stream
Cribl Stream es un motor de procesamiento que recopila, procesa y transmite de forma segura los datos de eventos de la máquina de cualquier origen. Permite analizar y procesar los datos de cualquier destino para el análisis.
- Funcionalidad: Ingesta
- Tipo de ingesta admitido: procesamiento por lotes, streaming
- Casos de uso: procesamiento de datos de máquinas, incluidos registros, métricas y datos de instrumentación
- Documentación: Ingesta de datos de Cribl Stream en Azure Data Explorer
Fluent Bit
Fluent Bit es un agente de código abierto que recopila registros, métricas y seguimientos de varios orígenes. Permite filtrar, modificar y agregar datos de eventos antes de enviarlos al almacenamiento.
- Funcionalidad: Ingesta
- Tipo de ingesta admitido: procesamiento por lotes
- Casos de uso: registros, métricas, seguimientos
- Repositorio: Complemento de salida Kusto de Fluent-bit
- Documentación: Ingesta de datos con Fluent Bit en Azure Data Explorer
- Blog de la comunidad: Cómo empezar con Fluent bit y Azure Data Explorer
JDBC
Java Database Connectivity (JDBC) es una API de Java que se usa para conectarse a bases de datos y ejecutar consultas. Puede usar JDBC para conectarse a Azure Data Explorer.
- Funcionalidad: Consulta, visualización
- SDK subyacente: Java
- Documentación: Conectarse a Azure Data Explorer con JDBC
Logic Apps
El conector Microsoft Logic Apps permite ejecutar consultas y comandos automáticamente como parte de una tarea programada o activada.
- Funcionalidad: ingesta, exportación
- Tipo de ingesta admitido: procesamiento por lotes
- Casos de uso: orquestación de datos
- Documentación: Microsoft Logic Apps y Azure Data Explorer
Logstash
El complemento Logstash le permite procesar eventos de Logstash en una base de datos de Azure Data Explorer para su análisis posterior.
- Funcionalidad: Ingesta
- Tipo de ingesta admitido: procesamiento por lotes
- Casos de uso: registros
- SDK subyacente: Java
- Repositorio: Microsoft Azure - https://github.com/Azure/logstash-output-kusto/
- Documentación: Ingesta de datos desde Logstash
- Blog de la comunidad: Cómo migrar de Elasticsearch a Azure Data Explorer
Matlab
MATLAB es una plataforma de programación y computación numérica que se usa para analizar datos, desarrollar algoritmos y crear modelos. Puede obtener un token de autorización en MATLAB para consultar los datos en Azure Data Explorer.
- Funcionalidad: Consulta
- Documentación: Consulta de datos con MATLAB
NLog
NLog es una plataforma de registro flexible y gratuita para varias plataformas de .NET, incluido .NET Standard. NLog permite escribir en varios destinos, como una base de datos, un archivo o una consola. Con NLog, puede cambiar la configuración de registro sobre la marcha. El receptor de NLog es un destino de NLog que le permite enviar los mensajes de registro a la base de datos. El complemento proporciona una manera eficaz de recibir los registros en el clúster.
- Funcionalidad: Ingesta
- Tipo de ingesta admitido: procesamiento por lotes, streaming
- Casos de uso: telemetría, registros, métricas
- SDK subyacente: .NET
- Repositorio: Microsoft Azure - https://github.com/Azure/azure-kusto-nlog-sink
- Documentación: Ingesta de datos con el receptor NLog
- Blog de la Comunidad: Cómo empezar con el receptor NLog y Azure Data Explorer
ODBC
La conectividad abierta de bases de datos (ODBC) es una interfaz de programación de aplicaciones (API) ampliamente aceptada para el acceso a bases de datos. Azure Data Explorer es compatible con un subconjunto del protocolo de comunicación de SQL Server (MS-TDS). Esta compatibilidad permite el uso del controlador ODBC para SQL Server con Azure Data Explorer.
- Funcionalidad: Ingesta
- Tipo de ingesta admitido: procesamiento por lotes, streaming
- Casos de uso: telemetría, registros, métricas
- Documentación: Conectarse a Azure Data Explorer con ODBC
Abrir telemetría
El conector OpenTelemetry admite la ingesta de datos de muchos receptores en la base de datos. Funciona como un puente para ingerir datos generados por OpenTelemetry en la base de datos mediante la personalización del formato de los datos exportados según las necesidades.
- Funcionalidad: Ingesta
- Tipo de ingesta admitido: procesamiento por lotes, streaming
- Casos de uso: seguimientos, métricas, registros
- SDK subyacente: Go
- Repositorio: OpenTelemetry- https://github.com/open-telemetry/opentelemetry-collector-contrib/tree/main/exporter/azuredataexplorerexporter
- Documentación: Ingesta de datos de OpenTelemetry
- Blog de la Comunidad: Cómo empezar con Open Telemetry y Azure Data Explorer
PowerApps
Power Apps es un conjunto de aplicaciones, servicios, conectores y plataforma de datos que proporciona un entorno de desarrollo rápido de aplicaciones que permite crear aplicaciones personalizadas que se conectan a sus datos empresariales. El conector de Power Apps es útil si tiene una colección grande y en aumento de datos de streaming en Azure Data Explorer y quiere crear una aplicación funcional y con poco código que utilice estos datos.
- Funcionalidad: Consulta, Ingestión, Exportación
- Tipo de ingesta admitido: procesamiento por lotes
- Documentación: Utilizar Power Apps para consultar datos en Azure Data Explorer
Power Automate
Power Automate es un servicio de orquestación que se usa para automatizar procesos empresariales. El conector Power Automate (anteriormente Microsoft Flow) le permite organizar y programar flujos, enviar notificaciones y alertas, como parte de una tarea programada o desencadenada.
- Funcionalidad: ingesta, exportación
- Tipo de ingesta admitido: procesamiento por lotes
- Casos de uso: orquestación de datos
- Documentación: Conector Microsoft Power Automate
Serilog
Serilog es un conocido marco de registro para aplicaciones .NET. Serilog permite a los desarrolladores controlar qué instrucciones de registro se generan con granularidad arbitraria en función del nombre del registrador, el nivel del registrador y el patrón de mensaje. El receptor Serilog, también denominado anexador, permite transmitir los datos de registro a la base de datos, donde puede analizar y visualizar los registros en tiempo real.
- Funcionalidad: Ingesta
- Tipo de ingesta admitido: procesamiento por lotes, streaming
- Casos de uso: registros
- SDK subyacente: .NET
- Repositorio: Microsoft Azure - https://github.com/Azure/serilog-sinks-azuredataexplorer
- Documentación: Ingesta de datos con el receptor Serilog
- Blog de la comunidad: Cómo empezar con el receptor Serilog y Azure Data Explorer
Splunk
Splunk Enterprise es una plataforma de software que permite ingerir datos de muchos orígenes simultáneamente. El complemento Azure Data Explorer envía datos de Splunk a una tabla del clúster.
- Funcionalidad: Ingesta
- Tipo de ingesta admitido: procesamiento por lotes
- Casos de uso: registros
- SDK subyacente: Python
- Repositorio: Microsoft Azure - https://github.com/Azure/azure-kusto-splunk/tree/main/splunk-adx-alert-addon
- Documentación: Ingestar datos desde Splunk
- Splunk Base: Complemento de Microsoft Azure Data Explorer para Splunk
- Blog de la comunidad: Cómo empezar con el complemento Microsoft Azure Data Explorer para Splunk
Reenviador universal de Splunk
- Funcionalidad: Ingesta
- Tipo de ingesta admitido: procesamiento por lotes
- Casos de uso: registros
- Repositorio: Microsoft Azure - https://github.com/Azure/azure-kusto-splunk
- Documentación: Ingestar datos desde el reenviador Splunk Universal a Azure Data Explorer
- Blog de la comunidad: Ingestar datos usando el reenviador Splunk Universal en Azure Data Explorer
Telegraf
Telegraf es un agente con huella de memoria mínima, ligero y de código abierto para recopilar, procesar y escribir datos de telemetría, incluidos registros, métricas y datos de IoT. Telegraf admite cientos de complementos de entrada y salida. Es ampliamente utilizado y cuenta con el soporte técnico de la comunidad de código abierto. El complemento de salida actúa como conector de Telegraf y admite la ingesta de datos de muchos tipos de complementos de entrada en la base de datos.
- Funcionalidad: Ingesta
- Tipo de ingesta admitido: procesamiento por lotes, streaming
- Casos de uso: telemetría, registros, métricas
- SDK subyacente: Go
- Repositorio: InfluxData - https://github.com/influxdata/telegraf/tree/master/plugins/outputs/azure_data_explorer
- Documentación: Ingestar datos desde Telegraf
- Blog de la comunidad: El nuevo complemento de salida Azure Data Explorer para Telegraf permite monitorizar SQL a gran escala