Dela via

Översikt över dataanslutningsprogram

  • Artikel

Datainmatning är den process som används för att läsa in data från en eller flera källor till en KQL-databas för realtidsinformation i Microsoft Fabric. När data har matats in blir de tillgängliga för frågor. Realtidsinformation tillhandahåller flera anslutningsappar för datainmatning.

I följande tabell sammanfattas tillgängliga dataanslutningar, verktyg och integreringar.

Name Funktioner Har du stöd för strömning? Typ Användningsfall
Apache Flink Intag ✔️ Öppen källkod Telemetri
Apache Kafka Intag ✔️ Öppen källkod Loggar, telemetri, tidsserier
Apache Log4J 2 Intag ✔️ Öppen källkod Loggar
Apache Spark Exporteraera
Intag		 Öppen källkod Telemetri
Apache Spark för Azure Synapse Analytics Exporteraera
Intag		 Första part Telemetri
Azure Data Factory Exporteraera
Intag		 Första part Dataorkestrering
Azure Event Hubs Intag ✔️ Första part Meddelandetjänster
Azure Functions Exporteraera
Intag		 Första part Arbetsflödesintegreringar
Azure Stream Analytics Intag ✔️ Första part Händelsebearbetning
Cribl Stream Intag ✔️ Första part Telemetri, loggar, mått, datordata
Fluent-bit Intag ✔️ Öppen källkod Loggar, mått, spårningar
Logstash Intag Öppen källkod Loggar
NLog Intag ✔️ Öppen källkod Telemetri, loggar, mått
Öppna telemetri Intag ✔️ Öppen källkod Spårningar, mått, loggar
Power Automate Exporteraera
Intag		 Första part Dataorkestrering
Serilog Intag ✔️ Öppen källkod Loggar
Splunk Intag Öppen källkod Loggar
Splunk Universal Forwarder Intag Öppen källkod Loggar
Telegraf Intag ✔️ Öppen källkod Mått, loggar

I följande tabell sammanfattas tillgängliga anslutningsappar och deras funktioner:

Apache Flink är ett ramverk och en distribuerad bearbetningsmotor för tillståndskänsliga beräkningar över obundna och begränsade dataströmmar. Anslutningsappen implementerar datamottagare för att flytta data mellan Azure Data Explorer- och Flink-kluster. Med Azure Data Explorer och Apache Flink kan du skapa snabba och skalbara program som riktar sig till datadrivna scenarier. Till exempel maskininlärning (ML), Extract-Transform-Load (ETL) och Log Analytics.

Apache Kafka

Apache Kafka är en distribuerad strömningsplattform för att skapa strömmande datapipelines i realtid som på ett tillförlitligt sätt flyttar data mellan system eller program. Kafka Connect är ett verktyg för skalbar och tillförlitlig strömning av data mellan Apache Kafka och andra datasystem. Kafka Sink fungerar som anslutningsapp från Kafka och kräver inte att du använder kod. Anslutningsappen är guldcertifierad av Confluent och har genomgått omfattande granskning och testning för kvalitet, funktions fullständighet, efterlevnad av standarder och för prestanda.

Apache Log4J 2

Log4J är ett populärt loggningsramverk för Java-program som underhålls av Apache Foundation. Med Log4j kan utvecklare styra vilka logginstruktioner som utdata med godtycklig kornighet baserat på loggarens namn, loggningsnivå och meddelandemönster. Med Apache Log4J 2-mottagaren kan du strömma dina loggdata till databasen, där du kan analysera och visualisera dina loggar i realtid.

Apache Spark

Apache Spark är en enhetlig analysmotor för storskalig databearbetning. Spark-anslutningsappen är ett öppen källkod projekt som kan köras på alla Spark-kluster. Den implementerar datakälla och datamottagare för att flytta data till eller från Spark-kluster. Med hjälp av Apache Spark-anslutningsappen kan du skapa snabba och skalbara program som riktar sig till datadrivna scenarier. Till exempel maskininlärning (ML), Extract-Transform-Load (ETL) och Log Analytics. Med anslutningsappen blir databasen ett giltigt datalager för vanliga Spark-käll- och mottagaråtgärder, till exempel läsning, skrivning och writeStream.

Apache Spark för Azure Synapse Analytics

Apache Spark är ett ramverk för parallell bearbetning som stöder minnesintern bearbetning för att öka prestandan för analysprogram för stordata. Apache Spark i Azure Synapse Analytics är en av Microsofts implementeringar av Apache Spark i molnet. Du kan komma åt en databas från Synapse Studio med Apache Spark för Azure Synapse Analytics.

Azure Data Factory

Azure Data Factory (ADF) är en molnbaserad dataintegreringstjänst som gör att du kan integrera olika datalager och utföra aktiviteter på data.

Azure Event Hubs

Azure Event Hubs är en stordataströmningsplattform och händelseinmatningstjänst. Du kan konfigurera kontinuerlig inmatning från kundhanterade händelsehubbar.

Azure Functions

Med Azure Functions kan du köra serverlös kod i molnet enligt ett schema eller som svar på en händelse. Med indata- och utdatabindningar för Azure Functions kan du integrera databasen i dina arbetsflöden för att mata in data och köra frågor mot databasen.

Azure Stream Analytics

Azure Stream Analytics är en analysmotor i realtid och en komplex händelsebearbetningsmotor som är utformad för att bearbeta stora volymer snabbuppspelningsdata från flera källor samtidigt.

Cribl Stream

Cribl Stream är en bearbetningsmotor som på ett säkert sätt samlar in, bearbetar och strömmar datorhändelsedata från alla källor. Det gör att du kan parsa och bearbeta dessa data för alla mål för analys.

  • Funktioner: Inmatning
  • Inmatningstyp som stöds: Batchbearbetning, direktuppspelning
  • Användningsfall: Bearbetning av datordata, inklusive loggar, mått, instrumentationsdata
  • Dokumentation: Hämta data från Cribl Stream

Fluent-bit

Fluent Bit är en agent med öppen källkod som samlar in loggar, mått och spårningar från olika källor. Du kan filtrera, ändra och aggregera händelsedata innan du skickar dem till lagringen.

Logstash

Med Logstash-plugin-programmet kan du bearbeta händelser från Logstash till en databas för senare analys.

NLog

NLog är en flexibel och kostnadsfri loggningsplattform för olika .NET-plattformar, inklusive .NET-standard. Med NLog kan du skriva till flera mål, till exempel en databas, fil eller konsol. Med NLog kan du ändra loggningskonfigurationen direkt. NLog-mottagaren är ett mål för NLog som gör att du kan skicka dina loggmeddelanden till databasen. Plugin-programmet är ett effektivt sätt att sänka loggarna till klustret.

OpenTelemetry

OpenTelemetry-anslutningsappen stöder inmatning av data från många mottagare till databasen. Det fungerar som en brygga för att mata in data som genereras av OpenTelemetry till databasen genom att anpassa formatet för exporterade data efter dina behov.

Power Automate

Power Automate är en orkestreringstjänst som används för att automatisera affärsprocesser. Med anslutningsappen Power Automate (tidigare Microsoft Flow) kan du samordna och schemalägga flöden, skicka meddelanden och aviseringar som en del av en schemalagd eller utlöst uppgift.

Serilog

Serilog är ett populärt loggningsramverk för .NET-program. Med Serilog kan utvecklare styra vilka loggutdrag som är utdata med godtycklig kornighet baserat på loggarens namn, loggningsnivå och meddelandemönster. Serilog-mottagaren, även känd som ett tillägg, strömmar dina loggdata till databasen, där du kan analysera och visualisera dina loggar i realtid.

Splunk

Splunk Enterprise är en programvaruplattform som gör att du kan mata in data från många källor samtidigt. Azure Data Explorer-tillägget skickar data från Splunk till en tabell i klustret.

Splunk Universal Forwarder

Telegraf

Telegraf är en öppen källkod, lätt, minimal minnesfotsutskriftsagent för insamling, bearbetning och skrivning av telemetridata, inklusive loggar, mått och IoT-data. Telegraf stöder hundratals plugin-program för in- och utdata. Det används ofta och stöds väl av öppen källkod community. Plugin-programmet för utdata fungerar som anslutningsapp från Telegraf och stöder inmatning av data från många typer av indata-plugin-program till databasen.