Del via

Oversikt over datakoblinger

  • Artikkel

Datainntak er prosessen som brukes til å laste inn data fra én eller flere kilder til en KQL-database for sanntidsintelligens i Microsoft Fabric. Når de er inntatt, blir dataene tilgjengelige for spørring. Sanntidsintelligens inneholder flere koblinger for datainntak.

Tabellen nedenfor oppsummerer de tilgjengelige datakoblingene, verktøyene og integreringene.

Name Funksjon Støtter strømming? Type Brukstilfeller
Apache Flink Inntak ✔️ Åpen kilde Telemetri
Apache Kafka Inntak ✔️ Åpen kilde Logger, telemetri, tidsserie
Apache Log4J 2 Inntak ✔️ Åpen kilde Logger
Apache Spark Eksporter
Inntak		 Åpen kilde Telemetri
Apache Spark for Azure Synapse Analytics Eksporter
Inntak		 Førstepart Telemetri
Azure Data Factory Eksporter
Inntak		 Førstepart Dataorganisering
Azure Event Hubs Inntak ✔️ Førstepart Meldinger
Azure Functions Eksporter
Inntak		 Førstepart Arbeidsflytintegreringer
Azure Stream Analytics Inntak ✔️ Førstepart Hendelsesbehandling
Cribl Stream Inntak ✔️ Førstepart Telemetri, logger, måledata, maskindata
Fluent Bit Inntak ✔️ Åpen kilde Logger, måledata, sporinger
Logstash Inntak Åpen kilde Logger
NLog Inntak ✔️ Åpen kilde Telemetri, logger, måledata
Åpne telemetri Inntak ✔️ Åpen kilde Sporinger, måledata, logger
Power Automate Eksporter
Inntak		 Førstepart Dataorganisering
Serilog Inntak ✔️ Åpen kilde Logger
Splunk Inntak Åpen kilde Logger
Splunk Universal Forwarder Inntak Åpen kilde Logger
Telegraf Inntak ✔️ Åpen kilde Måledata, logger

Tabellen nedenfor oppsummerer de tilgjengelige koblingene og funksjonene deres:

Apache Flink er et rammeverk og distribuert behandlingsmotor for tilstandsfulle beregninger over ubundne og avgrensede datastrømmer. Koblingen implementerer datavask for flytting av data på tvers av Azure Data Explorer- og Flink-klynger. Ved hjelp av Azure Data Explorer og Apache Flink kan du bygge raske og skalerbare programmer rettet mot datadrevne scenarier. Maskinlæring (ML), Extract-Transform-Load (ETL) og Log Analytics.

Apache Kafka

Apache Kafka er en distribuert strømmeplattform for bygging av datasamlebånd i sanntid som på en pålitelig måte flytter data mellom systemer eller programmer. Kafka Connect er et verktøy for skalerbar og pålitelig strømming av data mellom Apache Kafka og andre datasystemer. Kafka sink fungerer som koblingen fra Kafka og krever ikke bruk av kode. Koblingen er gullsertifisert av Confluent og gikk gjennom omfattende gjennomgang og testing for kvalitet, funksjonsfullhet, samsvar med standarder og for ytelse.

Apache Log4J 2

Log4J er et populært loggingsrammeverk for Java-programmer vedlikeholdt av Apache Foundation. Log4j gjør det mulig for utviklere å kontrollere hvilke loggsetninger som er utdata med vilkårlig detaljnivå basert på loggerens navn, loggernivå og meldingsmønster. Apache Log4J 2-vasken lar deg strømme loggdataene til databasen, der du kan analysere og visualisere loggene i sanntid.

Apache Spark

Apache Spark er en enhetlig analysemotor for databehandling i stor skala. Spark-koblingen er et åpen kilde prosjekt som kan kjøre på en hvilken som helst Spark-klynge. Den implementerer datakilde og datavask for å flytte data til eller fra Spark-klynger. Ved hjelp av Apache Spark-koblingen kan du bygge raske og skalerbare programmer rettet mot datadrevne scenarier. Maskinlæring (ML), Extract-Transform-Load (ETL) og Log Analytics. Med koblingen blir databasen et gyldig datalager for standard Spark-kilde- og vaskoperasjoner, for eksempel lese, skrive og skrivestrøm.

Apache Spark for Azure Synapse Analytics

Apache Spark er et parallelt behandlingsrammeverk som støtter minnebehandling for å øke ytelsen til store dataanalyseprogrammer. Apache Spark i Azure Synapse Analytics er en av Microsofts implementeringer av Apache Spark i skyen. Du kan få tilgang til en database fra Synapse Studio med Apache Spark for Azure Synapse Analytics.

Azure Data Factory

Azure Data Factory (ADF) er en skybasert dataintegrasjonstjeneste som lar deg integrere ulike datalagre og utføre aktiviteter på dataene.

Azure Event Hubs

Azure Event Hubs er en plattform for strømming av store data og hendelsesinntakstjenester. Du kan konfigurere kontinuerlig inntak fra kundeadministrerte hendelseshuber.

Azure Functions

Med Azure Functions kan du kjøre serverløs kode i skyen etter en tidsplan eller som svar på en hendelse. Med inndata- og utdatabindinger for Azure Functions kan du integrere databasen i arbeidsflytene for å innta data og kjøre spørringer mot databasen.

Azure Stream Analytics

Azure Stream Analytics er en analyse i sanntid og en kompleks motor for hendelsesbehandling som er utformet for å behandle store mengder raske strømmingsdata fra flere kilder samtidig.

Cribl Stream

Cribl Stream er en behandlingsmotor som sikkert samler inn, behandler og strømmer maskinhendelsesdata fra en hvilken som helst kilde. Den lar deg analysere og behandle dataene for alle mål for analyse.

  • Funksjonalitet: Inntak
  • Inntakstype som støttes: Batching, Strømming
  • Brukstilfeller: Maskindatabehandling, inkludert logger, måledata, instrumenteringsdata
  • Dokumentasjon: Hent data fra Cribl Stream

Fluent Bit

Fluent Bit er en åpen kildekode-agent som samler inn logger, måledata og sporinger fra ulike kilder. Den lar deg filtrere, endre og aggregere hendelsesdata før du sender dem til lagring.

Logstash

Plugin-modulen Logstash gjør det mulig å behandle hendelser fra Logstash til en database for senere analyse.

NLog

NLog er en fleksibel og gratis loggingsplattform for ulike .NET-plattformer, inkludert .NET-standard. Med NLog kan du skrive til flere mål, for eksempel en database, fil eller konsoll. Med NLog kan du endre loggingskonfigurasjonen på farten. NLog-vasken er et mål for NLog som lar deg sende loggmeldingene til databasen. Plugin-modulen gir en effektiv måte å senke loggene til klyngen på.

OpenTelemetry

OpenTelemetry-koblingen støtter inntak av data fra mange mottakere til databasen. Det fungerer som en bro for å innta data generert av OpenTelemetry til databasen ved å tilpasse formatet til de eksporterte dataene etter dine behov.

Power Automate

Power Automate er en orkestreringstjeneste som brukes til å automatisere forretningsprosesser. ( Power Automate tidligere Microsoft Flow)-koblingen gjør det mulig å organisere og planlegge flyter, sende varsler og varsler, som en del av en planlagt eller utløst oppgave.

Serilog

Serilog er et populært loggingsstruktur for .NET-programmer. Serilog lar utviklere kontrollere hvilke loggsetninger som sendes ut med vilkårlig kornethet basert på loggerens navn, loggernivå og meldingsmønster. Serilog-vasken, også kjent som en tilføying, strømmer loggdataene til databasen, der du kan analysere og visualisere loggene i sanntid.

Splunk

Splunk Enterprise er en programvareplattform som lar deg innta data fra mange kilder samtidig. Azure Data Explorer-tillegget sender data fra Splunk til en tabell i klyngen.

Splunk Universal Forwarder

Telegraf

Telegraf er en åpen kilde, lett, minimal minnefotutskriftsagent for innsamling, behandling og skriving av telemetridata, inkludert logger, måledata og IoT-data. Telegraf støtter hundrevis av inndata- og utdatatillegg. Det er mye brukt og godt støttet av åpen kilde fellesskapet. Plugin-modulen for utdata fungerer som kobling fra Telegraf og støtter inntak av data fra mange typer inndatatillegg i databasen.