Dela via

Apache-scenarier med öppen källkod i Azure

  • Artikel

Microsoft är stolta över att stödja projekt, initiativ och fundament med öppen källkod och bidra till tusentals communityer med öppen källkod. Genom att använda tekniker med öppen källkod i Azure kan du köra program på ditt sätt samtidigt som du optimerar dina investeringar.

Den här artikeln innehåller en sammanfattning av arkitekturer och lösningar som använder Azure tillsammans med Apache-lösningar med öppen källkod.

Apache®, Apache Ignite, Ignite och flamlogotypen är antingen registrerade varumärken eller varumärken som tillhör Apache Software Foundation i USA och/eller andra länder. Inget godkännande från Apache Software Foundation underförstås av användningen av dessa märken.

Apache Cassandra

Arkitektur Sammanfattning Teknikfokus
Vägledning om datapartitionering Visa vägledning för hur du separerar datapartitioner som ska hanteras och nås separat. Förstå horisontella, vertikala och funktionella partitioneringsstrategier. Cassandra passar perfekt för vertikal partitionering. Databaser
N-nivåprogram med Apache Cassandra Distribuera virtuella Linux-datorer och ett virtuellt nätverk som konfigurerats för en N-nivåarkitektur med Apache Cassandra. Databaser
Icke-relationella data och NoSQL Lär dig mer om icke-relationsdatabaser som lagrar data som nyckel/värde-par, grafer, tidsserier, objekt och andra lagringsmodeller baserat på datakrav. Azure Cosmos DB för Apache Cassandra är en rekommenderad Azure-tjänst. Databaser
Köra Apache Cassandra på virtuella Azure-datorer Granska prestandaöverväganden för att köra Apache Cassandra på virtuella Azure-datorer. Använd dessa rekommendationer som baslinje för att testa mot din arbetsbelastning. Databaser
Dataströmbearbetning med fullständigt hanterade datamotorer med öppen källkod Strömma händelser med hjälp av fullständigt hanterade Azure-datatjänster. Använd tekniker med öppen källkod som Kafka, Kubernetes, Cassandra, PostgreSQL och Redis-komponenter. Analys

Apache CouchDB

Arkitektur Sammanfattning Teknikfokus
Baslinjewebbprogram med zonredundans Använd beprövade metoder i den här referensarkitekturen för att förbättra redundans, skalbarhet och prestanda i ett Azure App Service-webbprogram. CouchDB är en rekommenderad dokumentdatabas. Webb

Apache Hadoop

Arkitektur Sammanfattning Teknikfokus
Arkitekturer för stordata Lär dig mer om stordataarkitekturer som hanterar inmatning, bearbetning och analys av data som är för stora eller komplexa för traditionella databassystem. Azure HDInsight Hadoop-kluster kan användas för batchbearbetning. Databaser
Välj en dataöverföringsteknik Lär dig mer om alternativ för Azure-dataöverföring som Azure Import/Export-tjänsten, Azure Data Box, Azure Data Factory och kommandoradsverktyg och grafiska gränssnittsverktyg. Hadoop-ekosystemet tillhandahåller verktyg för dataöverföring. Databaser
Medborgar-AI med Power Platform Lär dig hur du använder Azure Machine Learning och Power Platform för att snabbt skapa ett maskininlärningsbevis för koncept och produktionsversion. Azure Data Lake, ett Hadoop-kompatibelt filsystem, lagrar data. AI
Dataöverväganden för mikrotjänster Lär dig mer om att hantera data i en arkitektur för mikrotjänster. Visa ett exempel som använder Azure Data Lake Store, ett Hadoop-filsystem. Mikrotjänster
Extrahera, transformera och läsa in Lär dig mer om ETL-pipelines (extract-transform-load-transform) och hur du använder kontrollflöden och dataflöden. Hadoop kan användas som måldatalager i ELT-processer. Analys
Materialiserat vymönster Generera förifyllda vyer över data i ett eller flera datalager när data inte är idealiskt formaterade för dina obligatoriska frågeåtgärder. Använd Hadoop för en lagringsmekanism för stordata som stöder indexering. Databaser
Förutsäga lånedebiteringar med HDInsight Spark Använd HDInsight och maskininlärning för att förutsäga sannolikheten för att lån debiteras. HDInsight stöder Hadoop. Databaser

Apache HBase

Arkitektur Sammanfattning Teknikfokus
Arkitekturer för stordata Lär dig mer om stordataarkitekturer som hanterar inmatning, bearbetning och analys av data som är för stora eller komplexa för traditionella databassystem. Du kan använda HBase för datapresentation i dessa scenarier. Databaser
Välj en lagringsteknik för stordata Jämför alternativ för stordatalagringsteknik i Azure. Innehåller en diskussion om HBase i HDInsight. Databaser
Välj ett analysdatalager Lär dig mer om hur du använder HBase för slumpmässig åtkomst och stark konsekvens för stora mängder ostrukturerade och halvstrukturerade data. Analys
Vägledning om datapartitionering Visa vägledning för att separera datapartitioner så att de kan hanteras och nås separat. Förstå horisontella, vertikala och funktionella partitioneringsstrategier. HBase passar perfekt för vertikal partitionering. Databaser
Icke-relationella data och NoSQL Lär dig mer om icke-relationsdatabaser som lagrar data som nyckel/värde-par, grafer, tidsserier, objekt och andra lagringsmodeller baserat på datakrav. HBase kan användas för kolumn- och tidsseriedata. Databaser

Apache Hive

Arkitektur Sammanfattning Teknikfokus
Arkitekturer för stordata Lär dig mer om stordataarkitekturer som hanterar inmatning, bearbetning och analys av data som är för stora eller komplexa för traditionella databassystem. Du kan använda Hive för batchbearbetning och datapresentation i dessa scenarier. Databaser
Välj en batchbearbetningsteknik Jämför teknikval för batchbearbetning av stordata i Azure. Lär dig mer om funktionerna i Hive. Analys
Välj ett analysdatalager Utvärdera alternativen för analysdatalager för stordata i Azure. Lär dig mer om funktionerna i Hive. Analys
Extrahera, transformera och läsa in Lär dig mer om pipelines för ETL- och ELT-datatransformering och hur du använder kontrollflöden och dataflöden. I ELT kan du använda Hive för att fråga efter källdata. Du kan också använda den tillsammans med Hadoop som ett datalager. Databaser
Förutsägelse av utlåning med HDInsight Spark-kluster Använd HDInsight och maskininlärning för att förutsäga sannolikheten för att lån debiteras. Analysresultat lagras i Hive-tabeller. Analys

Apache JMeter

Arkitektur Sammanfattning Teknikfokus
Molnomvandling för banksystem i Azure Använd simulerade och faktiska program och befintliga arbetsbelastningar för att övervaka reaktionen från en lösningsinfrastruktur för skalbarhet och prestanda. En anpassad JMeter-lösning används för belastningstestning. Migrering
Mönster och implementeringar för en omvandling av bankmoln Lär dig mer om de mönster och implementeringar som används för att transformera ett banksystem för molnet. JMeter används för belastningstestning. Migrering
Skalbara molnprogram och SRE Skapa skalbara molnprogram med hjälp av prestandamodellering och andra principer och metoder för platstillförlitlighetsutveckling (SRE). JMeter används för belastningstestning. Webb

Apache Kafka

Arkitektur Sammanfattning Teknikfokus
Programdataskydd för AKS-arbetsbelastningar i Azure NetApp Files Distribuera Astra Control Service med Azure NetApp Files för dataskydd, haveriberedskap och mobilitet för AkS-program (Azure Kubernetes Service), inklusive Kafka-program. Containers
Asynkrona meddelandealternativ Lär dig mer om asynkrona meddelandealternativ i Azure, inklusive stöd för Kafka-klienter. Integrering
Automatiserad styrning av fordonsflottan Lär dig mer om en metod från slutpunkt till slutpunkt för en oem-tillverkare (automotive original equipment manufacturer). Innehåller flera bibliotek med öppen källkod som du kan återanvända. Serverdelstjänster i den här arkitekturen kan ansluta till Kafka. Webb
Molnomvandling för banksystem i Azure Använd simulerade och faktiska program och befintliga arbetsbelastningar för att övervaka reaktionen från en lösningsinfrastruktur för skalbarhet och prestanda. Händelser från Event Hubs för Kafka matar in i systemet. Containers
Välj en dataströmbearbetningsteknik Jämför alternativ för bearbetning av meddelandeströmmar i realtid i Azure, inklusive Kafka-streams-API:et. Analys
Mönster för anspråkskontroll Granska mönstret Anspråkskontroll, som delar upp ett stort meddelande i en anspråkskontroll och en nyttolast för att undvika att överbelasta en meddelandebuss. Lär dig mer om ett exempel som använder Kafka för generering av anspråkskontroll. Integrering
Dataströmning med AKS Använd AKS till att enkelt mata in och bearbeta en dataström i realtid med miljontals datapunkter som samlas in av sensorer. Kafka lagrar data för analys. Containers
Pipelines för datainmatning, ETL och dataströmbearbetning med Azure Databricks Skapa ETL-pipelines för batch- och direktuppspelningsdata med Azure Databricks för att förenkla data lake-inmatning i valfri skala. Kafka är ett alternativ för att mata in data. Analys
Integrera Event Hubs med Azure Functions Lär dig hur du skapar, utvecklar och distribuerar effektiv och skalbar kod som körs på Azure Functions och svarar på Händelser i Azure Event Hubs. Lär dig hur händelser kan bevaras i Kafka-ämnen. Utan server
IoT-analys med Azure Data Explorer Använd Azure Data Explorer för IoT-telemetrianalys i nära realtid på snabbflytande strömmande data med hög volym från en mängd olika datakällor, inklusive Kafka. Analys
Datareplikering mellan stordatorer och mellanregister till Azure med Qlik Använd Qlik-replikering för att migrera stordatorer och mellanregistersystem till molnet, eller för att utöka sådana system med molnprogram. I den här lösningen lagrar Kafka ändringslogginformation som används för att replikera datalager. Stordator
Mönster och implementeringar för en omvandling av bankmoln Lär dig mer om de mönster och implementeringar som används för att transformera ett banksystem för molnet. En Kafka-skalning används för att identifiera om lösningen behöver aktivera eller inaktivera programdistribution. Utan server
Mönster för Publisher-Subscriber Lär dig mer om mönstret Publisher-Subscriber, som gör det möjligt för ett program att meddela händelser till många intresserade konsumenter asynkront. Kafka rekommenderas för meddelanden. Integrering
Mönster för hastighetsbegränsning Använd ett hastighetsbegränsningsmönster för att undvika eller minimera begränsningsfel. Det här mönstret kan implementera Kafka för meddelanden. Integrering
Omstrukturera stordatorprogram med Advanced Lär dig hur du använder den automatiserade COBOL-refaktoriseringslösningen från Advanced för att modernisera cobol-programmen för stordatorer, köra dem i Azure och minska kostnaderna. Kafka kan användas som datakälla. Stordator
Dataströmbearbetning med fullständigt hanterade datamotorer med öppen källkod Strömma händelser med hjälp av fullständigt hanterade Azure-datatjänster. Använd tekniker med öppen källkod som Kafka, Kubernetes, Cassandra, PostgreSQL och Redis-komponenter. Analys

Apache MapReduce

Arkitektur Sammanfattning Teknikfokus
Asynkrona meddelandealternativ Läs mer om asynkrona meddelandealternativ i Azure. Du kan använda MapReduce för att generera rapporter om händelser som registrerats av Event Hubs. Integrering
Arkitekturer för stordata Lär dig mer om stordataarkitekturer som hanterar inmatning, bearbetning och analys av data som är för stora eller komplexa för traditionella databassystem. Du kan använda MapReduce för batchbearbetning och för att tillhandahålla funktioner för parallella åtgärder i dessa scenarier. Databaser
Välj en batchbearbetningsteknik Lär dig mer om tekniker för batchbearbetning av stordata i Azure, inklusive HDInsight med MapReduce. Analys
Geode-mönster Distribuera serverdelstjänster till en uppsättning geografiska noder, som var och en kan hantera alla klientbegäranden i valfri region. Det här mönstret inträffar i stordataarkitekturer som använder MapReduce för att konsolidera resultat mellan datorer. Databaser
Minimera samordning Följ dessa rekommendationer för att förbättra skalbarheten genom att minimera samordningen mellan programtjänster. Använd MapReduce för att dela upp arbetet i oberoende uppgifter. Databaser

Apache Oozie

Arkitektur Sammanfattning Teknikfokus
Arkitekturer för stordata Lär dig mer om stordataarkitekturer som hanterar inmatning, bearbetning och analys av data som är för stora eller komplexa för traditionella databassystem. Du kan använda Oozie för orkestrering i dessa scenarier. Databaser
Välj en datapipelineorkestreringsteknik Lär dig mer om de viktigaste orkestreringsfunktionerna i Oozie. Databaser

Apache Solr

Arkitektur Sammanfattning Teknikfokus
Välj ett sökdatalager Lär dig mer om funktionerna i sökdatalager i Azure och de viktigaste kriterierna för att välja ett som bäst matchar dina behov. Lär dig mer om de viktigaste funktionerna i HDInsight med Solr. Databaser

Apache Spark

Arkitektur Sammanfattning Teknikfokus
Analys från slutpunkt till slutpunkt med Azure Synapse Lär dig hur du använder Azure Data Services för att skapa en modern analysplattform som kan hantera de vanligaste datautmaningarna. Analysmotorn för Spark-pooler är tillgänglig från Azure Synapse-arbetsytor. Analys
Batchbedömning av Spark på Azure Databricks Skapa en skalbar lösning för batchbedömning av en Apache Spark-klassificeringsmodell. AI
Arkitekturer för stordata Lär dig mer om stordataarkitekturer som hanterar inmatning, bearbetning och analys av data som är för stora eller komplexa för traditionella databassystem. Du kan använda Spark för batch- eller dataströmbearbetning och som ett analysdatalager. Databaser
Välj en batchbearbetningsteknik Jämför teknikval för batchbearbetning av stordata i Azure, inklusive alternativ för att implementera Spark. Analys
Välj en dataströmbearbetningsteknik Jämför alternativ för bearbetning av meddelandeströmmar i realtid i Azure, inklusive alternativ för att implementera Spark. Analys
Välj ett analysdatalager Utvärdera alternativen för analysdatalager för stordata i Azure. Lär dig mer om funktionerna i Azure Synapse Spark-pooler. Analys
Extrahera, transformera och läsa in Lär dig mer om ETL-pipelines (extract-transform-load-transform) och hur du använder kontrollflöden och dataflöden. I ELT kan du använda Spark för att fråga efter källdata. Du kan också använda den tillsammans med Hadoop som ett datalager. Databaser
Förutsägelser om lånets debitering med HDInsight Spark Använd HDInsight och maskininlärning för att förutsäga sannolikheten för att lån debiteras. Databaser
Många modellerar maskininlärning med Spark Lär dig mer om många modeller för maskininlärning i Azure. AI
Microsofts maskininlärningsprodukter Jämför alternativ för att skapa, distribuera och hantera dina maskininlärningsmodeller, inklusive Azure Databricks Spark-baserade analysplattformen och SynapseML. AI
Modernt informationslager för små och medelstora företag Använd Azure Synapse, Azure SQL Database och Azure Data Lake Storage för att modernisera äldre och lokala SMB-data. Verktyg på Azure Synapse-arbetsytan kan använda Spark-beräkningsfunktioner för att bearbeta data. Analys
Teknik för bearbetning av naturligt språk Välj en tjänst för bearbetning av naturligt språk för attitydanalys, ämnes- och språkidentifiering, extrahering av nyckelfraser och kategorisering av dokument. Lär dig mer om de viktigaste funktionerna i Azure HDInsight med Spark. AI
Observerbarhetsmönster och mått Lär dig hur du använder observerbarhetsmönster och mått för att förbättra bearbetningsprestandan för ett stordatasystem med hjälp av Azure Databricks. Azure Databricks-övervakningsbiblioteket strömmar Spark-händelser och Spark Structured Streaming-mått från jobb. Databaser
Dataströmbearbetning med fullständigt hanterade datamotorer med öppen källkod Strömma händelser med hjälp av fullständigt hanterade Azure-datatjänster. Använd tekniker med öppen källkod som Spark, Kafka, Kubernetes, Cassandra, PostgreSQL och Redis-komponenter. Analys

Apache Sqoop

Arkitektur Sammanfattning Teknikfokus
Arkitekturer för stordata Lär dig mer om stordataarkitekturer som hanterar inmatning, bearbetning och analys av data som är för stora eller komplexa för traditionella databassystem. I dessa scenarier kan du använda Sqoop för att automatisera orkestreringsarbetsflöden. Databaser
Välj en dataöverföringsteknik Lär dig mer om dataöverföringsalternativ som Azure Import/Export, Data Box och Sqoop. Databaser

Apache ZooKeeper

Arkitektur Sammanfattning Teknikfokus
Mönster för hastighetsbegränsning Använd ett hastighetsbegränsningsmönster för att undvika eller minimera begränsningsfel. I det här scenariot kan du använda ZooKeeper för att skapa ett system som beviljar tillfälliga lån till kapacitet. Integrering