Sdílet prostřednictvím

Opensourcové scénáře Apache v Azure

  • Článek

Microsoft je hrdý na podporu opensourcových projektů, iniciativ a základů a přispívá k tisícům opensourcových komunit. Pomocí opensourcových technologií v Azure můžete své aplikace spouštět při optimalizaci investic.

Tento článek obsahuje souhrn architektur a řešení, která používají Azure společně s opensourcovými řešeními Apache.

Apache®, Apache Ignite, Ignite a logo plamene jsou registrované ochranné známky nebo ochranné známky Apache Software Foundation v USA a/nebo v jiných zemích. Použití těchto značek nevyžaduje žádné doporučení Apache Software Foundation.

Apache Cassandra

Architektura Shrnutí Zaměření na technologie
Pokyny k dělení dat Podívejte se na pokyny k oddělení datových oddílů, které se mají spravovat a přistupovat k němu samostatně. Seznamte se se strategiemi horizontálního, vertikálního a funkčního dělení. Cassandra je ideální pro vertikální dělení. Databáze
Vysoká dostupnost ve veřejném mec Azure Zjistěte, jak nasadit úlohy v aktivním pohotovostním režimu, abyste dosáhli vysoké dostupnosti a zotavení po havárii ve veřejných výpočetních prostředcích Azure s více přístupy. Cassandra se dá použít k podpoře geografické replikace. Hybridní
N-vrstvá aplikace s Apache Cassandra Nasaďte virtuální počítače s Linuxem a virtuální síť nakonfigurovanou pro N-vrstvou architekturu pomocí Apache Cassandra. Databáze
Nerelační data a NoSQL Seznamte se s nerelačními databázemi, které ukládají data jako páry klíč-hodnota, grafy, časové řady, objekty a další modely úložiště na základě požadavků na data. Azure Cosmos DB pro Apache Cassandra je doporučená služba Azure. Databáze
Spuštění Apache Cassandra na virtuálních počítačích Azure Prozkoumejte aspekty výkonu pro spouštění Apache Cassandra na virtuálních počítačích Azure. Tato doporučení použijte jako směrný plán k testování vašich úloh. Databáze
Zpracování datových proudů pomocí plně spravovaných opensourcových datových modulů Streamování událostí pomocí plně spravovaných datových služeb Azure Používejte opensourcové technologie, jako jsou kafka, Kubernetes, Cassandra, PostgreSQL a komponenty Redis. Analýzy

Apache CouchDB

Architektura Shrnutí Zaměření na technologie
Standardní webová aplikace s redundancí zón Osvědčené postupy v této referenční architektuře použijte ke zlepšení redundance, škálovatelnosti a výkonu ve webové aplikaci Aplikace Azure Service. CouchDB je doporučená databáze dokumentů. Web

Apache Hadoop

Architektura Shrnutí Zaměření na technologie
Architektura velkých objemů dat Seznamte se s architekturami pro velké objemy dat, které zpracovávají příjem, zpracování a analýzu dat, která jsou pro tradiční databázové systémy příliš velká nebo složitá. Clustery Azure HDInsight Hadoop je možné použít k dávkovému zpracování. Databáze
Volba technologie přenosu dat Seznamte se s možnostmi přenosu dat Azure, jako jsou služba Azure Import/Export, Azure Data Box, Azure Data Factory a nástroje příkazového řádku a grafického rozhraní. Ekosystém Hadoop poskytuje nástroje pro přenos dat. Databáze
Citizen AI s Power Platform Naučte se používat Azure Machine Learning a Power Platform k rychlému vytvoření testování konceptu a produkční verze strojového učení. Azure Data Lake, systém souborů kompatibilní se systémem Hadoop, ukládá data. Umělá inteligence
Důležité informace o datech pro mikroslužby Přečtěte si o správě dat v architektuře mikroslužeb. Podívejte se na příklad, který používá Azure Data Lake Store, systém souborů Hadoop. Mikroslužby
Extrakce, transformace a načítání Přečtěte si o kanálech transformace dat extrakce a transformace transformací dat (ETL) a extrakci a transformaci dat (ELT) a o tom, jak používat toky řízení a toky dat. Hadoop lze použít jako cílové úložiště dat v procesech ELT. Analýzy
Model materializovaného zobrazení Vygenerujte předem vyplněná zobrazení dat v jednom nebo několika úložištích dat, pokud nejsou data ideálně naformátovaná pro požadované operace dotazu. Hadoop použijte pro mechanismus úložiště velkých objemů dat, který podporuje indexování. Databáze
Predikce poplatků za půjčky pomocí HDInsight Sparku Pomocí HDInsightu a strojového učení můžete předpovědět pravděpodobnost, že se půjčky budou účtovat. HDInsight podporuje Hadoop. Databáze

Apache HBase

Architektura Shrnutí Zaměření na technologie
Architektura velkých objemů dat Seznamte se s architekturami pro velké objemy dat, které zpracovávají příjem, zpracování a analýzu dat, která jsou pro tradiční databázové systémy příliš velká nebo složitá. V těchto scénářích můžete použít HBase pro prezentaci dat. Databáze
Volba technologie úložiště pro velké objemy dat Porovnejte možnosti technologie úložiště velkých objemů dat v Azure. Obsahuje diskuzi o HBase ve službě HDInsight. Databáze
Volba analytického úložiště dat Seznamte se s používáním HBase pro náhodný přístup a silnou konzistenci pro velké objemy nestrukturovaných a částečně strukturovaných dat. Analýzy
Pokyny k dělení dat Prohlédnou si pokyny k oddělení datových oddílů, aby je bylo možné spravovat a přistupovat samostatně. Seznamte se se strategiemi horizontálního, vertikálního a funkčního dělení. HBase je ideální pro vertikální dělení. Databáze
Nerelační data a NoSQL Seznamte se s nerelačními databázemi, které ukládají data jako páry klíč-hodnota, grafy, časové řady, objekty a další modely úložiště na základě požadavků na data. HBase lze použít pro sloupcová data a data časových řad. Databáze

Apache Hive

Architektura Shrnutí Zaměření na technologie
Architektura velkých objemů dat Seznamte se s architekturami pro velké objemy dat, které zpracovávají příjem, zpracování a analýzu dat, která jsou pro tradiční databázové systémy příliš velká nebo složitá. Hive můžete použít k dávkovému zpracování a prezentaci dat v těchto scénářích. Databáze
Volba technologie dávkového zpracování Porovnejte volby technologií pro dávkové zpracování velkých objemů dat v Azure. Seznamte se s možnostmi Hivu. Analýzy
Volba analytického úložiště dat Vyhodnoťte možnosti analytického úložiště dat pro velké objemy dat v Azure. Seznamte se s možnostmi Hivu. Analýzy
Extrakce, transformace a načítání Přečtěte si o kanálech transformace dat ETL a ELT a o tom, jak používat toky řízení a toky dat. V ELT můžete použít Hive k dotazování zdrojových dat. Můžete ho také použít společně s Hadoopem jako úložiště dat. Databáze
Predikce zapůjčení půjčky s clustery HDInsight Spark Pomocí HDInsightu a strojového učení můžete předpovědět pravděpodobnost, že se půjčky budou účtovat. Výsledky analýzy se ukládají v tabulkách Hive. Analýzy
Prediktivní monitorování leteckých motorů Naučte se kombinovat data letadel v reálném čase s analýzou a vytvořit řešení pro prediktivní monitorování a stav motoru letadla. Skripty Hive poskytují agregace nezpracovaných událostí archivovaných službou Azure Stream Analytics. Analýzy

Apache JMeter

Architektura Shrnutí Zaměření na technologie
Transformace cloudu bankovního systému v Azure Pomocí simulovaných a skutečných aplikací a stávajících úloh můžete monitorovat reakci infrastruktury řešení pro zajištění škálovatelnosti a výkonu. Vlastní řešení JMeter se používá pro zátěžové testování. Migrace
Vzory a implementace pro transformaci bankovního cloudu Seznamte se se vzory a implementacemi používanými k transformaci bankovního systému pro cloud. JMeter se používá pro zátěžové testování. Migrace
Škálovatelné cloudové aplikace a SRE Vytváření škálovatelných cloudových aplikací s využitím modelování výkonu a dalších principů a postupů přípravy SRE (Site Reliability Engineering). JMeter se používá pro zátěžové testování. Web

Apache Kafka

Architektura Shrnutí Zaměření na technologie
Ochrana dat aplikací pro úlohy AKS ve službě Azure NetApp Files Nasaďte službu Astra Control Service se službou Azure NetApp Files pro ochranu dat, zotavení po havárii a mobilitu pro aplikace Azure Kubernetes Service (AKS), včetně aplikací Kafka. Kontejnery
Možnosti asynchronního zasílání zpráv Seznamte se s možnostmi asynchronního zasílání zpráv v Azure, včetně podpory pro klienty Kafka. Integrace
Řízení vozového parku automatizovaných vozidel s asistencí Přečtěte si o komplexním přístupu výrobce OEM (Automotive Original Equipment Manufacturer). Obsahuje několik opensourcových knihoven, které můžete znovu použít. Back-endové služby v této architektuře se můžou připojit k Systému Kafka. Web
Transformace cloudu bankovního systému v Azure Pomocí simulovaných a skutečných aplikací a stávajících úloh můžete monitorovat reakci infrastruktury řešení pro zajištění škálovatelnosti a výkonu. Události ze služby Event Hubs pro Kanál Kafka do systému. Kontejnery
Volba technologie zpracování datových proudů Porovnejte možnosti zpracování datových proudů zpráv v reálném čase v Azure, včetně rozhraní KAFKA Streams API. Analýzy
Model kontroly deklarací identity Prozkoumejte vzor kontroly deklarace identity, který rozdělí velkou zprávu na kontrolu deklarací identity a datovou část, abyste se vyhnuli zahlcení sběrnice zpráv. Přečtěte si o příkladu, který používá Kafka pro generování kontroly deklarací identity. Integrace
Streamování dat pomocí AKS S použitím AKS můžete jednoduše ingestovat a zpracovávat v reálném čase datový proud s milióny datových bodů shromážděných prostřednictvím senzorů. Kafka ukládá data pro analýzu. Kontejnery
Kanály pro příjem dat, ETL a zpracování datových proudů pomocí Azure Databricks Vytvářejte kanály ETL pro dávková a streamovaná data pomocí Azure Databricks, abyste zjednodušili příjem dat v libovolném měřítku. Kafka je jednou z možností ingestování dat. Analýzy
Integrace služby Event Hubs se službou Azure Functions Naučte se navrhovat, vyvíjet a nasazovat efektivní a škálovatelný kód, který běží ve službě Azure Functions a reaguje na události služby Azure Event Hubs. Přečtěte si, jak se dají události uchovávat v tématech Kafka. Bezserverová architektura
Analýzy IoT pomocí Azure Data Exploreru Azure Data Explorer můžete použít k analýze telemetrie IoT téměř v reálném čase při rychlém toku dat s velkým objemem streamovaných dat z různých zdrojů dat, včetně Kafka. Analýzy
Mainframe a midrange data replication to Azure using Qlik Pomocí replikace Qlik můžete migrovat sálové a střední systémy do cloudu nebo rozšířit tyto systémy s cloudovými aplikacemi. V tomto řešení kafka ukládá informace protokolu změn, které se používají k replikaci úložišť dat. Mainframe
Vzory a implementace pro transformaci bankovního cloudu Seznamte se se vzory a implementacemi používanými k transformaci bankovního systému pro cloud. Škálovací nástroj Kafka se používá ke zjištění, jestli řešení potřebuje aktivovat nebo deaktivovat nasazení aplikace. Bezserverová architektura
Model vydavatele a odběratele Seznamte se se vzorem Vydavatel-Odběratel, který aplikaci umožňuje oznámit události mnoha příjemcům, kteří mají zájem, asynchronně. Kafka se doporučuje pro zasílání zpráv. Integrace
Model omezování rychlosti Pomocí vzoru omezování rychlosti se můžete vyhnout chybám omezování nebo minimalizovat je. Tento model může implementovat Kafka pro zasílání zpráv. Integrace
Refaktoring mainframových aplikací pomocí Advanced Naučte se využívat automatizované řešení refaktoringu COBOL z advanced k modernizaci aplikací COBOL v sálových počítačích, jejich spuštění v Azure a snížení nákladů. Kafka se dá použít jako zdroj dat. Mainframe
Zpracování datových proudů pomocí plně spravovaných opensourcových datových modulů Streamování událostí pomocí plně spravovaných datových služeb Azure Používejte opensourcové technologie, jako jsou kafka, Kubernetes, Cassandra, PostgreSQL a komponenty Redis. Analýzy

Apache MapReduce

Architektura Shrnutí Zaměření na technologie
Možnosti asynchronního zasílání zpráv Seznamte se s možnostmi asynchronního zasílání zpráv v Azure. MapReduce můžete použít ke generování sestav o událostech zachycených službou Event Hubs. Integrace
Architektura velkých objemů dat Seznamte se s architekturami pro velké objemy dat, které zpracovávají příjem, zpracování a analýzu dat, která jsou pro tradiční databázové systémy příliš velká nebo složitá. MapReduce můžete použít pro dávkové zpracování a poskytovat funkce pro paralelní operace v těchto scénářích. Databáze
Volba technologie dávkového zpracování Seznamte se s technologiemi pro dávkové zpracování velkých objemů dat v Azure, včetně HDInsight s MapReduce. Analýzy
Model geode Nasaďte back-endové služby do sady geografických uzlů, z nichž každá může obsluhovat všechny požadavky klientů v libovolné oblasti. K tomuto vzoru dochází v architekturách pro velké objemy dat, které používají MapReduce ke konsolidaci výsledků napříč počítači. Databáze
Minimalizace koordinace Pokud chcete zlepšit škálovatelnost minimalizací koordinace mezi aplikačními službami, postupujte podle těchto doporučení. Pomocí MapReduce rozdělte práci na nezávislé úkoly. Databáze

Apache NiFi

Architektura Shrnutí Zaměření na technologie
Apache NiFi v Azure Automatizace toků dat pomocí Apache NiFi v Azure Pomocí škálovatelného vysoce dostupného řešení můžete přesouvat data do cloudu nebo úložiště a mezi cloudovými systémy. Analýzy
Nasazení založená na Helmu pro Apache NiFi Při nasazování NiFi v AKS používejte grafy Helm. Helm zjednodušuje proces instalace a správy aplikací Kubernetes. Analýzy

Apache Oozie

Architektura Shrnutí Zaměření na technologie
Architektura velkých objemů dat Seznamte se s architekturami pro velké objemy dat, které zpracovávají příjem, zpracování a analýzu dat, která jsou pro tradiční databázové systémy příliš velká nebo složitá. Oozie můžete použít k orchestraci v těchto scénářích. Databáze
Volba technologie orchestrace datového kanálu Seznamte se s klíčovými možnostmi orchestrace Oozie. Databáze

Apache Solr

Architektura Shrnutí Zaměření na technologie
Volba vyhledávacího úložiště dat Seznamte se s možnostmi vyhledávacích úložišť dat v Azure a klíčovými kritérii pro výběr úložiště dat, která nejlépe odpovídají vašim potřebám. Seznamte se s klíčovými funkcemi SLUŽBY HDInsight pomocí Solru. Databáze

Apache Spark

Architektura Shrnutí Zaměření na technologie
Kompletní analýza s využitím Azure Synapse Naučte se používat Azure Data Services k vytvoření moderní analytické platformy, která dokáže zvládnout nejběžnější problémy s daty. Analytický modul fondů Sparku je k dispozici v pracovních prostorech Azure Synapse. Analýzy
Dávkové vyhodnocování Sparku v Azure Databricks Vytvořte škálovatelné řešení pro dávkové vyhodnocování klasifikačního modelu Apache Sparku. Umělá inteligence
Architektura velkých objemů dat Seznamte se s architekturami pro velké objemy dat, které zpracovávají příjem, zpracování a analýzu dat, která jsou pro tradiční databázové systémy příliš velká nebo složitá. Spark můžete použít pro dávkové zpracování nebo zpracování datových proudů a jako analytické úložiště dat. Databáze
Volba technologie dávkového zpracování Porovnejte volby technologií pro dávkové zpracování velkých objemů dat v Azure, včetně možností implementace Sparku. Analýzy
Volba technologie zpracování datových proudů Porovnejte možnosti zpracování datových proudů zpráv v reálném čase v Azure, včetně možností implementace Sparku. Analýzy
Volba analytického úložiště dat Vyhodnoťte možnosti analytického úložiště dat pro velké objemy dat v Azure. Seznamte se s možnostmi fondů Azure Synapse Spark. Analýzy
Datové vědy a strojové učení s využitím Azure Databricks Vylepšete operace pomocí Azure Databricks, Delta Lake a MLflow pro datové vědy a strojové učení. Vývoj, trénování a nasazování modelů strojového učení Azure Databricks poskytuje spravované clustery Spark. Umělá inteligence
Extrakce, transformace a načítání Přečtěte si o kanálech transformace dat extrakce a transformace transformací dat (ETL) a extrakci a transformaci dat (ELT) a o tom, jak používat toky řízení a toky dat. V ELT můžete pomocí Sparku dotazovat zdrojová data. Můžete ho také použít společně s Hadoopem jako úložiště dat. Databáze
Predikce zapůjčení půjčky pomocí HDInsight Sparku Pomocí HDInsightu a strojového učení můžete předpovědět pravděpodobnost, že se půjčky budou účtovat. Databáze
Mnoho modelů strojového učení pomocí Sparku Seznamte se s mnoha modely strojového učení v Azure. Umělá inteligence
Produkty Strojového učení Microsoftu Porovnejte možnosti vytváření, nasazování a správy modelů strojového učení, včetně analytické platformy založené na Sparku v Azure Databricks a SynapseML. Umělá inteligence
Moderní datový sklad pro malé a střední firmy Využijte Azure Synapse, Azure SQL Database a Azure Data Lake Storage k modernizaci starších a místních dat SMB. Nástroje v pracovním prostoru Azure Synapse můžou ke zpracování dat používat výpočetní funkce Sparku. Analýzy
Technologie zpracování přirozeného jazyka Zvolte službu zpracování přirozeného jazyka pro analýzu mínění, téma a rozpoznávání jazyka, extrakci klíčových frází a kategorizaci dokumentů. Seznamte se s klíčovými funkcemi Azure HDInsight se Sparkem. Umělá inteligence
Vzory a metriky pozorovatelnosti Naučte se používat vzory a metriky pozorovatelnosti ke zlepšení výkonu zpracování systému pro velké objemy dat pomocí Azure Databricks. Knihovna monitorování Azure Databricks streamuje události Sparku a metriky strukturovaného streamování Sparku z úloh. Databáze
Zpracování datových proudů pomocí plně spravovaných opensourcových datových modulů Streamování událostí pomocí plně spravovaných datových služeb Azure Používejte opensourcové technologie, jako jsou Spark, Kafka, Kubernetes, Cassandra, PostgreSQL a Redis. Analýzy

Apache Sqoop

Architektura Shrnutí Zaměření na technologie
Architektura velkých objemů dat Seznamte se s architekturami pro velké objemy dat, které zpracovávají příjem, zpracování a analýzu dat, která jsou pro tradiční databázové systémy příliš velká nebo složitá. V těchto scénářích můžete pomocí nástroje Sqoop automatizovat pracovní postupy orchestrace. Databáze
Volba technologie přenosu dat Seznamte se s možnostmi přenosu dat, jako jsou Azure Import/Export, Data Box a Sqoop. Databáze

Apache ZooKeeper

Architektura Shrnutí Zaměření na technologie
Apache NiFi v Azure Automatizace toků dat pomocí NiFi v Azure Pomocí škálovatelného vysoce dostupného řešení můžete přesouvat data do cloudu nebo úložiště a mezi cloudovými systémy. V tomto řešení niFi používá ZooKeeper ke koordinaci toku dat. Analýzy
Nasazení založená na Helmu pro Apache NiFi Při nasazování NiFi v AKS používejte grafy Helm. Helm zjednodušuje proces instalace a správy aplikací Kubernetes. V této architektuře poskytuje ZooKeeper koordinaci clusteru. Analýzy
Model omezování rychlosti Pomocí vzoru omezování rychlosti se můžete vyhnout chybám omezování nebo minimalizovat je. V tomto scénáři můžete pomocí ZooKeeperu vytvořit systém, který uděluje dočasné zapůjčení kapacitě. Integrace