Redigera

Dela via

Datareplikering mellan stordatorer och mellanregister till Azure med Qlik

Azure Event Hubs
Azure Data Lake
Azure Databricks

Den här lösningen använder en lokal instans av Qlik för att replikera lokala datakällor till Azure i realtid.

Kommentar

Uttala "Qlik" som "klicka".

Apache® och Apache Kafka® är antingen registrerade varumärken eller varumärken som tillhör Apache Software Foundation i USA och/eller andra länder. Inget godkännande från Apache Software Foundation underförstås av användningen av dessa märken.

Arkitektur

Arkitektur för datamigrering till Azure med hjälp av Qlik.

Ladda ned en Visio-fil med den här arkitekturen.

Arbetsflöde

  1. Värdagent: Värdagenten i det lokala systemet samlar in information om ändringsloggar från datalager för Db2, IMS och VSAM och skickar den till Qlik Replication-servern.
  2. Replikeringsserver: Programvaran för Qlik Replication-servern skickar ändringslogginformationen till Kafka och Azure Event Hubs. Qlik i det här exemplet är lokalt, men det kan i stället distribueras på en virtuell dator i Azure.
  3. Dataströminmatning: Kafka och Event Hubs tillhandahåller meddelandeköer för att ta emot och lagra information om ändringsloggar.
  4. Kafka Connect: Kafka Connect-API:et används för att hämta data från Kafka för uppdatering av Azure-datalager som Azure Data Lake Storage, Azure Databricks och Azure Synapse Analytics.
  5. Data Lake Storage: Data Lake Storage är ett mellanlagringsområde för ändringsloggdata.
  6. Databricks: Databricks bearbetar ändringsloggdata och uppdaterar motsvarande filer i Azure.
  7. Azure-datatjänster: Azure tillhandahåller en mängd olika effektiva datalagringstjänster. Framträdande bland dessa är:

    • Relationsdatabastjänster:

      • SQL Server på Azure Virtual Machines
      • Azure SQL Database
      • Hanterad Azure SQL-instans
      • Azure Database for PostgreSQL
      • Azure Database for MySQL
      • Azure Cosmos DB

      Det finns många faktorer att tänka på när du väljer en datalagringstjänst: typ av arbetsbelastning, frågor mellan databaser, krav på två faser, möjlighet att komma åt filsystemet, mängden data, nödvändigt dataflöde, svarstid och så vidare.

    • Azures icke-relationella databastjänster: Azure Cosmos DB, en NoSQL-databas, ger snabba svar, automatisk skalbarhet och garanterad hastighet i valfri skala.

    • Azure Synapse Analytics: Synapse Analytics är en analystjänst som sammanför dataintegrering, företagsdatalager och stordataanalys. Med den kan du köra frågor mot data med hjälp av antingen serverlösa eller dedikerade resurser i stor skala.

    • Microsoft Fabric: Microsoft Fabric är en allt-i-ett-analyslösning för företag. Den omfattar allt från dataflytt till datavetenskap, realtidsanalys och business intelligence. Det erbjuder en omfattande uppsättning tjänster, inklusive datasjö, datateknik och dataintegrering.

Komponenter

Den här arkitekturen består av flera Azure-molntjänster och är uppdelad i fyra kategorier av resurser: nätverk och identitet, program, lagring och övervakning. Tjänsterna för var och en av deras roller beskrivs i följande avsnitt.

Nätverk och identitet

  • Azure ExpressRoute utökar dina lokala nätverk till molntjänster som erbjuds av Microsoft via en privat anslutning från en anslutningsleverantör. Med ExpressRoute kan du upprätta anslutningar till molntjänster som Microsoft Azure och Office 365.
  • Azure VPN Gateway är en specifik typ av virtuell nätverksgateway som skickar krypterad trafik mellan ett virtuellt Azure-nätverk och en lokal plats via det offentliga Internet.
  • Microsoft Entra ID är en identitets- och åtkomsthanteringstjänst som kan synkroniseras med en lokal active directory.

Program

  • Azure Event Hubs är en stordataströmningsplattform och händelseinmatningstjänst som kan lagra db2-, IMS- och VSAM-ändringsdatameddelanden. Den kan ta emot och bearbeta miljontals meddelanden per sekund. Data som skickas till en händelsehubb kan omvandlas och lagras med hjälp av en realtidsanalysprovider eller ett anpassat kort.
  • Apache Kafka är en plattform för distribuerad händelseströmning med öppen källkod som används för högpresterande datapipelines, strömmande analys, dataintegrering och verksamhetskritiska program. Det kan enkelt integreras med Qlik-dataintegrering för att lagra Db2-ändringsdata.
  • Azure Data Lake Storage Azure Data Lake Storage tillhandahåller en datasjö för lagring av bearbetade lokala ändringsloggdata.
  • Azure Databricks är ett molnbaserat datateknikverktyg som baseras på Apache Spark. Den kan bearbeta och transformera stora mängder data. Du kan utforska data med hjälp av maskininlärningsmodeller. Jobb kan skrivas i R, Python, Java, Scala och Spark SQL.

Storage

  • Azure Storage är en uppsättning massivt skalbara och säkra molntjänster för data, appar och arbetsbelastningar. Den innehåller Azure Files, Azure Table Storage och Azure Queue Storage. Azure Files är ofta ett effektivt verktyg för att migrera stordatorarbetsbelastningar.
  • Azure Cosmos DB är en fullständigt hanterad NoSQL-databastjänst med API:er med öppen källkod för MongoDB och Cassandra. Ett möjligt program är att migrera stordatordata som inte är tabelldata till Azure.

Övervakning

  • Azure Monitor tillhandahåller en omfattande lösning för att samla in, analysera och agera på telemetri från molnmiljöer och lokala miljöer. Den innehåller:
    • Application Insights, för att analysera och presentera telemetri.
    • Övervaka loggar som samlar in och organiserar logg- och prestandadata från övervakade resurser. Data från olika källor, till exempel plattformsloggar från Azure-tjänster, logg- och prestandadata från agenter för virtuella datorer, och användnings- och prestandadata från program kan konsolideras till en enda arbetsyta som ska analyseras tillsammans. I analysen används ett avancerat frågespråk som snabbt kan analysera miljontals poster.
    • Log Analytics, som kan köra frågor mot Övervakningsloggar. Med ett kraftfullt frågespråk kan du koppla data från flera tabeller, aggregera stora uppsättningar data och utföra komplexa åtgärder med minimal kod.

Alternativ

  • Diagrammet visar Qlik installerat lokalt, en rekommenderad metod för att hålla den nära de lokala datakällorna. Ett alternativ är att installera Qlik i molnet på en virtuell Azure-dator.
  • Qlik Dataintegration kan leverera direkt till Databricks utan att gå via Kafka eller en händelsehubb.
  • Qlik-dataintegrering kan inte replikeras direkt till Azure Cosmos DB, men du kan integrera Azure Cosmos DB med en händelsehubb med hjälp av arkitekturen för händelsekällor.

Information om scenario

Många organisationer använder stordator- och mellanregistersystem för att köra krävande och kritiska arbetsbelastningar. De flesta program använder en eller flera databaser, och de flesta databaser delas av många program, ofta i flera system. I en sådan miljö innebär modernisering till molnet att lokala data måste tillhandahållas till molnbaserade program. Därför blir datareplikering en viktig moderniseringstaktik.

Qlik-Dataintegration-plattformen innehåller Qlik Replication, som utför datareplikering. Den använder CDC (Change Data Capture) för att replikera lokala datalager i realtid till Azure. Ändringsdata kan komma från db2-, IMS- och VSAM-ändringsloggar. Den här replikeringstekniken eliminerar obekväma massinläsningar av batchar. Den här lösningen använder en lokal instans av Qlik för att replikera lokala datakällor till Azure i realtid.

Potentiella användningsfall

Den här lösningen kan vara lämplig för:

  • Hybridmiljöer som kräver replikering av dataändringar från en stordator eller mellanregistersystem till Azure-databaser.
  • Onlinedatabasmigrering från Db2 till en Azure SQL-databas med lite stilleståndstid.
  • Datareplikering från olika lokala datalager till Azure för konsolidering och analys.

Att tänka på

Dessa överväganden implementerar grundpelarna i Azure Well-Architected Framework, som är en uppsättning vägledande grundsatser som kan användas för att förbättra kvaliteten på en arbetsbelastning. Mer information finns i Microsoft Azure Well-Architected Framework.

Tillförlitlighet

Tillförlitlighet säkerställer att ditt program kan uppfylla de åtaganden du gör gentemot dina kunder. Mer information finns i checklistan för Designgranskning för tillförlitlighet.

  • Qlik-Dataintegration kan konfigureras i ett kluster med hög tillgänglighet.
  • Azure Database Services stöder zonredundans och kan utformas för att redundansväxla till en sekundär nod i händelse av ett avbrott eller under en underhållsperiod.

Säkerhet

Säkerhet ger garantier mot avsiktliga attacker och missbruk av dina värdefulla data och system. Mer information finns i checklistan för Designgranskning för Security.

  • ExpressRoute tillhandahåller en privat och effektiv anslutning till Azure lokalt, men du kan i stället använda plats-till-plats-VPN.
  • Azure-resurser kan autentiseras med hjälp av Microsoft Entra-ID. Behörigheter kan hanteras av rollbaserad åtkomstkontroll.
  • Databastjänster i Azure Support olika säkerhetsalternativ, till exempel:
    • Vilande datakryptering.
    • Dynamisk datamaskning.
    • Alltid krypterad databas.
  • Allmän vägledning om hur du utformar säkra lösningar finns i Azure Security-dokumentationen.

Kostnadsoptimering

Kostnadsoptimering handlar om att titta på sätt att minska onödiga utgifter och förbättra drifteffektiviteten. Mer information finns i checklistan Designgranskning för kostnadsoptimering.

Använd Priskalkylatorn för Azure för att beräkna kostnaderna för implementeringen.

Operational Excellence

Operational Excellence omfattar de driftsprocesser som distribuerar ett program och håller det igång i produktion. Mer information finns i checklistan för Designgranskning för Operational Excellence.

  • Du kan kombinera Monitors Application Insights- och Log Analytics-funktioner för att övervaka hälsotillståndet för Azure-resurser. Du kan ange aviseringar så att du kan hantera proaktivt.
  • Vägledning om återhämtning i Azure finns i Designa tillförlitliga Azure-program.

Prestandaeffektivitet

Prestandaeffektivitet är arbetsbelastningens förmåga att skala för att uppfylla användarnas krav på ett effektivt sätt. Mer information finns i checklistan för Designgranskning för prestandaeffektivitet.

Databricks, Data Lake Storage och andra Azure-databaser har funktioner för automatisk skalning. Mer information finns i Autoskalning.

Deltagare

Den här artikeln underhålls av Microsoft. Det har ursprungligen skrivits av följande medarbetare.

Huvudförfattare:

Om du vill se icke-offentliga LinkedIn-profiler loggar du in på LinkedIn.

Nästa steg