Redigera

Dela via

Migrera stordatordatanivå till Azure med mLogica LIBER*IRIS

Azure Database for MySQL
Azure Database for PostgreSQL
Azure Cosmos DB
Azure SQL Database
Azure Storage

Den stora mängden transaktioner för stordatorprogram skapar en stor mängd data. Azure erbjuder ett övertygande mål för modernisering och datamigrering av stordatorer. Azure-relations- och NoSQL-databaser ger skalbarhet, hög tillgänglighet och enkelt underhåll som uppfyller eller överskrider kraven i stordatormiljöer. Om du vill dra tillbaka en stordators arbetsbelastning och behålla data i en lågkostnadslagring tillhandahåller Azure alternativ.

Om du migrerar arbetsbelastningar från stordator till Azure som en del av programomläggning eller refaktorisering krävs vanligtvis datamigrering i stor skala. mLogicas LIBER*IRIS tillhandahåller en beprövad lösning för massmigrering av data från en stordator till Azure. Lösningen fungerar i stor skala för migrering av företagsarbetsbelastningar. Den här artikeln visar hur du migrerar IBM z/OS-stordatordata med hög återgivning till Azure.

mLogica LIBER*IRIS och dess logotyper är varumärken som tillhör företaget. Ingen bekräftelse understås av användningen av dessa märken.

Arkitektur

Följande diagram visar hur mLogica LIBER*IRIS integreras med Azure-komponenter för att migrera stordatordata till Azure i stor skala.

Arkitekturdiagram visar arkitekturen för hur mLogica LIBER*IRIS integreras med Azure-komponenter för att migrera stordatordata.

Ladda ned en Visio-fil med den här arkitekturen.

Arbetsflöde

Stegen för att migrera stordatordata till Azure är följande:

  1. Kopiera DDL-filer (Data Definition Language), databasbeskrivningsfiler (DBD), copybooks, datalayouter och andra databeskrivningsartefakter till en virtuell Azure Linux-dator som konfigurerats med mLogica-datamigreringstjänstens verktyg med FTPS via ett säkert virtuellt privat Nätverk för Azure (VPN) eller Azure ExpressRoute.
  2. MLogica Liber*IRIS-datamigreringsklustret genererar dataextraheringsskript som ska köras på stordatorn.
  3. Använd FTPS via VPN för att överföra dataextraheringsskripten till stordatorn. FTPS-anslutningen konverterar ASCII till stordatorns EBCDIC-format.
  4. De extraherade skripten körs på stordatorn. De exporterar data från flera källor till sekventiella filer, där alla packade decimaldata packas upp. De genererar SQL-inläsningsskripten som används för att läsa in data i måldatabasen.
  5. Sekventiella filer och inläsningsskript överförs med hjälp av binär SFTP till Azure Blob Storage. Stordatordata är fortfarande i EBCDIC-format just nu.
  6. Datamigreringstjänsten mLogica kör belastningsskripten för att konvertera EBCDIC till ASCII. Skripten skriver fel under inläsningen till Azure Storage. För att minska kostnaderna kan du använda två lagringskonton: lagra datafiler på en frekvent åtkomstnivå och logga filer på en lågfrekvent åtkomstnivå.
  7. Skripten läser in ASCII-konverterade data från sekventiella filer till azure-målrelationsdatabasen. Inläsningsskripten innehåller DDL-kommandon för att skapa tabeller och andra objekt och SQL-frågor för att läsa in data i dessa objekt. Skala inläsningsprocessen vågrätt över ett kluster för att maximera dataflödet efter behov. Körningsloggar och detaljerade undantagsloggar lagras i Azure Blob Storage för ytterligare analys.
  8. Datamigreringstjänsten mLogica Liber*IRIS kör inläsningsskripten för att transformera data från relationsfilformat till NoSQL-databasformat. Du kan läsa in dessa NoSQL-data till Azure Cosmos DB med hjälp av Azure Cosmos DB SQL API.

Komponenter

  • Nätverk och identitet

    • Med Azure ExpressRoute kan du utöka dina lokala nätverk till Azure via en privat anslutning med hjälp av en anslutningsleverantör.
    • Azure VPN Gateway är en virtuell nätverksgateway som används för att skicka krypterad trafik mellan ett virtuellt Azure-nätverk och en lokal plats via Internet.
    • Microsoft Entra ID är en identitets- och åtkomsthanteringstjänst som kan synkroniseras med en lokal katalog.

  • Program

  • Storage

    • Azure Blob Storage erbjuder en lagringsanläggning med hög tillgänglighet, krypterad i vila och kostnadseffektiv lagring med hög kapacitet. Det möjliggör direkt binär SFTP-trafik från stordatorn. Blob Storage kan montera containrar på virtuella Linux-datorer med hjälp av NFS.
    • Azure SQL, Azure Database for PostgreSQL och Azure Database for MySQL är fullständigt hanterade PaaS-tjänster (plattform som en tjänst) för SQL Server, PostgreSQL och MySQL. De ger högpresterande, högtillgängliga alternativ för relationsdata för stordatorer, emulerade icke-relationella data och emulerade VSAM-data (Virtual Storage Access Method).
    • Azure Cosmos DB är en Azure NoSQL-databas. Använd den för att migrera icke-relationella stordatorkällor som IMS (Information Management System), Integrated Database Management System (IDMS) och anpassningsbart databassystem (ADABAS).

  • Övervakning

    • Azure Monitor tillhandahåller en omfattande lösning för att samla in, analysera och agera på telemetri från molnmiljöer och lokala miljöer.
    • Application Insights tar emot programtelemetri för att analysera och presentera.
    • Azure Monitor-loggar är en funktion i Azure Monitor som samlar in och organiserar logg- och prestandadata från övervakade resurser. Den här funktionen kan konsolidera data från flera källor till en enda arbetsyta. Dessa källor omfattar plattformsloggar från Azure-tjänster, logg- och prestandadata från agenter för virtuella datorer samt användnings- och prestandadata från program. Analysera dessa källor tillsammans med hjälp av ett avancerat frågespråk som snabbt kan analysera miljontals poster.
    • Log Analytics är en funktion i Azure Monitor. Loggfrågor hjälper dig att använda data som samlas in i Azure Monitor-loggar och mLogica-belastningsskriptkörningsloggar som lagras i Blob Storage. Med ett kraftfullt frågespråk kan du koppla data från flera tabeller, aggregera stora uppsättningar data och utföra komplexa åtgärder.

Potentiella användningsfall

Det finns två viktiga användningsfall för den här exempelarbetsbelastningen:

  • Omplatforming eller refaktorisering av arbetsbelastning

    Flytta alla stordatordata som är relaterade till arbetsbelastningen från en stordator till Azure. Dessa data omfattar databaser som Db2, IMS och IDMS och filer.

  • Arkivering

    Dra tillbaka stordatorarbetsbelastningen och behåll data i en azure-lagringslösning med låg kostnad.

Rekommendationer

Följ dessa allmänna rekommendationer om du inte har ett specifikt krav som åsidosätter dem:

  • Om du vill minska nätverksfördröjningen skapar du alla Azure-resurser som nämns i det här scenariot i en region.
  • I stället för att skicka en enda stor fil från stordatorn till Azure delar du upp data i flera filer och skickar dem parallellt.

Att tänka på

Dessa överväganden implementerar grundpelarna i Azure Well-Architected Framework, som är en uppsättning vägledande grundsatser som kan användas för att förbättra kvaliteten på en arbetsbelastning. Mer information finns i Microsoft Azure Well-Architected Framework.

Tillförlitlighet

Tillförlitlighet säkerställer att ditt program kan uppfylla de åtaganden du gör gentemot dina kunder. Mer information finns i checklistan för Designgranskning för tillförlitlighet.

Motståndskraft

Använd Azure Monitor och Application Insights för att övervaka datamigreringsklustret mLogica. Konfigurera aviseringar för proaktiv hantering.

Mer information om återhämtning i Azure finns i Designa tillförlitliga Azure-program.

Tillgänglighet

Det här exempelarbetsflödet beskriver datamigrering från stordator till Azure för att omplatforma, omstrukturera eller arkivera en arbetsbelastning. Den här uppgiften är diskret och utförs några gånger under ett månadslångt projekt. Även om hög tillgänglighet inte krävs i det här scenariot kan du utforma mLogica-datamigreringsklustret för att ge hög tillgänglighet.

Azure Database Services stöder zonredundans. Du kan konfigurera dem att redundansväxla om det uppstår ett avbrott eller under ett underhållsperiod.

Säkerhet

Säkerhet ger garantier mot avsiktliga attacker och missbruk av dina värdefulla data och system. Mer information finns i checklistan för Designgranskning för Security. Allmän vägledning om hur du utformar säkra lösningar finns i Azure-säkerhetsdokumentationen.

Databastjänster i Azure Support olika säkerhetsalternativ:

Du kan styra autentisering och åtkomstkontroll i mLogica-datamigreringsklustret med hjälp av Microsoft Entra-ID. Du kan konfigurera Azure-resurser för autentisering och auktorisering med hjälp av Microsoft Entra-ID och rollbaserad åtkomstkontroll.

Data som överförs mellan mLogica-datamigreringsklustret och stordatorn krypteras under överföring med hjälp av TLS. TLS-certifikat kan lagras i Azure Key Vault för förbättrad säkerhet. Data som överförs från stordatorn till Azure Blob Storage krypteras under överföring med hjälp av SSH.

Stordatordata och inläsningsskript lagras tillfälligt i Azure Blob Storage. De är krypterade i vila. Data tas bort från Azure Blob Storage när migreringen är klar.

Det här exempelarbetsflödet använder Azure ExpressRoute eller plats-till-plats-VPN för en privat och effektiv anslutning till Azure från din lokala miljö.

Kostnadsoptimering

Kostnadsoptimering handlar om att titta på sätt att minska onödiga utgifter och förbättra drifteffektiviteten. Mer information finns i checklistan Designgranskning för kostnadsoptimering.

Här följer några möjligheter till kostnadsoptimering:

  • Serverlös Azure SQL Database skalar, pausar och återupptar automatiskt beräkningsresurser baserat på din arbetsbelastningsaktivitet, så att du bara betalar för de resurser du använder.

  • Använd livscykelprincip för att flytta data mellan åtkomstnivåer i Azure Storage.

  • Om det inte finns någon åtkomst under en viss tidsperiod i Azure Storage flyttar du dina data från en varmare åtkomstnivå till en kallare. Du kan också flytta data från en lågfrekvent åtkomstnivå till en arkivåtkomstnivå.

  • Använd Azure Advisor för att hitta underanvända resurser. Få rekommendationer om hur du konfigurerar om eller konsoliderar resurser för att minska dina utgifter.

Använd priskalkylatorn för Azure för att beräkna kostnaden för att använda Azure-komponenter för den här lösningen.

Operational Excellence

Operational Excellence omfattar de driftsprocesser som distribuerar ett program och håller det igång i produktion. Mer information finns i checklistan för Designgranskning för Operational Excellence.

Azure DevOps kan användas för att omkonstruera stordatorprogram i Azure under varje fas av programvaruutveckling och teamsamarbete. Azure DevOps tillhandahåller följande tjänster:

  • Azure Boards. Flexibel planering, spårning av arbetsobjekt, visualisering och rapportering.
  • Azure Pipelines. En plattform för språk, plattform och molnoberoende kontinuerlig integrering/kontinuerlig leverans (CI/CD) med stöd för containrar eller Kubernetes.
  • Azure Repos. Molnbaserade privata Git-lagringsplatser.
  • Azure Artifacts. Integrerad pakethantering med stöd för Maven-, npm-, Python- och NuGet-paketfeeds från offentliga eller privata källor.
  • Azure Test Plans. En integrerad lösning för planerad och undersökande testning.

Prestandaeffektivitet

Prestandaeffektivitet är arbetsbelastningens förmåga att skala för att uppfylla användarnas krav på ett effektivt sätt. Mer information finns i checklistan för Designgranskning för prestandaeffektivitet.

Om du migrerar flera stora oberoende datauppsättningar distribuerar du mLogica-datamigreringsklustret på flera virtuella datorer för att maximera datainläsningshastigheten.

Du kan ladda upp flera datauppsättningar parallellt från stordatorn till Blob Storage.

Serverlös Azure SQL DB är ett alternativ för automatisk skalning baserat på arbetsbelastning. Andra Azure-databaser kan skalas upp och ned med hjälp av automatisering för att uppfylla arbetsbelastningskraven. Mer information finns i Autoskalning.

Deltagare

Den här artikeln underhålls av Microsoft. Den skrevs ursprungligen av följande deltagare.

Huvudförfattare:

Sandip Khandelwal | Teknisk arkitekt

Om du vill se icke-offentliga LinkedIn-profiler loggar du in på LinkedIn.

Nästa steg

Granska Migreringsguiderna för Azure Database.

Mer information finns i Azure Dataingenjör ing – Stordator och mellanregistermodernisering.