Het grote aantal transacties voor mainframe-toepassingen maakt een grote hoeveelheid gegevens. Azure biedt een overtuigend doel voor modernisering van mainframes en gegevensmigratie. Relationele Azure- en NoSQL-databases bieden schaalbaarheid, hoge beschikbaarheid en onderhoudsgemak die voldoet aan of overschrijdt die van mainframe-omgevingen. Als u een mainframeworkload buiten gebruik wilt stellen en de gegevens in een goedkope opslag wilt bewaren, biedt Azure opties.
Voor het migreren van workloads van mainframe naar Azure als onderdeel van het herplatformen of herstructureren van toepassingen is doorgaans gegevensmigratie op schaal vereist. Liber*IRIS van mLogica biedt een bewezen oplossing voor bulkgegevensmigratie van een mainframe naar Azure. De oplossing werkt op schaal voor het migreren van bedrijfsworkloads. In dit artikel wordt beschreven hoe u IBM z/OS mainframe-gegevens migreert met hoge kwaliteit naar Azure.
mLogica LIBER*IRIS en de logo's zijn handelsmerken van het bedrijf. Er wordt geen goedkeuring geïmpliceerd door het gebruik van deze markeringen.
Architectuur
In het volgende diagram ziet u hoe mLogica LIBER*IRIS kan worden geïntegreerd met Azure-onderdelen om mainframegegevens op schaal naar Azure te migreren.
Een Visio-bestand van deze architectuur downloaden.
Workflow
De stappen voor het migreren van mainframegegevens naar Azure zijn als volgt:
- DDL-bestanden (Data Definition Language) kopiëren, databasebeschrijvingsbestanden (DBD)-bestanden, kopieerboeken, gegevensindelingen en andere artefacten voor gegevensbeschrijvingen naar een virtuele Azure Linux-machine die is geconfigureerd met de mLogica-hulpprogramma's voor gegevensmigratieservice via FTPS via een beveiligd virtueel particulier netwerk (VPN) van Azure site-naar-site of Azure ExpressRoute.
- Het mLogica Liber*IRIS-gegevensmigratiecluster genereert scripts voor gegevensextractie die moeten worden uitgevoerd op het mainframe.
- Gebruik FTPS via het VPN om de scripts voor gegevensextractie over te dragen naar het mainframe. De FTPS-verbinding converteert ASCII naar de EBCDIC-indeling van het mainframe.
- De geëxtraheerde scripts worden uitgevoerd op het mainframe. Ze exporteren gegevens uit meerdere bronnen naar sequentiële bestanden, waarbij alle verpakte decimale gegevens worden uitgepakt. Ze genereren de SQL-laadscripts die worden gebruikt om de gegevens in de doeldatabase te laden.
- De sequentiële bestanden en laadscripts worden overgebracht met behulp van binaire SFTP naar Azure Blob Storage. Mainframe-gegevens hebben op dit moment nog steeds de EBCDIC-indeling.
- De mLogica-gegevensmigratieservice voert de laadscripts uit om EBCDIC te converteren naar ASCII. De scripts schrijven fouten tijdens het laden naar Azure Storage. Om de kosten te verlagen, kunt u twee opslagaccounts gebruiken: gegevensbestanden opslaan op een dynamische-toegangslaag en logboekbestanden op een koude toegangslaag.
- De scripts laden de ASCII-geconverteerde gegevens uit sequentiële bestanden in de relationele Doeldatabase van Azure. De laadscripts bevatten DDL-opdrachten voor het maken van tabellen en andere objecten en SQL-query's om de gegevens in die objecten te laden. Schaal het laadproces horizontaal over een cluster om de doorvoer naar behoefte te maximaliseren. Uitvoeringslogboeken en gedetailleerde uitzonderingslogboeken worden opgeslagen in Azure Blob Storage voor verdere analyse.
- De mLogica Liber*IRIS-gegevensmigratieservice voert de laadscripts uit om gegevens te transformeren van relationele bestandsindeling naar NoSQL-databaseindeling. U kunt deze NoSQL-gegevens laden in Azure Cosmos DB met behulp van de Azure Cosmos DB SQL-API.
Onderdelen
Netwerken en identiteit
- Met Azure ExpressRoute kunt u uw on-premises netwerken uitbreiden naar Azure via een privéverbinding met behulp van een connectiviteitsprovider.
- Azure VPN Gateway is een virtuele netwerkgateway die wordt gebruikt voor het verzenden van versleuteld verkeer tussen een virtueel Azure-netwerk en een on-premises locatie via internet.
- Microsoft Entra ID is een service voor identiteits- en toegangsbeheer die kan worden gesynchroniseerd met een on-premises directory.
Toepassing
- Azure Virtual Machines biedt on-demand schaalbare computingresources. Het mLogica-gegevensmigratiecluster wordt uitgevoerd op virtuele Azure Linux-machines die zijn geoptimaliseerd voor netwerkprestaties.
Storage
- Azure Blob Storage biedt een maximaal beschikbare, versleutelde at-rest, kostenefficiënte opslagfaciliteit met hoge capaciteit. Het maakt direct binair SFTP-verkeer vanaf het mainframe mogelijk. Blob Storage kan containers koppelen op virtuele Linux-machines met behulp van NFS.
- Azure SQL, Azure Database for PostgreSQL en Azure Database for MySQL zijn volledig beheerde PaaS-services (Platform as a Service) voor SQL Server, PostgreSQL en MySQL. Ze bieden krachtige, maximaal beschikbare opties voor relationele mainframegegevens, geëmuleerde niet-relationele gegevens en geëmuleerde VSAM-gegevens (Virtual Storage Access Method).
- Azure Cosmos DB is een Azure NoSQL-database. Gebruik het om niet-relationele mainframebronnen zoals Information Management System (IMS), Integrated Database Management System (IDMS) en aanpasbare databasesysteem (ADABAS) te migreren.
Controleren
- Azure Monitor biedt een uitgebreide oplossing voor het verzamelen, analyseren en uitvoeren van telemetrie vanuit cloud- en on-premises omgevingen.
- Application Insights ontvangt toepassingstelemetrie om te analyseren en te presenteren.
- Azure Monitor-logboeken is een functie van Azure Monitor waarmee logboek- en prestatiegegevens van bewaakte resources worden verzameld en ingedeeld. Met deze functie kunnen gegevens uit meerdere bronnen worden samengevoegd tot één werkruimte. Deze bronnen omvatten platformlogboeken van Azure-services, logboek- en prestatiegegevens van agents voor virtuele machines en gebruiks- en prestatiegegevens van toepassingen. Analyseer deze bronnen samen met behulp van een geavanceerde querytaal, waarmee miljoenen records snel kunnen worden geanalyseerd.
- Log Analytics is een functie van Azure Monitor. Logboekquery's helpen u bij het gebruik van de gegevens die zijn verzameld in Azure Monitor-logboeken en logboeken voor het uitvoeren van mLogica-laadscripts, die zijn opgeslagen in Blob Storage. Met een krachtige querytaal kunt u gegevens uit meerdere tabellen samenvoegen, grote gegevenssets aggregeren en complexe bewerkingen uitvoeren.
Potentiële gebruikscases
Er zijn twee belangrijke use cases voor deze voorbeeldworkload:
Workload opnieuw platformeren of herstructureren
Verplaats alle mainframegegevens met betrekking tot de workload van een mainframe naar Azure. Deze gegevens omvatten databases, zoals Db2, IMS en IDMS, en bestanden.
Archivering
De mainframe-workload buiten gebruik stellen en de gegevens bewaren in een voordelige Azure-opslagoplossing.
Aanbevelingen
Volg deze algemene aanbevelingen, tenzij u een specifieke vereiste hebt die deze overschrijft:
- Als u de netwerklatentie wilt verminderen, maakt u alle Azure-resources die in dit scenario in één regio worden genoemd.
- In plaats van één groot bestand van het mainframe naar Azure te verzenden, splitst u gegevens in meerdere bestanden en verzendt u ze parallel.
Overwegingen
Met deze overwegingen worden de pijlers van het Azure Well-Architected Framework geïmplementeerd. Dit is een set richtlijnen die kunnen worden gebruikt om de kwaliteit van een workload te verbeteren. Zie Microsoft Azure Well-Architected Framework voor meer informatie.
Betrouwbaarheid
Betrouwbaarheid zorgt ervoor dat uw toepassing kan voldoen aan de toezeggingen die u aan uw klanten hebt gedaan. Zie Controlelijst ontwerpbeoordeling voor betrouwbaarheidvoor meer informatie.
Tolerantie
Gebruik Azure Monitor en Application Insights om het mLogica-gegevensmigratiecluster te bewaken. Stel waarschuwingen in voor proactief beheer.
Zie Betrouwbare Azure-toepassingen ontwerpen voor meer informatie over tolerantie in Azure.
Beschikbaarheid
In deze voorbeeldwerkstroom wordt de mainframe-naar-Azure-gegevensmigratie beschreven voor het opnieuw platformen, herstructureren of archiveren van een workload. Deze taak is discrete, een paar keer uitgevoerd tijdens een maand lang project. Hoewel hoge beschikbaarheid niet vereist is in dit scenario, kunt u het mLogica-gegevensmigratiecluster ontwerpen om hoge beschikbaarheid te bieden.
Azure Database Services bieden ondersteuning voor zoneredundantie. U kunt deze configureren om een failover uit te voeren als er sprake is van een storing of tijdens een onderhoudsvenster.
Beveiliging
Beveiliging biedt garanties tegen opzettelijke aanvallen en misbruik van uw waardevolle gegevens en systemen. Zie voor meer informatie controlelijst ontwerpbeoordeling voor Security. Zie de Documentatie voor Azure-beveiliging voor algemene richtlijnen over het ontwerpen van beveiligde oplossingen.
Databaseservices in ondersteuning voor Azure verschillende beveiligingsopties:
- Data-at-rest versleuteling met transparante gegevensversleuteling
- Gegevensversleuteling tijdens overdracht met behulp van TLS
- Gegevensversleuteling tijdens verwerking met Always Encrypted met beveiligde enclaves
U kunt verificatie en toegangsbeheer beheren op het mLogica-gegevensmigratiecluster met behulp van Microsoft Entra-id. U kunt Azure-resources configureren voor verificatie en autorisatie met behulp van Microsoft Entra ID en op rollen gebaseerd toegangsbeheer.
Gegevens die worden overgedragen tussen het mLogica-gegevensmigratiecluster en het mainframe worden versleuteld tijdens overdracht met behulp van TLS. TLS-certificaten kunnen worden opgeslagen in Azure Key Vault voor verbeterde beveiliging. Gegevens die van het mainframe naar Azure Blob Storage worden overgebracht, worden versleuteld met behulp van SSH.
De mainframegegevens en laadscripts worden tijdelijk opgeslagen in Azure Blob Storage. Ze worden in rust versleuteld. Gegevens worden verwijderd uit Azure Blob Storage nadat de migratie is voltooid.
Deze voorbeeldwerkstroom maakt gebruik van Azure ExpressRoute of site-naar-site VPN voor een privé- en efficiënte verbinding met Azure vanuit uw on-premises omgeving.
Kostenoptimalisatie
Kostenoptimalisatie gaat over manieren om onnodige uitgaven te verminderen en operationele efficiëntie te verbeteren. Zie controlelijst ontwerpbeoordeling voor kostenoptimalisatievoor meer informatie.
Hier volgen enkele mogelijkheden voor kostenoptimalisatie:
Serverloze Azure SQL Database schaalt, onderbreekt en hervat rekenresources automatisch op basis van uw workloadactiviteit, zodat u alleen betaalt voor de resources die u verbruikt.
Gebruik levenscyclusbeleid om gegevens te verplaatsen tussen toegangslagen in Azure Storage.
Als er gedurende een bepaalde periode geen toegang is in Azure Storage, verplaatst u uw gegevens van een dynamischere toegangslaag naar een koeler toegangslaag. U kunt gegevens ook verplaatsen van een koeler toegangslaag naar een archieftoegangslaag.
Gebruik Azure Advisor om ondergebruikte resources te vinden. Krijg aanbevelingen voor het opnieuw configureren of consolideren van resources om uw uitgaven te verminderen.
Gebruik de Azure-prijscalculator om de kosten van het gebruik van Azure-onderdelen voor deze oplossing te schatten.
Operationele uitmuntendheid
Operational Excellence behandelt de operationele processen die een toepassing implementeren en deze in productie houden. Zie controlelijst ontwerpbeoordeling voor Operational Excellencevoor meer informatie.
Azure DevOps kan worden gebruikt voor het opnieuw ontwikkelen van mainframetoepassingen in Azure tijdens elke fase van softwareontwikkeling en teamsamenwerking. Azure DevOps biedt deze services:
- Azure Boards. Flexibele planning, het bijhouden van werkitems, visualisatie en rapportage.
- Azure Pipelines. Een taal-, platform- en cloudonafhankelijk CI/CD-platform (continue integratie/continue levering) met ondersteuning voor containers of Kubernetes.
- Azure-opslagplaatsen. In de cloud gehoste privé-Git-opslagplaatsen.
- Azure Artifacts. Geïntegreerd pakketbeheer met ondersteuning voor Maven-, npm-, Python- en NuGet-pakketfeeds van openbare of privébronnen.
- Azure Test Plans. Een geïntegreerde, geplande en verkennende testoplossing.
Prestatie-efficiëntie
Prestatie-efficiëntie is de mogelijkheid van uw workload om te schalen om te voldoen aan de eisen die gebruikers op een efficiënte manier stellen. Zie controlelijst ontwerpbeoordeling voor prestatie-efficiëntievoor meer informatie.
Als u meerdere grote onafhankelijke gegevenssets migreert, implementeert u het mLogica-gegevensmigratiecluster op meerdere virtuele machines om de laadsnelheid van gegevens te maximaliseren.
U kunt meerdere gegevenssets parallel uploaden van het mainframe naar Blob Storage.
Serverloos in Azure SQL DB biedt een optie voor automatisch schalen op basis van de workload. Andere Azure-databases kunnen omhoog en omlaag worden geschaald met automatisering om te voldoen aan de workloadvereisten. Zie Automatisch schalen voor meer informatie.
Medewerkers
Dit artikel wordt onderhouden door Microsoft. Het is oorspronkelijk geschreven door de volgende inzender.
Hoofdauteur:
Sandip Khandelwal | Senior Engineering Architect
Als u niet-openbare LinkedIn-profielen wilt zien, meldt u zich aan bij LinkedIn.
Volgende stappen
Bekijk de Azure Database Migration Guides.
Neem voor meer informatie contact op met Azure Data-engineer ing - Mainframe & Midrange Modernization.
- Overzicht van Azure Monitor
- Inleiding tot Azure Blob-opslag
- mLogica LIBER*IRIS
- Quickstart: Een virtuele Linux-machine maken in Azure Portal
- Virtuele machines in Azure
- Welkom bij Azure Cosmos DB