Apache®, Spark en het vlamlogo zijn geregistreerde handelsmerken of handelsmerken van de Apache Software Foundation in de Verenigde Staten en/of andere landen. Er wordt geen goedkeuring door De Apache Software Foundation geïmpliceerd door het gebruik van deze markeringen.
In dit artikel wordt een end-to-end moderniseringsplan voor mainframe- en midrangegegevensbronnen beschreven.
Architectuur
Een Visio-bestand van deze architectuur downloaden.
Gegevensstroom
In de volgende gegevensstroom wordt een proces beschreven voor het moderniseren van een mainframe-gegevenslaag. Het komt overeen met het voorgaande diagram.
Mainframe- en midrangesystemen slaan gegevens op in gegevensbronnen, zoals bestandssystemen (methode voor virtuele opslagtoegang (VSAM), plat bestand, LTFS), relationele databases (Db2 voor z/OS, Db2 voor IBM i, Db2 voor Linux UNIX en Windows) of niet-relationele databases IMS (Information Management System), ADABAS, IDMS (Integrated Database Management System).
Het objectconversieproces extraheert objectdefinities uit bronobjecten. De definities worden vervolgens geconverteerd naar bijbehorende objecten in het doelgegevensarchief.
- SQL Server Migration Assistant (SSMA) voor Db2 migreert schema's en gegevens van IBM Db2-databases naar Azure-databases.
-
Beheerde gegevensprovider voor hostbestanden converteert objecten door:
- Cobol- en RPG-recordindelingen of copybooks parseren.
- De copybooks toewijzen aan C#-objecten die door .NET-toepassingen worden gebruikt.
- Gebruik het hulpprogramma Db2toAzurePostgreSQL om databaseobjecten te migreren van Db2 naar Azure Database for PostgreSQL.
- Hulpprogramma's van derden voeren geautomatiseerde objectconversie uit op niet-relationele databases, bestandssystemen en andere gegevensarchieven.
Gegevens worden opgenomen en getransformeerd. Mainframe- en midrangesystemen slaan hun bestandssysteemgegevens op in EBCDIC-gecodeerde indeling in bestandsindelingen zoals:
- Geïndexeerde VSAM-bestanden
- Niet-geïndexeerde GDG-bestanden
- Platte bestanden
Cobol, PL/I en copybooks voor assemblytaal definiëren de gegevensstructuur van deze bestanden.
a. FTP draagt mainframe- en midrange-bestandssysteemgegevenssets over met enkele indelingen en uitgepakte velden in binaire indeling en bijbehorende copybook naar Azure.
b. Gegevensconversie wordt uitgevoerd door aangepaste programma's te ontwikkelen met behulp van het onderdeel Hostbestand van de hostintegratieservers of door gebruik te maken van de ingebouwde connector voor IBM-hostbestanden in Azure Logic Apps.
Het Spark Notebook-conversieprogramma wordt ontwikkeld met opensource Spark-frameworks en is compatibel met Spark-omgevingen zoals Microsoft Fabric, Azure Synapse Analytics en Databricks.
c. Relationele databasegegevens worden gemigreerd.
IBM mainframe- en midrangesystemen slaan gegevens op in relationele databases, zoals deze:
Met deze services worden de databasegegevens gemigreerd:
- Data Factory maakt gebruik van een Db2-connector om gegevens uit de databases te extraheren en te integreren.
- SQL Server Integration Services verwerkt verschillende ETL-taken voor gegevens.
- Microsoft Fabric Data Factory maakt gebruik van de IBM Db2-connector voor het migreren van Db2-gegevens.
d. Niet-relationele databasegegevens worden gemigreerd.
IBM mainframe- en midrangesystemen slaan gegevens op in niet-relationele databases, zoals deze:
- IDMS, een netwerkmodeldatabasebeheersysteem (DBMS)
- IMS, een hiërarchisch model DBMS
- Adabas
- Datacom
Producten van derden integreren gegevens uit deze databases.
Azure-services zoals Data Factory en AzCopy laden gegevens in Azure-databases en Azure-gegevensopslag. U kunt ook oplossingen van derden en aangepaste laadoplossingen gebruiken om gegevens te laden.
Azure biedt diverse databaseservices, waaronder volledig beheerde relationele databases, zoals Azure SQL Database en NoSQL-opties, zoals Azure Cosmos DB. Deze services zijn ontworpen voor schaalbaarheid, flexibiliteit en wereldwijde distributie.
Azure biedt ook een scala aan opslagoplossingen, waaronder Azure Blob Storage voor ongestructureerde gegevens en Azure Files voor volledig beheerde bestandsshares.
Azure-services maken gebruik van de gemoderniseerde gegevenslaag voor computing, analyse, opslag en netwerken.
Clienttoepassingen maken ook gebruik van de gemoderniseerde gegevenslaag.
Onderdelen
Gegevensopslag
De architectuur bespreekt de gegevensmigratie naar schaalbare, veilige cloudopslag en beheerde databases voor flexibel, intelligent gegevensbeheer in Azure.
- SQL Database maakt deel uit van de Azure SQL-serie. Ontworpen voor de cloud en biedt alle voordelen van een volledig beheerd en groenblijvend platform als een service. SQL Database biedt ook geautomatiseerde ai-functies die de prestaties en duurzaamheid optimaliseren. Serverloze reken- en Hyperscale-opslagopties schalen automatisch resources op aanvraag.
- Azure Database for PostgreSQL- is een volledig beheerde relationele databaseservice op basis van de communityversie van de opensource-PostgreSQL-database-engine.
- Azure Cosmos DB is een wereldwijd gedistribueerde NoSQL-database met meerdere modellen.
- Azure Database for MySQL- is een volledig beheerde relationele databaseservice op basis van de communityversie van de opensource-MySQL-database-engine.
- SQL Managed Instance is een intelligente, schaalbare clouddatabaseservice die alle voordelen biedt van een volledig beheerd en groenblijvend platform als een service. SQL Managed Instance heeft bijna 100% compatibiliteit met de nieuwste SQL Server Enterprise Edition-database-engine. Het biedt ook een systeemeigen implementatie van een virtueel netwerk waarmee veelvoorkomende beveiligingsproblemen worden opgelost.
- Azure Data Lake Storage is een opslagopslagplaats met grote hoeveelheden gegevens in de oorspronkelijke, onbewerkte indeling. Data Lake Stores zijn geoptimaliseerd voor schalen naar terabytes en petabytes aan gegevens. De gegevens zijn doorgaans afkomstig van meerdere heterogene bronnen. Het kan gestructureerd, semi-gestructureerd of ongestructureerd zijn.
- SQL-database in Microsoft Fabric is een beschrijvende transactionele database op basis van Azure SQL Database waarmee u eenvoudig uw operationele database in Fabric kunt maken. Een SQL-database in Fabric maakt gebruik van dezelfde SQL Database Engine als Azure SQL Database.
- Microsoft Fabric Lakehouse is een platform voor gegevensarchitectuur voor het opslaan, beheren en analyseren van gestructureerde en ongestructureerde gegevens op één locatie.
Compute
- Data Factory integreert gegevens in verschillende netwerkomgevingen met behulp van een integratieruntime (IR), een rekeninfrastructuur. Data Factory kopieert gegevens tussen cloudgegevensarchieven en gegevensarchieven in on-premises netwerken met behulp van zelf-hostende IR's.
- De on-premises gegevensgateway is een lokaal geïnstalleerde Windows-clienttoepassing die fungeert als een brug tussen uw lokale on-premises gegevensbronnen en -services in de Microsoft-cloud.
- Azure Virtual Machines biedt on-demand, schaalbare computingresources. Een virtuele Azure-machine (VM) biedt de flexibiliteit van virtualisatie, maar elimineert de onderhoudsvereisten van fysieke hardware. Azure-VM's bieden een keuze uit besturingssystemen, waaronder Windows en Linux.
Gegevensintegrators
Deze architectuur bevat een overzicht van verschillende azure-systeemeigen migratiehulpprogramma's die kunnen worden gebruikt, afhankelijk van de mainframe-brongegevens en de doeldatabase.
- Azure Data Factory is een hybride service voor gegevensintegratie. In deze oplossing is een Azure Data Factory met minimale installatie voor het migreren van gegevens uit Db2 sorurce Azure-databases met behulp van systeemeigen connetors.
- AzCopy is een opdrachtregelprogramma waarmee blobs of bestanden naar en uit opslagaccounts worden verplaatst.
-
SQL Server Integration Services is een platform voor het maken van gegevensintegratie- en transformatieoplossingen op ondernemingsniveau. U kunt het gebruiken om complexe zakelijke problemen op te lossen door:
- Bestanden kopiëren of downloaden.
- Datawarehouses laden.
- Gegevens opschonen en analyseren.
- SQL Server-objecten en -gegevens beheren.
- Met Host Integration Server-technologieën en -hulpprogramma's kunt u bestaande IBM-hostsystemen, programma's, berichten en gegevens integreren met Azure-toepassingen. Het hostbestandsclientonderdeel biedt flexibiliteit voor gegevens die zijn geconverteerd van EBCDIC naar ASCII. U kunt bijvoorbeeld JSON/XML genereren op basis van de gegevens die zijn geconverteerd.
- Azure Synapse Analytics gegevensintegratie, zakelijke datawarehousing en big data-analyses samenbrengt. De Azure Synapse-conversieoplossing die in deze architectuur wordt gebruikt, is gebaseerd op Apache Spark en is een goede kandidaat voor de conversie van grote mainframe-gegevenssetworkloads. Het ondersteunt een breed scala aan mainframe-gegevensstructuren en -doelen en vereist minimale coderingsinspanningen.
- Microsoft Fabric- is een end-to-end analyseplatform dat klaar is voor ondernemingen. Hiermee worden gegevensverplaatsing, gegevensverwerking, opname, transformatie, realtime gebeurtenisroutering en rapportbouw samengevoegd. Het ondersteunt deze mogelijkheden met geïntegreerde services zoals Data Engineering, Data Factory, Data Science, Real-Time Analytics, Data Warehouse en Databases.
Andere hulpprogramma's
- SQL Server Migration Assistant voor Db2 automatiseert de migratie van Db2 naar Microsoft-databaseservices. Wanneer deze wordt uitgevoerd op een virtuele machine, converteert dit hulpprogramma Db2-databaseobjecten naar SQL Server-databaseobjecten en maakt deze objecten in SQL Server.
-
Gegevensprovider voor hostbestanden is een onderdeel van hostintegratieserver die gebruikmaakt van offline-, SNA- of TCP/IP-verbindingen.
- Met offlineverbindingen leest en schrijft de gegevensprovider records in een lokaal binair bestand.
- Met SNA- en TCP/IP-verbindingen leest en schrijft de gegevensprovider records die zijn opgeslagen in externe z/OS-gegevenssets (IBM Z Series Mainframe) of externe i5/OS -systemen (IBM AS/400 en iSeries) fysieke bestanden. Alleen i5/OS-systemen maken gebruik van TCP/IP.
- Azure-services bieden omgevingen, hulpprogramma's en processen voor het ontwikkelen en schalen van nieuwe toepassingen in de openbare cloud.
Scenariodetails
Moderne oplossingen voor gegevensopslag, zoals het Azure-gegevensplatform, bieden betere schaalbaarheid en prestaties dan mainframe- en midrangesystemen. Door uw systemen te moderniseren, kunt u profiteren van deze voordelen. Het bijwerken van technologie, infrastructuur en procedures is echter complex. Het proces omvat een uitgebreid onderzoek naar bedrijfs- en technische activiteiten. Gegevensbeheer is een overweging wanneer u uw systemen moderniseert. U moet ook kijken naar gegevensvisualisatie en -integratie.
Succesvolle moderniseringen maken gebruik van een data-first-strategie. Wanneer u deze benadering gebruikt, richt u zich op de gegevens in plaats van op het nieuwe systeem. Gegevensbeheer is niet langer alleen een item in de controlelijst voor modernisering. In plaats daarvan zijn de gegevens het middelpunt. Gecoördineerde, kwaliteitsgerichte gegevensoplossingen vervangen gefragmenteerde, slecht beheerde oplossingen.
Deze oplossing maakt gebruik van Azure-gegevensplatformonderdelen in een data-first benadering. De oplossing omvat met name:
- Objectconversie. Objectdefinities uit het brongegevensarchief converteren naar bijbehorende objecten in het doelgegevensarchief.
- Gegevensopname. Verbinding maken met het brongegevensarchief en gegevens extraheren.
- Gegevenstransformatie. Geëxtraheerde gegevens transformeren naar de juiste doelgegevensopslagstructuren.
- Gegevensopslag. Het laden van gegevens uit het brongegevensarchief naar het doelgegevensarchief, zowel in eerste instantie als voortdurend.
Potentiële gebruikscases
Organisaties die gebruikmaken van mainframe- en midrangesystemen kunnen profiteren van deze oplossing, met name wanneer ze deze doelen willen bereiken:
- Bedrijfskritieke workloads moderniseren.
- Bedrijfsinformatie verkrijgen om de activiteiten te verbeteren en een concurrentievoordeel te krijgen.
- Verwijder de hoge kosten en starheid die zijn gekoppeld aan mainframe- en midrange-gegevensarchieven.
Overwegingen
Met deze overwegingen worden de pijlers van het Azure Well-Architected Framework geïmplementeerd. Dit is een set richtlijnen die kunnen worden gebruikt om de kwaliteit van een workload te verbeteren. Zie Microsoft Azure Well-Architected Framework voor meer informatie.
Beveiliging
Beveiliging biedt garanties tegen opzettelijke aanvallen en misbruik van uw waardevolle gegevens en systemen. Zie voor meer informatie controlelijst ontwerpbeoordeling voor Security.
- Houd rekening met de verschillen tussen on-premises clientidentiteiten en clientidentiteiten in Azure. U moet eventuele verschillen compenseren.
- Beheerde identiteiten gebruiken voor gegevensstromen tussen onderdelen.
- Wanneer u gegevensprovider voor hostbestanden gebruikt om gegevens te converteren, volgt u de aanbevelingen in gegevensproviders voor beveiliging en beveiliging van hostbestanden.
Kostenoptimalisatie
Kostenoptimalisatie gaat over manieren om onnodige uitgaven te verminderen en operationele efficiëntie te verbeteren. Zie controlelijst ontwerpbeoordeling voor kostenoptimalisatievoor meer informatie.
- SQL Server Migration Assistant is een gratis, ondersteund hulpprogramma dat de databasemigratie van Db2 naar SQL Server, SQL Database en SQL Managed Instance vereenvoudigt. SQL Server Migration Assistant automatiseert alle aspecten van migratie, waaronder migratiebeoordelingsanalyse, conversie van schema- en SQL-instructies en gegevensmigratie.
- De op Azure Synapse Spark gebaseerde oplossing is gebouwd op basis van opensource-bibliotheken. Het elimineert de financiële lasten van hulpprogramma's voor licentieconversie.
- Gebruik de Azure-prijscalculator om de kosten voor het implementeren van deze oplossing te schatten.
Prestatie-efficiëntie
Prestatie-efficiëntie is de mogelijkheid van uw workload om te schalen om te voldoen aan de eisen die gebruikers op een efficiënte manier stellen. Zie controlelijst ontwerpbeoordeling voor prestatie-efficiëntievoor meer informatie.
- De belangrijkste pijlers van prestatie-efficiëntie zijn prestatiebeheer, capaciteitsplanning, schaalbaarheid en het kiezen van een geschikt prestatiepatroon.
- U kunt de zelf-hostende IR uitschalen door het logische exemplaar te koppelen aan meerdere on-premises machines in de actief-actieve modus.
- Azure SQL Database biedt de mogelijkheid om uw databases dynamisch te schalen. In een serverloze laag kunnen de rekenresources automatisch worden geschaald. Elastische pool, waarmee databases resources in een pool kunnen delen, kunnen alleen handmatig worden geschaald.
Wanneer u de gegevensprovider voor hostbestandenclient gebruikt om gegevens te converteren, schakelt u groepsgewijze verbindingen in om de opstarttijd van de verbinding te verkorten. Wanneer u Data Factory gebruikt om gegevens te extraheren, kunt u de prestaties van de kopieeractiviteit afstemmen.
Medewerkers
Dit artikel wordt onderhouden door Microsoft. De tekst is oorspronkelijk geschreven door de volgende Inzenders.
Hoofdauteur:
- Ashish Khandelwal | Principal Engineering Architect Manager
Andere Inzenders:
- Nithish Aruldoss | Technische architect
Als u niet-openbare LinkedIn-profielen wilt zien, meldt u zich aan bij LinkedIn.
Volgende stappen
Bekijk de Azure Database Migration Guides. Neem contact op met Azure Data-engineer ing - Mainframe & Midrange Modernization voor meer informatie.
Zie de volgende artikelen:
- IBM-workloads in Azure
- Mainframe opnieuw hosten op virtuele Azure-machines
- Mainframe-workloads die worden ondersteund in Azure
- Mainframe-rekenkracht verplaatsen naar Azure