In deze voorbeeldarchitectuur wordt een implementatieplan beschreven voor het repliceren en synchroniseren van gegevens tijdens de modernisering naar Azure. Hierin worden technische aspecten besproken, zoals gegevensarchieven, hulpprogramma's en services.
Architectuur
Een Visio-bestand van deze architectuur downloaden.
Workflow
Mainframe- en midrangesystemen werken on-premises toepassingsdatabases regelmatig bij. De oplossing synchroniseert de meest recente gegevens met Azure-databases om consistentie te behouden. Het synchronisatieproces omvat de volgende stappen:
Dynamische Azure Data Factory-pijplijnen organiseren activiteiten die variëren van gegevensextractie tot het laden van gegevens. U kunt pijplijnactiviteiten plannen, handmatig starten of ze automatisch activeren.
Pijplijnen groeperen de activiteiten die taken uitvoeren. Als u gegevens wilt extraheren, maakt Data Factory dynamisch één pijplijn voor elke on-premises tabel. U kunt vervolgens een zeer parallelle implementatie gebruiken wanneer u gegevens repliceert in Azure. U kunt de oplossing ook configureren om te voldoen aan uw vereisten:
- Volledige replicatie: u repliceert de hele database en breng de benodigde wijzigingen aan in gegevenstypen en velden in de Azure-doeldatabase.
- Gedeeltelijke replicatie, delta of incrementele replicatie: u gebruikt watermerkkolommen in brontabellen om de bijgewerkte rijen te synchroniseren met Azure-databases. Deze kolommen bevatten een doorlopende incrementele sleutel of een tijdstempel die de laatste update van de tabel aangeeft.
Data Factory maakt ook gebruik van pijplijnen voor de volgende transformatietaken:
- Conversie van gegevenstype
- Gegevensmanipulatie
- Gegevensopmaak
- Kolomafbreking
- Gegevens platmaken
- Gegevens sorteren
- Gegevens filteren
On-premises databases zoals Db2 zOS, Db2 for i en Db2 LUW slaan de toepassingsgegevens op.
Een zelf-hostende Integration Runtime (SHIR) biedt de omgeving die Data Factory gebruikt voor het uitvoeren en verzenden van activiteiten.
Azure Data Lake Storage Gen2 en Azure Blob Storage bieden een locatie voor fasering van gegevens. Deze stap is soms vereist voor het transformeren en samenvoegen van gegevens uit meerdere bronnen.
Voor gegevensvoorbereiding maakt Data Factory gebruik van Azure Databricks, aangepaste activiteiten en pijplijngegevensstromen om gegevens snel en effectief te transformeren.
Data Factory laadt gegevens in de volgende relationele en niet-relationele Azure-databases:
- Azure SQL
- Azure Database for PostgreSQL
- Azure Cosmos DB
- Azure Data Lake Storage
- Azure Database for MySQL
SQL Server Integration Services (SSIS): dit platform kan gegevens extraheren, transformeren en laden.
Niet-Microsoft-hulpprogramma's: wanneer voor de oplossing bijna realtime replicatie is vereist, kunt u niet-Microsoft-hulpprogramma's gebruiken.
Onderdelen
In deze sectie worden andere hulpprogramma's beschreven die u kunt gebruiken tijdens het moderniseren, synchroniseren en integreren van gegevens.
Hulpprogramma's
Microsoft Service for Distributed Relational Database Architecture (DRDA) is een onderdeel van Host Integration Server (HIS). Microsoft Service voor DRDA is een toepassingsserver die DRDA Application Requester-clients (AR) gebruiken. Voorbeelden van DRDA AR-clients zijn IBM Db2 for z/OS en Db2 for i5/OS. Deze clients gebruiken de toepassingsserver om Db2 SQL-instructies te converteren en uit te voeren op SQL Server.
SQL Server Migration Assistant (SSMA) voor Db2 automatiseert de migratie van Db2 naar Microsoft-databaseservices. Terwijl het wordt uitgevoerd op een virtuele machine (VM), converteert dit hulpprogramma Db2-databaseobjecten naar SQL Server-databaseobjecten en maakt deze objecten in SQL Server. SSMA voor Db2 migreert vervolgens gegevens van Db2 naar de volgende services:
- SQL Server 2012
- SQL Server 2014
- SQL Server 2016
- SQL Server 2017 in Windows en Linux
- SQL Server 2019 in Windows en Linux
- Azure SQL-database
Azure Synapse Analytics is een analyseservice voor datawarehouses en big data-systemen. Dit hulpprogramma maakt gebruik van Spark-technologieën en heeft diepgaande integratie met Power BI, Azure Machine Learning en andere Azure-services.
Gegevensintegrators
Data Factory is een hybride service voor gegevensintegratie. U kunt deze volledig beheerde, serverloze oplossing gebruiken om ETL-werkstromen (extract, transform, and load) te maken, plannen en organiseren en ELT-werkstromen te extraheren, laden en transformeren.
Azure Synapse Analytics is een service voor bedrijfsanalyse waarmee u sneller inzicht krijgt in datawarehouses en big data-systemen. Azure Synapse Analytics combineert het beste van de volgende technologieën en services:
- SQL-technologieën, die u gebruikt in datawarehousing voor ondernemingen.
- Spark-technologieën, die u gebruikt voor big data.
- Azure Data Explorer, die u gebruikt voor logboek- en tijdreeksanalyse.
- Azure Pipelines, die u gebruikt voor gegevensintegratie en ETL- en ELT-werkstromen.
- Diepgaande integratie met andere Azure-services, zoals Power BI, Azure Cosmos DB en Machine Learning.
SSIS is een platform voor het bouwen van gegevensintegratie- en transformatieoplossingen op ondernemingsniveau. U kunt SSIS gebruiken om gegevens te beheren, te repliceren, op te schonen en te mijnen.
Azure Databricks is een platform voor gegevensanalyse. Het is gebaseerd op het opensource-systeem voor gedistribueerde verwerking van Apache Spark en is geoptimaliseerd voor het Azure-cloudplatform. In een analysewerkstroom leest Azure Databricks gegevens uit meerdere bronnen en gebruikt Spark om inzichten te bieden.
Gegevensopslag
SQL Database maakt deel uit van de Azure SQL-serie en is gebouwd voor de cloud. Deze service biedt de voordelen van een volledig beheerd en groenblijvend platform als een dienst (PaaS). SQL Database biedt ook door AI aangedreven, geautomatiseerde functies die de prestaties en duurzaamheid optimaliseren. Serverloze reken- en Hyperscale-opslagopties schalen automatisch resources op aanvraag.
Azure SQL Managed Instance maakt deel uit van het Azure SQL-serviceportfolio. Deze intelligente en schaalbare clouddatabaseservice combineert de breedste compatibiliteit met SQL Server-engine met alle voordelen van een volledig beheerde en groenblijvende PaaS. Met SQL Managed Instance kunt u bestaande apps op schaal moderniseren.
SQL Server op Azure Virtual Machines biedt een manier om SQL Server-workloads naar de cloud op te tillen en te verplaatsen met 100% codecompatibiliteit. Als onderdeel van de Azure SQL-serie biedt SQL Server op Azure Virtual Machines de gecombineerde prestaties, beveiliging en analyse van SQL Server met de flexibiliteit en hybride connectiviteit van Azure. Gebruik SQL Server op Azure Virtual Machines om bestaande apps te migreren of nieuwe apps te bouwen. U kunt ook toegang krijgen tot de nieuwste SQL Server-updates en -releases, waaronder SQL Server 2019.
Azure Database for PostgreSQL is een volledig beheerde relationele databaseservice die is gebaseerd op de community-editie van de opensource PostgreSQL-database-engine . Gebruik deze service om te focussen op toepassingsinnovatie in plaats van databasebeheer. U kunt uw workload ook snel en eenvoudig schalen.
Azure Cosmos DB is een wereldwijd gedistribueerde database met meerdere modellen . Gebruik Azure Cosmos DB om ervoor te zorgen dat uw oplossingen doorvoer en opslag elastisch en onafhankelijk kunnen schalen in een willekeurig aantal geografische regio's. Deze volledig beheerde NoSQL-databaseservice garandeert latenties van één cijfer, milliseconden op het percentiel van negentig negende overal ter wereld.
Data Lake Storage is een opslagopslagplaats met een grote hoeveelheid gegevens in de oorspronkelijke, onbewerkte indeling. Data Lake Stores zijn geoptimaliseerd voor schalen naar terabytes en petabytes aan gegevens. De gegevens zijn doorgaans afkomstig van meerdere heterogene bronnen en kunnen gestructureerd, semi-gestructureerd of ongestructureerd zijn. Data Lake Storage Gen2 combineert Data Lake Storage Gen1-mogelijkheden met Blob Storage. Deze data lake-oplossing van de volgende generatie biedt semantiek van het bestandssysteem, beveiliging op bestandsniveau en schaal. Het biedt ook de gelaagde opslag, hoge beschikbaarheid en mogelijkheden voor herstel na noodgevallen van Blob Storage.
Azure Database for MySQL is een volledig beheerde relationele databaseservice op basis van de communityversie van de opensource MySQL-database-engine.
Blob Storage biedt geoptimaliseerde cloudobjectopslag waarmee enorme hoeveelheden ongestructureerde gegevens worden beheerd.
Scenariodetails
Beschikbaarheid en integriteit van gegevens zijn essentieel in mainframe en modernisering in midrange. Met strategieën voor gegevens eerst kunt u gegevens intact en beschikbaar houden tijdens de migratie naar Azure. Om onderbrekingen tijdens de modernisering te voorkomen, moet u soms snel gegevens repliceren of on-premises gegevens synchroon houden met Azure-databases.
Deze oplossing heeft met name betrekking op:
- Extractie: Verbinding maken met en extraheren uit een brondatabase.
- Transformatie:
- Fasering: Gegevens tijdelijk opslaan in de oorspronkelijke indeling en voorbereiden op transformatie.
- Voorbereiding: Gegevens transformeren en bewerken met behulp van toewijzingsregels die voldoen aan de vereisten van de doeldatabase.
- Laden: Gegevens invoegen in een doeldatabase.
Potentiële gebruikscases
Scenario's voor gegevensreplicatie en synchronisatie die kunnen profiteren van deze oplossing zijn:
- CQRS-architecturen (Command Query Responsibility Segregation) die gebruikmaken van Azure om alle inquire-kanalen te onderhouden.
- Omgevingen die on-premises toepassingen testen en opnieuw gehoste of opnieuw ontworpen toepassingen parallel uitvoeren.
- On-premises systemen met nauw gekoppelde toepassingen waarvoor gefaseerde herstel of modernisering is vereist.
Aanbevelingen
Wanneer u Data Factory gebruikt om gegevens te extraheren, voert u stappen uit om de prestaties van de kopieeractiviteit af te stemmen.
Overwegingen
Met deze overwegingen worden de pijlers van het Azure Well-Architected Framework geïmplementeerd. Dit is een set richtlijnen die kunnen worden gebruikt om de kwaliteit van een workload te verbeteren. Zie Microsoft Azure Well-Architected Framework voor meer informatie.
Houd rekening met deze punten wanneer u deze architectuur beschouwt.
Betrouwbaarheid
Betrouwbaarheid zorgt ervoor dat uw toepassing kan voldoen aan de toezeggingen die u aan uw klanten hebt gedaan. Zie Overzicht van de pijler Betrouwbaarheid voor meer informatie.
Infrastructuurbeheer, inclusief beschikbaarheid, wordt geautomatiseerd in Azure-databases.
Zie Pooling en failover voor informatie over Microsoft Service voor DRDA-failoverbeveiliging.
U kunt de on-premises gegevensgateway en integration runtime (IR) clusteren om hogere beschikbaarheidsgaranties te bieden.
Beveiliging
Beveiliging biedt garanties tegen opzettelijke aanvallen en misbruik van uw waardevolle gegevens en systemen. Zie Overzicht van de beveiligingspijler voor meer informatie.
Gebruik netwerkbeveiligingsgroepen om de toegang te beperken tot alleen wat elke service nodig heeft om te functioneren.
Gebruik privé-eindpunten voor uw PaaS-services. Gebruik servicefirewalls die bereikbaar en onbereikbaar zijn via internet om de beveiliging voor uw services aan te vullen.
Beheerde identiteiten gebruiken voor gegevensstromen tussen onderdelen.
Zie Plannings- en ontwerpoplossingen met behulp van Microsoft Service voor DRDA voor meer informatie over de typen clientverbindingen die door Microsoft Service voor DRDA worden ondersteund. Clientverbindingen zijn van invloed op de aard van transacties, pooling, failover, verificatie en versleuteling in uw netwerk.
Kostenoptimalisatie
Kostenoptimalisatie gaat over manieren om onnodige uitgaven te verminderen en operationele efficiëntie te verbeteren. Zie Overzicht van de pijler Kostenoptimalisatie voor meer informatie.
Prijsmodellen verschillen per onderdeelservices. Bekijk de prijsmodellen van de beschikbare onderdeelservices om ervoor te zorgen dat ze aan uw budget voldoen.
Gebruik de Azure-prijscalculator om de kosten voor het implementeren van deze oplossing te schatten.
Operationele uitmuntendheid
Operationele uitmuntendheid omvat de operationele processen die een toepassing implementeren en deze in productie houden. Zie Overzicht van de pijler Operational Excellence voor meer informatie.
Infrastructuurbeheer, inclusief schaalbaarheid, wordt geautomatiseerd in Azure-databases.
U kunt de zelf-hostende IR uitschalen door het logische exemplaar te koppelen aan meerdere on-premises machines in de actief-actieve modus.
Prestatie-efficiëntie
Prestatie-efficiëntie is de mogelijkheid om op efficiënte wijze uw werkbelasting te schalen om te voldoen aan de vereisten die gebruikers eraan stellen. Zie overzicht van de pijler Performance Efficiency voor meer informatie.
Overweeg Azure ExpressRoute als een grootschalige optie als uw implementatie een aanzienlijke bandbreedte gebruikt voor initiële replicatie of doorlopende gewijzigde gegevensreplicatie.
Kies de juiste IR-configuratie voor uw scenario.
Volgende stappen
- Neem contact op met Azure Data-engineer ing - On-premises Modernisering voor meer informatie.
- Lees de migratiehandleiding.