Bewerken

Delen via

Mainframe- en midrangegegevensreplicatie naar Azure met qlik

Azure Event Hubs
Azure Data Lake
Azure Databricks

Deze oplossing maakt gebruik van een on-premises exemplaar van Qlik om on-premises gegevensbronnen in realtime naar Azure te repliceren.

Notitie

Spreek Qlik uit als 'click'.

Apache en Apache® Kafka® zijn gedeponeerde handelsmerken of handelsmerken van de Apache Software Foundation in de Verenigde Staten en/of andere landen. Er wordt geen goedkeuring door De Apache Software Foundation geïmpliceerd door het gebruik van deze markeringen.

Architectuur

Architectuur voor gegevensmigratie naar Azure met behulp van Qlik.

Een Visio-bestand van deze architectuur downloaden.

Workflow

  1. Hostagent: De hostagent op het on-premises systeem legt wijzigingslogboekgegevens vast uit db2-, IMS- en VSAM-gegevensarchieven en geeft deze door aan de Qlik Replication-server.
  2. Replicatieserver: de Qlik Replication-serversoftware geeft de wijzigingslogboekgegevens door aan Kafka en Azure Event Hubs. Qlik in dit voorbeeld is on-premises, maar kan in plaats daarvan worden geïmplementeerd op een virtuele machine in Azure.
  3. Streamopname: Kafka en Event Hubs bieden berichtbrokers voor het ontvangen en opslaan van wijzigingenlogboekinformatie.
  4. Kafka Connect: de Kafka Connect-API wordt gebruikt om gegevens op te halen uit Kafka voor het bijwerken van Azure-gegevensarchieven, zoals Azure Data Lake Storage, Azure Databricks en Azure Synapse Analytics.
  5. Data Lake Storage: Data Lake Storage is een faseringsgebied voor de wijzigingslogboekgegevens.
  6. Databricks: Databricks verwerkt de wijzigingenlogboekgegevens en werkt de bijbehorende bestanden in Azure bij.
  7. Azure-gegevensservices: Azure biedt diverse efficiënte gegevensopslagservices. Prominent onder deze zijn:

    • Services voor relationele databases:

      • SQL Server op virtuele machines in Azure
      • Azure SQL Database
      • Azure SQL Managed Instance
      • Azure Database for PostgreSQL
      • Azure Database for MySQL
      • Azure Cosmos DB

      Er zijn veel factoren waarmee u rekening moet houden bij het kiezen van een gegevensopslagservice: type workload, query's voor meerdere databases, vereisten voor doorvoer in twee fasen, de mogelijkheid om toegang te krijgen tot het bestandssysteem, de hoeveelheid gegevens, de vereiste doorvoer, latentie, enzovoort.

    • Azure niet-relationele databaseservices: Azure Cosmos DB, een NoSQL-database, biedt snel antwoord, automatische schaalbaarheid en gegarandeerde snelheid op elke schaal.

    • Azure Synapse Analytics: Synapse Analytics is een analyseservice die gegevensintegratie, zakelijke datawarehousing en big data-analyses combineert. Hiermee kunt u query's uitvoeren op gegevens met behulp van serverloze of toegewezen resources op schaal.

    • Microsoft Fabric: Microsoft Fabric is een alles-in-één analyseoplossing voor ondernemingen. Hierin wordt alles behandeld, van gegevensverplaatsing tot gegevenswetenschap, realtime analyse en business intelligence. Het biedt een uitgebreide suite met services, waaronder data lake, data engineering en gegevensintegratie.

Onderdelen

Deze architectuur bestaat uit verschillende Azure-cloudservices en is onderverdeeld in vier categorieën resources: netwerken en identiteit, toepassing, opslag en bewaking. De services voor elk en hun rollen worden beschreven in de volgende secties.

Netwerken en identiteit

  • Azure ExpressRoute breidt uw on-premises netwerken uit naar cloudservices die door Microsoft worden aangeboden via een privéverbinding van een connectiviteitsprovider. Met ExpressRoute kunt u verbindingen tot stand brengen met cloudservices zoals Microsoft Azure en Office 365.
  • Azure VPN Gateway is een specifiek type virtuele netwerkgateway waarmee versleuteld verkeer tussen een virtueel Azure-netwerk en een on-premises locatie via het openbare internet wordt verzonden.
  • Microsoft Entra ID is een service voor identiteits- en toegangsbeheer die kan worden gesynchroniseerd met een on-premises Active Directory.

Toepassing

  • Azure Event Hubs is een streamingplatform voor big data en een service voor gebeurtenisopname waarin db2-, IMS- en VSAM-gegevensberichten kunnen worden opgeslagen. Het kan miljoenen berichten per seconde ontvangen en verwerken. Gegevens die naar een Event Hub worden verzonden, kunnen worden getransformeerd en opgeslagen met behulp van een realtime analyseprovider of een aangepaste adapter.
  • Apache Kafka is een opensource gedistribueerd gebeurtenisstreamingplatform dat wordt gebruikt voor krachtige gegevenspijplijnen, streaminganalyses, gegevensintegratie en bedrijfskritieke toepassingen. Het kan eenvoudig worden geïntegreerd met Qlik-gegevensintegratie om db2-wijzigingsgegevens op te slaan.
  • Azure Data Lake Storage Azure Data Lake Storage biedt een data lake voor het opslaan van de verwerkte on-premises wijzigingslogboekgegevens.
  • Azure Databricks is een cloudhulpprogramma voor data engineering dat is gebaseerd op Apache Spark. Het kan enorme hoeveelheden gegevens verwerken en transformeren. U kunt de gegevens verkennen met behulp van machine learning-modellen. Taken kunnen worden geschreven in R, Python, Java, Scala en Spark SQL.

Storage

  • Azure Storage is een set zeer schaalbare en veilige cloudservices voor gegevens, apps en workloads. Het omvat Azure Files, Azure Table Storage en Azure Queue Storage. Azure Files is vaak een effectief hulpprogramma voor het migreren van mainframeworkloads.
  • Azure Cosmos DB is een volledig beheerde NoSQL-databaseservice met opensource-API's voor MongoDB en Cassandra. Een mogelijke toepassing is het migreren van mainframe-niet-tabellaire gegevens naar Azure.

Controleren

  • Azure Monitor biedt een uitgebreide oplossing voor het verzamelen, analyseren en uitvoeren van telemetrie vanuit cloud- en on-premises omgevingen. Dit omvat:
    • Application Insights voor het analyseren en presenteren van telemetrie.
    • Bewaak logboeken, waarmee logboek- en prestatiegegevens van bewaakte resources worden verzameld en ingedeeld. Gegevens uit verschillende bronnen, zoals platformlogboeken van Azure-services, logboek- en prestatiegegevens van agents voor virtuele machines, en gebruiks- en prestatiegegevens van toepassingen kunnen worden samengevoegd tot één werkruimte die samen moet worden geanalyseerd. Analyse maakt gebruik van een geavanceerde querytaal waarmee miljoenen records snel kunnen worden geanalyseerd.
    • Log Analytics, waarmee query's kunnen worden uitgevoerd op logboeken bewaken. Met een krachtige querytaal kunt u gegevens uit meerdere tabellen samenvoegen, grote gegevenssets aggregeren en complexe bewerkingen uitvoeren met minimale code.

Alternatieven

  • In het diagram ziet u dat Qlik on-premises is geïnstalleerd, een aanbevolen best practice om deze dicht bij de on-premises gegevensbronnen te houden. Een alternatief is het installeren van Qlik in de cloud op een virtuele Azure-machine.
  • Qlik Data-Integratie kan rechtstreeks aan Databricks leveren zonder kafka of een Event Hub te doorlopen.
  • Qlik Data-integratie kan niet rechtstreeks worden gerepliceerd naar Azure Cosmos DB, maar u kunt Azure Cosmos DB integreren met een Event Hub met behulp van de architectuur voor gebeurtenisbronnen.

Scenariodetails

Veel organisaties gebruiken mainframe- en midrangesystemen om veeleisende en kritieke workloads uit te voeren. De meeste toepassingen gebruiken een of meer databases en de meeste databases worden gedeeld door veel toepassingen, vaak op meerdere systemen. In een dergelijke omgeving betekent modernisering naar de cloud dat on-premises gegevens moeten worden verstrekt aan cloudtoepassingen. Daarom wordt gegevensreplicatie een belangrijke moderniseringstactiek.

Het Qlik Data-Integratie-platform omvat Qlik Replication, dat gegevensreplicatie doet. Het maakt gebruik van CDC (Change Data Capture) om on-premises gegevensarchieven in realtime te repliceren naar Azure. De wijzigingsgegevens kunnen afkomstig zijn van db2-, IMS- en VSAM-wijzigingslogboeken. Deze replicatietechniek elimineert onhandige batch bulkbelastingen. Deze oplossing maakt gebruik van een on-premises exemplaar van Qlik om on-premises gegevensbronnen in realtime naar Azure te repliceren.

Potentiële gebruikscases

Deze oplossing kan geschikt zijn voor:

  • Hybride omgevingen waarvoor replicatie van gegevenswijzigingen van een mainframe of een midrangesysteem naar Azure-databases is vereist.
  • Online databasemigratie van Db2 naar een Azure SQL-database met weinig downtime.
  • Gegevensreplicatie van verschillende on-premises gegevensarchieven naar Azure voor consolidatie en analyse.

Overwegingen

Met deze overwegingen worden de pijlers van het Azure Well-Architected Framework geïmplementeerd. Dit is een set richtlijnen die kunnen worden gebruikt om de kwaliteit van een workload te verbeteren. Zie Microsoft Azure Well-Architected Framework voor meer informatie.

Betrouwbaarheid

Betrouwbaarheid zorgt ervoor dat uw toepassing kan voldoen aan de toezeggingen die u aan uw klanten hebt gedaan. Zie Controlelijst ontwerpbeoordeling voor betrouwbaarheidvoor meer informatie.

  • Qlik Data-Integratie kan worden geconfigureerd in een cluster met hoge beschikbaarheid.
  • De Azure Database Services bieden ondersteuning voor zoneredundantie en kunnen worden ontworpen om een failover uit te voeren naar een secundair knooppunt in geval van een storing of tijdens een onderhoudsvenster.

Beveiliging

Beveiliging biedt garanties tegen opzettelijke aanvallen en misbruik van uw waardevolle gegevens en systemen. Zie voor meer informatie controlelijst ontwerpbeoordeling voor Security.

  • ExpressRoute biedt een privé- en efficiënte verbinding met Azure vanaf on-premises, maar u kunt in plaats daarvan site-naar-site-VPN gebruiken.
  • Azure-resources kunnen worden geverifieerd met behulp van Microsoft Entra-id. Machtigingen kunnen worden beheerd door op rollen gebaseerd toegangsbeheer.
  • Databaseservices in ondersteuning voor Azure verschillende beveiligingsopties, zoals:
    • Data Encryption at rest.
    • Dynamische gegevensmaskering.
    • Altijd versleutelde database.
  • Zie de Documentatie voor Azure-beveiliging voor algemene richtlijnen voor het ontwerpen van beveiligde oplossingen.

Kostenoptimalisatie

Kostenoptimalisatie gaat over manieren om onnodige uitgaven te verminderen en operationele efficiëntie te verbeteren. Zie controlelijst ontwerpbeoordeling voor kostenoptimalisatievoor meer informatie.

Gebruik de Azure-prijscalculator om de kosten voor uw implementatie te schatten.

Operationele uitmuntendheid

Operational Excellence behandelt de operationele processen die een toepassing implementeren en deze in productie houden. Zie controlelijst ontwerpbeoordeling voor Operational Excellencevoor meer informatie.

  • U kunt de functies van Application Insights en Log Analytics van Monitor combineren om de status van Azure-resources te bewaken. U kunt waarschuwingen instellen zodat u proactief kunt beheren.
  • Zie Betrouwbare Azure-toepassingen ontwerpen voor hulp bij tolerantie in Azure.

Prestatie-efficiëntie

Prestatie-efficiëntie is de mogelijkheid van uw workload om te schalen om te voldoen aan de eisen die gebruikers op een efficiënte manier stellen. Zie controlelijst ontwerpbeoordeling voor prestatie-efficiëntievoor meer informatie.

Databricks, Data Lake Storage en andere Azure-databases hebben mogelijkheden voor automatisch schalen. Zie Automatisch schalen voor meer informatie.

Medewerkers

Dit artikel wordt onderhouden door Microsoft. De tekst is oorspronkelijk geschreven door de volgende Inzenders.

Hoofdauteur:

Als u niet-openbare LinkedIn-profielen wilt zien, meldt u zich aan bij LinkedIn.

Volgende stappen