Durch die Vielzahl von Transaktionen für Mainframeanwendungen entsteht ein großes Datenvolumen. Azure bietet ein überzeugendes Ziel für Mainframemodernisierung und Datenmigration. Relationale Azure- und NoSQL-Datenbanken bieten Skalierbarkeit, Hochverfügbarkeit und Wartungsfreundlichkeit, die den Eigenschaften von Mainframeumgebungen entsprechen oder diese übertreffen. Wenn Sie eine Mainframeworkload außer Betrieb nehmen und die Daten in einem kostengünstigen Speicher aufbewahren möchten, bietet Azure geeignete Möglichkeiten.
Die Migration von Workloads von einer Mainframe zu Azure im Rahmen der Verlagerung von Anwendungen auf eine andere Plattform oder der Umgestaltung von Anwendungen erfordert in der Regel eine Datenmigration im großen Stil. LIBER*IRIS von mLogica stellt eine bewährte Lösung für die Massenmigration von Daten von einer Mainframe zu Azure bereit. Die Lösung ermöglicht eine Migration von Unternehmensworkloads im großen Stil. In diesem Artikel erfahren Sie, wie Sie IBM z/OS-Mainframedaten mit hoher Originaltreue zu Azure migrieren.
mLogica LIBER*IRIS und seine Logos sind Marken des Unternehmens. Die Verwendung dieser Marken impliziert keine Empfehlung.
Aufbau
Das folgende Diagramm veranschaulicht, wie mLogica LIBER*IRIS in Azure-Komponenten integriert wird, um Mainframedaten im großen Stil zu Azure zu migrieren.
Laden Sie eine Visio-Datei dieser Architektur herunter.
Workflow
Die Migration von Mainframedaten zu Azure umfasst folgende Schritte:
- Kopieren Sie die DDL-Dateien (Data Definition Language), Datenbankbeschreibungsdateien (DBD), Copybooks, Datenlayouts und andere Datenbeschreibungsartefakte auf einen virtuellen Azure Linux-Computer, der mit den Tools des mLogica-Datenmigrationsdiensts konfiguriert ist. Verwenden Sie dazu FTPS über ein sicheres Azure-Site-to-Site-VPN oder Azure ExpressRoute.
- Der Datenmigrationscluster von mLogica Liber*IRIS generiert Datenextraktionsskripts, die auf dem Mainframe ausgeführt werden.
- Verwenden Sie FTPS über das VPN, um die Datenextraktionsskripts zum Mainframe zu übertragen. Die FTPS-Verbindung konvertiert ASCII in das EBCDIC-Mainframeformat.
- Die extrahierten Skripts werden auf dem Mainframe ausgeführt. Sie exportieren Daten aus mehreren Quellen in sequenzielle Dateien, in denen alle gepackten Dezimaldaten entpackt werden. Sie generieren die SQL-Ladeskripts, die zum Laden der Daten in die Zieldatenbank verwendet werden.
- Die sequenziellen Dateien und Ladeskripts werden über binäres SFTP in Azure Blob Storage übertragen. Die Mainframedaten befinden sich zu diesem Zeitpunkt noch im EBCDIC-Format.
- Der mLogica-Datenmigrationsdienst führt die Ladeskripts aus, um EBCDIC in ASCII zu konvertieren. Die Skripts schreiben Fehler beim Laden in Azure Storage. Um Kosten zu senken, können Sie zwei Speicherkonten verwenden: Speichern Sie Datendateien auf einer heißen Speicherebene und Protokolldateien auf einer kalten Speicherebene.
- Die Skripts laden die konvertierten ASCII-Daten aus sequenziellen Dateien in die relationale Azure-Zieldatenbank. Die Ladeskripts enthalten DDL-Befehle zum Erstellen von Tabellen und anderen Objekten sowie SQL-Abfragen zum Laden der Daten in diese Objekte. Skalieren Sie den Ladeprozess bei Bedarf horizontal über einen Cluster, um den Durchsatz zu maximieren. Ausführungsprotokolle und detaillierte Ausnahmeprotokolle werden zur weiteren Analyse in Azure Blob Storage gespeichert.
- Der mLogica Liber*IRIS-Datenmigrationsdienst führt die Ladeskripts aus, um Daten aus dem relationalen Dateiformat in das NoSQL-Datenbankformat zu transformieren. Sie können diese NoSQL-Daten mithilfe der Azure Cosmos DB-SQL-API in Azure Cosmos DB laden.
Komponenten
Netzwerk und Identität
- Mit Azure ExpressRoute können Sie Ihre lokalen Netzwerke über eines private Verbindung eines Konnektivitätsanbieters auf Azure ausdehnen.
- Azure VPN Gateway ist ein Gateway für virtuelle Netzwerke, das verwendet wird, um verschlüsselten Datenverkehr zwischen einem virtuellen Azure-Netzwerk und einem lokalen Standort über das Internet zu senden.
- Microsoft Entra ID ist ein Identitäts- und Zugriffsverwaltungsdienst, der mit einem lokalen Verzeichnis synchronisiert werden kann.
Anwendung
- Virtuelle Computer in Azure stellen bedarfsabhängig skalierbare Serverressourcen bereit. Der mLogica-Datenmigrationscluster wird auf virtuellen Azure Linux-Computern ausgeführt, die für Netzwerkleistung optimiert sind.
Storage
- Azure Blob Storage bietet einen hochverfügbaren, kostengünstigen Speicher mit hoher Kapazität, in dem ruhende Daten verschlüsselt sind. Er ermöglicht direkten binären SFTP-Datenverkehr vom Mainframe. Blob Storage kann Container über NFS auf virtuellen Linux-Computern einbinden.
- Azure SQL, Azure Database for PostgreSQL und Azure Database for MySQL sind vollständig verwaltete PaaS-Dienste (Platform-as-a-Service) für SQL Server, PostgreSQL und MySQL. Sie bieten leistungsstarke, hochverfügbare Optionen für relationale Mainframedaten, emulierte nicht-relationale Daten und emulierte VSAM-Daten (Virtual Storage Access Method).
- Azure Cosmos DB ist eine NoSQL-Datenbank in Azure. Verwenden Sie diese, um nicht-relationale Mainframequellen wie IMS (Information Management System), IDMS (Integrated Database Management System) und ADABAS (Adaptable Database System) zu migrieren.
Überwachung
- Azure Monitor ist eine umfassende Lösung für das Sammeln, Analysieren und Behandeln von Telemetriedaten aus Ihren Cloud- und lokalen Umgebungen.
- Application Insights erhält Anwendungstelemetrie zum Analysieren und Präsentieren.
- Azure Monitor-Protokolle ist eine Funktion von Azure Monitor, mit dem Protokoll- und Leistungsdaten von überwachten Ressourcen gesammelt und organisiert werden. Dieses Feature kann Daten aus mehreren Quellen in einen einzelnen Arbeitsbereich konsolidieren. Zu diesen Quellen gehören Plattformprotokolle von Azure-Diensten, Protokoll- und Leistungsdaten von VM-Agents sowie Nutzungs- und Leistungsdaten von Anwendungen. Diese Daten können mithilfe einer komplexen Abfragesprache analysiert werden, die eine schnelle Analyse von Millionen von Datensätzen ermöglicht.
- Log Analytics ist ein Feature von Azure Monitor. Protokollabfragen helfen Ihnen bei der Verwendung der in Azure Monitor-Protokollen und in den Ausführungsprotokollen der mLogica-Ladeskripts erfassten Daten, die in Blob Storage gespeichert sind. Eine leistungsstarke Abfragesprache ermöglicht es Ihnen, Daten aus mehreren Tabellen zusammenzufügen, größere Mengen an Daten zu aggregieren und komplexe Vorgänge auszuführen.
Mögliche Anwendungsfälle
Es gibt zwei wichtige Anwendungsfälle für diese exemplarische Workload:
Verlagerung von Workloads auf eine andere Plattform oder der Umgestaltung von Workloads
Verschieben aller Mainframedaten im Zusammenhang mit der Workload von einem Mainframe nach Azure. Diese Daten umfassen Datenbanken wie DB2, IMS und IDMS sowie Dateien.
Archivierung
Außerbetriebnehmen der Mainframeworkload und Aufbewahren der Daten in einer kostengünstigen Azure-Speicherlösung.
Empfehlungen
Sofern Sie keine besonderen Anforderungen haben, die Vorrang haben, sollten Sie die folgenden allgemeinen Empfehlungen befolgen:
- Erstellen Sie alle in diesem Szenario erwähnten Azure-Ressourcen in einer Region, um die Netzwerklatenz zu reduzieren.
- Teilen Sie Daten in mehrere Dateien auf, und senden Sie sie parallel, anstatt eine einzelne große Datei vom Mainframe an Azure zu senden.
Überlegungen
Diese Überlegungen beruhen auf den Säulen des Azure Well-Architected Frameworks, d. h. einer Reihe von Grundsätzen, mit denen die Qualität von Workloads verbessert werden kann. Weitere Informationen finden Sie unter Microsoft Azure Well-Architected Framework.
Zuverlässigkeit
Zuverlässigkeit stellt sicher, dass Ihre Anwendung Ihre Verpflichtungen gegenüber den Kunden erfüllen kann. Weitere Informationen finden Sie unter Prüfliste zur Entwurfsüberprüfung für Zuverlässigkeit.
Resilienz
Verwenden Sie Azure Monitor und Application Insights, um den mLogica-Datenmigrationscluster zu überwachen. Richten Sie Warnungen für die proaktive Verwaltung ein.
Weitere Informationen zur Resilienz in Azure finden Sie unter Entwerfen zuverlässiger Azure-Anwendungen.
Verfügbarkeit
Dieser exemplarische Workflow beschreibt die Migration von Mainframedaten zu Azure-Daten, um eine Workload auf eine andere Plattform zu verlagern, umzugestalten oder zu archivieren. Diese Aufgabe ist diskret und wird während eines einmonatigen Projekts mehrmals ausgeführt. Obwohl in diesem Szenario keine Hochverfügbarkeit erforderlich ist, können Sie den mLogica-Datenmigrationscluster so auslegen, dass er Hochverfügbarkeit bietet.
Azure-Datenbankdienste unterstützen Zonenredundanz. Sie können Sie so konfigurieren, dass bei einem Ausfall oder während eines Wartungsfensters ein Failover erfolgt.
Sicherheit
Sicherheit bietet Schutz vor vorsätzlichen Angriffen und dem Missbrauch Ihrer wertvollen Daten und Systeme. Weitere Informationen finden Sie unter Prüfliste zur Entwurfsüberprüfung für sicherheitsrelevante. Allgemeine Informationen zum Entwerfen sicherer Lösungen finden Sie in der Dokumentation zur Azure-Sicherheit.
Datenbankdienste in Azure unterstützen verschiedene Sicherheitsoptionen:
- Verschlüsselung ruhender Daten mit transparenter Datenverschlüsselung
- Verschlüsselung während der Übertragung mit TLS
- Datenverschlüsselung bei der Verarbeitung mithilfe von Always Encrypted mit Secure Enclaves
Sie können die Authentifizierung und Zugriffssteuerung im mLogica-Datenmigrationscluster mithilfe von Microsoft Entra ID steuern. Sie können Azure-Ressourcen für die Authentifizierung und Autorisierung mithilfe von Microsoft Entra ID und rollenbasierter Zugriffssteuerung konfigurieren.
Daten, die zwischen dem mLogica-Datenmigrationscluster und dem Mainframe übertragen werden, werden bei der Übertragung mit TLS verschlüsselt. TLS-Zertifikate können in Azure Key Vault gespeichert werden, um die Sicherheit zu erhöhen. Daten, die vom Mainframe an Azure Blob Storage übertragen werden, werden bei der Übertragung mit SSH verschlüsselt.
Die Mainframedaten und Ladeskripts werden vorübergehend in Azure Blob Storage gespeichert. Sie werden im Ruhezustand verschlüsselt. Die Daten werden nach Abschluss der Migration aus Azure Blob Storage gelöscht.
In diesem exemplarischen Workflow wird Azure ExpressRoute oder ein Site-to-Site-VPN für eine private und effiziente Verbindung von der lokalen Umgebung zu Azure verwendet.
Kostenoptimierung
Bei der Kostenoptimierung geht es um Möglichkeiten, unnötige Ausgaben zu reduzieren und die betriebliche Effizienz zu verbessern. Weitere Informationen finden Sie unter Prüfliste für die Überprüfung der Kostenoptimierung.
Einige Möglichkeiten zur Kostenoptimierung sind nachstehend aufgeführt:
Mit Azure SQL Datenbank ohne Server können Computeressourcen basierend auf Ihrer Workloadaktivität automatisch skaliert, angehalten und fortgesetzt werden, sodass Sie nur die Ressourcen bezahlen müssen, die Sie auch nutzen.
Verwenden Sie eine Lebenszyklusrichtlinie, um Daten zwischen Zugriffsebenen in Azure Storage zu verschieben.
Verschieben Sie Ihre Daten von einer heißeren Speicherebene in eine kältere Speicherebene, wenn in Azure Storage über einen Zeitraum kein Zugriff erfolgt. Sie können Daten auch von einer Kälteren Speicherebene in eine Archivspeicherebene verschieben.
Verwenden Sie Azure Advisor, um unausgelastete Ressourcen zu suchen. Lassen Sie sich Empfehlungen zum Neukonfigurieren oder Konsolidieren von Ressourcen geben, um Ihre Ausgaben zu reduzieren.
Verwenden Sie den Azure-Preisrechner, um die Kosten für die Nutzung von Azure-Ressourcen dieser Lösung abzuschätzen.
Operative Exzellenz
Operational Excellence deckt die Betriebsprozesse ab, mit denen eine Anwendung bereitgestellt und in der Produktion ausgeführt wird. Weitere Informationen finden Sie unter Prüfliste für die Überprüfung von Operational Excellence.
Azure DevOps ermöglicht die Neuentwicklung (Re-engineering) von Mainframeanwendungen in Azure in allen Phasen der Softwareentwicklung und Teamzusammenarbeit. Azure DevOps stellt die folgenden Dienste zur Verfügung:
- Azure Boards: Flexible Planung, Nachverfolgung von Arbeitselementen, Visualisierung und Berichterstellung.
- Azure Pipelines. Eine sprach-, plattform- und cloudunabhängige CI/CD-Plattform (Continuous Integration/Continuous Delivery) mit Unterstützung für Container oder Kubernetes.
- Azure Repos: In der Cloud gehostete private Git-Repositorys.
- Azure Artifacts: Integrierte Paketverwaltung mit Unterstützung für Maven-, npm-, Python- und NuGet-Paketfeeds aus öffentlichen oder privaten Quellen.
- Azure Test Plans: Eine Lösung für integrierte, geplante und explorative Tests.
Leistungseffizienz
Die Leistungseffizienz ist die Fähigkeit Ihrer Arbeitsauslastung, um die Anforderungen zu erfüllen, die die Benutzer auf effiziente Weise an sie stellen. Weitere Informationen finden Sie unter Prüfliste zur Entwurfsüberprüfung für die Leistungseffizienz.
Stellen Sie den mLogica-Datenmigrationscluster bei der Migration mehrerer umfangreicher unabhängiger Datasets auf mehreren virtuellen Computern bereit, um die Datenladegeschwindigkeit zu maximieren.
Sie können mehrere Datasets parallel vom Mainframe in Blob Storage hochladen.
Azure SQL-Datenbank ohne Server ermöglicht die automatische Skalierung basierend auf der Workload. Andere Azure-Datenbanken können über eine Automatisierung hoch und herunter skaliert werden, um die Workloadanforderungen zu erfüllen. Weitere Informationen finden Sie unter Automatische Skalierung.
Beitragende
Dieser Artikel wird von Microsoft gepflegt. Er wurde ursprünglich von folgenden Mitwirkenden geschrieben.
Hauptautor:
Sandip Khandelwal | Senior Engineering Architect
Melden Sie sich bei LinkedIn an, um nicht öffentliche LinkedIn-Profile anzuzeigen.
Nächste Schritte
Lesen Sie die Leitfäden zur Azure-Datenbankmigration.
Wenden Sie sich an das Team Azure Data Engineering – Mainframe and Midrange Modernization, um weitere Informationen zu erhalten.
- Azure Monitor – Übersicht
- Einführung in Azure Blob Storage
- mLogica LIBER*IRIS
- Schnellstart: Erstellen eines virtuellen Linux-Computers im Azure-Portal
- Virtuelle Computer in Azure
- Willkommen bei Azure Cosmos DB