Le volume élevé de transactions pour les applications mainframe crée un grand volume de données. Azure offre une cible attrayante pour la modernisation des mainframes et la migration des données. Les bases de données relationnelles Azure et NoSQL offrent une scalabilité, une haute disponibilité et une facilité de maintenance qui satisfont ou dépassent celles des environnements mainframe. Si vous souhaitez mettre hors service une charge de travail mainframe et conserver les données dans un stockage à faible coût, Azure fournit des options.
La migration des charges de travail d’un mainframe vers Azure dans le cadre du replatforming ou de la refactorisation des applications nécessite généralement une migration des données à grande échelle. LIBER*IRIS de mLogica fournit une solution éprouvée pour la migration des données en bloc d’un mainframe vers Azure. La solution opère à grande échelle pour la migration des charges de travail d’entreprise. Cet article explique comment migrer des données mainframe IBM z/OS avec une haute fidélité vers Azure.
mLogica LIBER*IRIS et ses logos sont des marques commerciales de mLogica. L’utilisation de ces marques n’implique aucune approbation.
Architecture
Le diagramme suivant montre comment mLogica LIBER*IRIS s’intègre aux composants Azure pour migrer les données mainframe vers Azure à grande échelle.
Téléchargez un fichier Visio de cette architecture.
Workflow
Les étapes de migration des données mainframe vers Azure sont les suivantes :
- Copiez les fichiers DDL (Data Definition Language), les fichiers de description de base de données (DBD), les copybooks, les dispositions de données et autres artefacts de description des données vers une machine virtuelle Azure Linux configurée avec les outils du service de migration des données mLogica en utilisant FTPS sur un réseau privé virtuel site à site Azure sécurisé ou Azure ExpressRoute.
- Le cluster de migration des données mLogica Liber*IRIS génère des scripts d’extraction de données à exécuter sur le mainframe.
- Utilisez FTPS sur le VPN pour transférer les scripts d’extraction de données vers le mainframe. La connexion FTPS convertit ASCII au format EBCDIC du mainframe.
- Les scripts extraits s’exécutent sur le mainframe. Ils exportent les données de plusieurs sources dans des fichiers séquentiels, où toutes les données décimales empaquetées sont décompressées. Ils génèrent les scripts de chargement SQL utilisés pour charger les données dans la base de données cible.
- Les fichiers séquentiels et les scripts de chargement sont transférés à l’aide de SFTP binaire vers Stockage Blob Azure. Les données mainframe sont toujours au format EBCDIC à ce stade.
- Le service de migration des données mLogica exécute les scripts de chargement pour convertir EBCDIC en ASCII. Les scripts écrivent les erreurs pendant le chargement dans Stockage Azure. Pour réduire les coûts, vous pouvez utiliser deux comptes de stockage, en stockant les fichiers de données sur un niveau d’accès chaud et les fichiers journaux sur un niveau d’accès froid.
- Les scripts chargent les données ASCII à partir de fichiers séquentiels dans la base de données relationnelle Azure cible. Les scripts de chargement incluent des commandes DDL pour créer des tables et d’autres objets, et des requêtes SQL pour charger les données dans ces objets. Mettez à l’échelle le processus de chargement horizontalement sur un cluster pour optimiser le débit, si nécessaire. Les journaux d’exécution et les journaux d’exception détaillés sont stockés dans Stockage Blob Azure pour une analyse plus approfondie.
- Le service de migration des données mLogica Liber*IRIS exécute les scripts de chargement pour transformer les données du format de fichier relationnel au format de base de données NoSQL. Vous pouvez charger ces données NoSQL dans Azure Cosmos DB à l’aide de l’API SQL Azure Cosmos DB.
Composants
Réseau et identité
- Azure ExpressRoute vous permet d’étendre vos réseaux locaux dans Azure via une connexion privée au moyen d’un fournisseur de connectivité.
- Passerelle VPN Azure est une passerelle de réseau virtuel qui permet d’échanger du trafic chiffré entre un réseau virtuel Azure et un emplacement local via Internet.
- Microsoft Entra ID est un service de gestion des identités et des accès qui peut être synchronisé avec un annuaire local.
Application
- Machines virtuelles Azure fournit des ressources de calcul à la demande et scalables. Le cluster de migration des données mLogica s’exécute sur des machines virtuelles Linux Azure optimisées pour les performances réseau.
Stockage
- Stockage Blob Azure offre une installation de stockage hautement disponible, chiffrée au repos, économique et de grande capacité. Il autorise le trafic SFTP binaire direct à partir du mainframe. Stockage Blob peut monter des conteneurs sur des machines virtuelles Linux à l’aide de NFS.
- Azure SQL, Azure Database pour PostgreSQL et Azure Database pour MySQL sont des services PaaS (Platform as a Service) complètement managés pour SQL Server, PostgreSQL et MySQL. Ils fournissent des options hautes performances et hautement disponibles pour les données relationnelles mainframe, les données non relationnelles émulées et les données VSAM (Virtual Storage Access Method) émulées.
- Azure Cosmos DB est une base de données NoSQL Azure. Utilisez-la pour migrer des sources de mainframe non relationnelles telles que IMS (Information Management System), IDMS (Integrated Database Management System) et ADABAS (Adaptable Database System).
Supervision
- Azure Monitor offre une solution complète pour collecter, analyser et exploiter les données de télémétrie d’environnements cloud et locaux.
- Application Insights reçoit des données de télémétrie d’application pour analyser et présenter.
- Les journaux Azure Monitor sont une fonctionnalité Azure Monitor qui collecte et organise les données de performances et de journal issues de ressources supervisées. Cette fonctionnalité peut consolider les données de plusieurs sources dans un espace de travail unique. Ces sources incluent les journaux de plateforme des services Azure, les données de journaux et de performances des agents de machine virtuelle, ainsi que les données d’utilisation et de performances des applications. Analysez ces sources ensemble à l’aide d’un langage de requête sophistiqué capable d’analyser rapidement des millions d’enregistrements.
- Log Analytics est une fonctionnalité d’Azure Monitor. Les requêtes de journal vous aident à utiliser les données collectées dans les journaux Azure Monitor et les journaux d’exécution de script de chargement mLogica, qui sont stockés dans Stockage Blob. Un puissant langage de requête vous permet de joindre des données provenant de plusieurs tables, d’agréger des jeux de données volumineux et d’effectuer des opérations complexes.
Cas d’usage potentiels
Il existe deux principaux cas d’usage pour cet exemple de charge de travail :
Replatforming ou refactorisation de charge de travail
Déplacer toutes les données mainframe liées à la charge de travail d’un mainframe vers Azure. Ces données incluent des bases de données telles que Db2, IMS et IDMS, et des fichiers.
Archivage
Mettre hors service la charge de travail mainframe et conserver les données dans une solution de stockage Azure à faible coût.
Recommandations
Suivez ces recommandations générales, sauf si vous avez un besoin spécifique qui vous oblige à les ignorer :
- Pour réduire la latence réseau, créez toutes les ressources Azure mentionnées dans ce scénario dans une région unique.
- Au lieu d’envoyer un fichier unique volumineux à partir du mainframe vers Azure, fractionnez les données en plusieurs fichiers et envoyez-les en parallèle.
Considérations
Ces considérations implémentent les piliers d’Azure Well-Architected Framework qui est un ensemble de principes directeurs qui permettent d’améliorer la qualité d’une charge de travail. Pour plus d’informations, consultez Microsoft Azure Well-Architected Framework.
Fiabilité
La fiabilité permet de s’assurer que votre application tient vos engagements auprès de vos clients. Pour plus d’informations, consultez liste de vérification de la révision de conception pour lede fiabilité.
Résilience
Utilisez Azure Monitor et Application Insights pour superviser le cluster de migration des données mLogica. Configurez des alertes pour une gestion proactive.
Pour plus d’informations sur la résilience dans Azure, consultez Conception d’applications Azure fiables.
Disponibilité
Cet exemple de workflow décrit la migration des données mainframe vers Azure pour replateformer, refactoriser ou archiver une charge de travail. Cette tâche est discrète, effectuée plusieurs fois au cours d’un projet d’une durée d’un mois. Bien que la haute disponibilité ne soit pas requise dans ce scénario, vous pouvez concevoir le cluster de migration des données mLogica pour fournir une haute disponibilité.
Les services de base de données Azure prennent en charge la redondance de zone. Vous pouvez les configurer de façon à basculer en cas de panne ou durant une fenêtre de maintenance.
Sécurité
La sécurité fournit des garanties contre les attaques délibérées, et contre l’utilisation abusive de vos données et systèmes importants. Pour plus d’informations, consultez liste de vérification de la révision de conception pour security. Pour obtenir des conseils d’ordre général sur la conception de solutions sécurisées, consultez la documentation sur la sécurité Azure.
Les services de base de données dans Azure prennent en charge différentes options de sécurité :
- Chiffrement des données au repos à l’aide de Transparent Data Encryption
- Chiffrement des données en transit à l’aide de TLS
- Chiffrement des données lors du traitement à l’aide de Always Encrypted avec enclaves sécurisées
Vous pouvez contrôler l’authentification et le contrôle d’accès sur le cluster de migration des données mLogica à l’aide de Microsoft Entra ID. Vous pouvez configurer des ressources Azure pour l’authentification et l’autorisation à l’aide de Microsoft Entra ID et du contrôle d’accès en fonction du rôle.
Les données transférées entre le cluster de migration des données mLogica et le mainframe sont chiffrées en transit à l’aide de TLS. Les certificats TLS peuvent être stockés dans Azure Key Vault pour une sécurité renforcée. Les données transférées du mainframe vers Stockage Blob Azure sont chiffrées en transit à l’aide de SSH.
Les données mainframe et les scripts de chargement sont temporairement stockés dans Stockage Blob Azure. Ils sont chiffrés au repos. Les données sont supprimées de Stockage Blob Azure une fois la migration terminée.
Cet exemple de workflow utilise Azure ExpressRoute ou un VPN site à site afin de bénéficier d’une connexion privée et efficace à Azure à partir de votre environnement local.
Optimisation des coûts
L’optimisation des coûts consiste à examiner les moyens de réduire les dépenses inutiles et d’améliorer l’efficacité opérationnelle. Pour plus d’informations, consultez liste de vérification de la révision de conception pour l’optimisation des coûts.
Voici quelques possibilités d’optimisation des coûts :
Azure SQL Database serverless met à l’échelle, met en pause et reprend automatiquement les ressources de calcul en fonction de l’activité de votre charge de travail, de sorte que vous payez uniquement pour les ressources que vous consommez.
Utilisez la stratégie de cycle de vie pour déplacer les données d’un niveau d’accès à un autre dans Stockage Azure.
Dans Stockage Azure, s’il n’y a pas d’accès pendant un certain temps, déplacez vos données d’un niveau d’accès plus chaud vers un niveau plus froid. Vous pouvez également déplacer des données d’un niveau d’accès plus froid vers un niveau d’accès sporadique.
Utilisez Azure Advisor pour rechercher les ressources sous-utilisées. Obtenez des recommandations sur la façon de reconfigurer ou de consolider des ressources afin de réduire vos dépenses.
Utilisez la Calculatrice de prix Azure afin d’estimer le coût d’utilisation des composants Azure pour cette solution.
Excellence opérationnelle
L’excellence opérationnelle couvre les processus d’exploitation qui déploient une application et la conservent en production. Pour plus d’informations, consultez liste de vérification de la révision de conception pour l’excellence opérationnelle.
Azure DevOps peut être utilisé afin de réorganiser des applications mainframe sur Azure à chaque phase de développement logiciel et de collaboration d’équipe. Azure DevOps fournit les services suivants :
- Azure Boards. Planification agile, suivi des éléments de travail, visualisation et création de rapports.
- Azure Pipelines. Plateforme d’intégration continue/livraison continue (CI/CD) indépendante du langage, de la plateforme et du cloud, avec prise en charge des conteneurs ou de Kubernetes.
- Azure Repos. Dépôts Git privés hébergés dans le cloud.
- Azure Artifacts. Gestion intégrée des packages avec prise en charge des flux de packages Maven, npm, Python et NuGet à partir de sources publiques ou privées.
- Azure Test Plans. Solution de test intégré, planifié et exploratoire.
Efficacité des performances
L’efficacité des performances est la capacité de votre charge de travail à mettre à l’échelle pour répondre aux demandes qu’elle lui impose par les utilisateurs de manière efficace. Pour plus d’informations, consultez liste de vérification de la révision de conception pour l’efficacité des performances.
Si vous migrez plusieurs jeux de données indépendants volumineux, déployez le cluster de migration des données mLogica sur plusieurs machines virtuelles afin d’optimiser la vitesse de chargement des données.
Vous pouvez charger plusieurs jeux de données en parallèle à partir du mainframe vers Stockage Blob.
Azure SQL DB serverless fournit une option pour la mise à l’échelle automatique basée sur la charge de travail. D’autres bases de données Azure peuvent subir un scale-up ou un scale-down à l’aide d’une automatisation afin de répondre aux demandes de charge de travail. Pour plus d’informations, consultez Mise à l’échelle automatique.
Contributeurs
Cet article est géré par Microsoft. Il a été écrit à l’origine par les contributeurs suivants.
Auteur principal :
Sandip Khandelwal | Architecte d’ingénierie senior
Pour afficher les profils LinkedIn non publics, connectez-vous à LinkedIn.
Étapes suivantes
Lisez les guides de migration des bases de données Azure.
Pour plus d’informations, contactez Azure Data Engineering – Mainframe & Midrange Modernization.
- Vue d’ensemble d’Azure Monitor
- Présentation de Stockage Blob Azure
- mLogica LIBER*IRIS
- Démarrage rapide : Créer une machine virtuelle Linux dans le portail Azure
- Machines virtuelles dans Azure
- Bienvenue dans Azure Cosmos DB