Modifier

Partager via

Moderniser les données mainframe et midrange

Azure Cosmos DB
Azure Data Lake
Azure SQL Database
Azure SQL Managed Instance
Stockage Azure

Apache®, Spark et le logo représentant une flamme sont des marques déposées ou des marques commerciales d’Apache Software Foundation aux États-Unis et/ou dans d’autres pays. L’utilisation de ces marques n’implique aucune approbation de l’Apache Software Foundation.

Cet article décrit un plan de modernisation de bout en bout pour les sources de données mainframe et milieu de gamme.

Architecture

Diagramme d’architecture montrant comment moderniser les systèmes mainframe et milieu de gamme en migrant les données vers Azure.

Téléchargez un fichier Visio de cette architecture.

Dataflow

Le flux de données suivant décrit le processus de modernisation d’un niveau de données mainframe. Il correspond au diagramme précédent.

  1. Les systèmes mainframe et midrange stockent des données dans des sources de données, comme les systèmes de fichiers (méthode d’accès au stockage virtuel (VSAM), les fichiers plats, LTFS), les bases de données relationnelles (Db2 pour z/OS, Db2 pour IBM i, Db2 pour Linux UNIX et Windows) ou les bases de données non relationnelles IMS (Système de gestion des informations), ADABAS, IDMS (Integrated Database Management System).

  2. Le processus de conversion d’objet extrait les définitions d’objet des objets sources. Les définitions sont ensuite converties en objets correspondants dans le magasin de données cible.

    • L’Assistant Migration SQL Server (SSMA) pour Db2 migre les schémas et les données des bases de données IBM Db2 vers des bases de données Azure.
    • Le fournisseur de données managées pour fichiers d’hôte convertit les objets de la façon suivante :
      • analyse des dispositions d’enregistrement COBOL et RPG, ou copybooks ;
      • mappage des copybooks aux objets C# que les applications .NET utilisent.
    • Utilisez l’outil Db2toAzurePostgreSQL pour migrer des objets de base de données de Db2 vers Azure Database pour PostgreSQL.
    • Les outils tiers effectuent la conversion automatique des objets sur les bases de données non relationnelles, les systèmes de fichiers et d’autres magasins de données.

  3. Les données sont ingérées et transformées. Les systèmes mainframe et midrange stockent leurs données de système de fichiers au format encodé en EBCDIC dans des formats de fichier comme :

    • fichiers VSAM indexés ;
    • Fichiers GDG non indexés
    • Fichiers plats

    Les copybooks COBOL, PL/I et en langage assembleur définissent la structure de données de ces fichiers.

    a. FTP transfère les jeux de données des systèmes de fichiers mainframe et milieu de gamme avec des dispositions individuelles et des champs décompressés au format binaire, ainsi que le livre d’images correspondant, vers Azure.

    b. La conversion de données est effectuée en développant des programmes personnalisés à l’aide du composant Fichier hôte des serveurs d’intégration d’hôte, ou en utilisant le connecteur intégré pour les fichiers hôtes IBM dans Azure Logic Apps.

    Le convertisseur Spark Notebook est développé à l’aide de frameworks Spark open source et sont compatibles avec des environnements Spark tels que Microsoft Fabric, Azure Synapse Analytics et Databricks.

    c. Les données de base de données relationnelle sont migrées.

    Les systèmes IBM mainframe et milieu de gamme stockent les données dans des bases de données relationnelles de type :

    Ces services migrent les données de base de données :

    • Data Factory utilise un connecteur Db2 pour extraire et intégrer les données des bases de données.
    • SQL Server Integration Services gère diverses tâches ETL sur les données.
    • Microsoft Fabric Data Factory utilise le connecteur IBM Db2 pour migrer des données Db2.

    d. Les données des bases de données non relationnelles sont migrées.

    Les systèmes mainframe et midrange d’IBM stockent des données dans des bases de données non relationnelles comme celles-ci :

    Des produits tiers intègrent les données de ces bases de données.

  4. Des services Azure comme Data Factory et AzCopy chargent les données dans des bases de données Azure et un stockage de données Azure. Vous pouvez aussi utiliser des solutions tierces et des solutions de chargement personnalisées pour charger les données.

  5. Azure offre un large éventail de services de base de données, notamment des bases de données relationnelles entièrement managées comme Azure SQL Database et des options NoSQL comme Azure Cosmos DB. Ces services sont conçus pour la scalabilité, la flexibilité et la distribution mondiale.

  6. Azure offre également une gamme de solutions de stockage, notamment Stockage Blob Azure pour les données non structurées et Azure Files pour les partages de fichiers entièrement managés.

  7. Les services Azure utilisent la couche Données modernisée pour le calcul, l’analytique, le stockage et le réseau.

  8. Les applications clientes utilisent également la couche Données modernisée.

Components

Stockage des données

L’architecture traite de la migration des données vers des bases de données évolutives, sécurisées et gérées pour une gestion flexible et intelligente des données dans Azure.

  • SQL Database fait partie de la famille Azure SQL. Conçu pour le cloud et offre tous les avantages d’une plateforme entièrement managée et persistante en tant que service. SQL Database fournit également des fonctionnalités automatisées basées sur l’IA qui optimisent les performances et la durabilité. Le calcul sans serveur et des options de stockage Hyperscale mettent automatiquement à l’échelle les ressources à la demande.
  • azure Database pour PostgreSQL est un service de base de données relationnelle entièrement managé basé sur l’édition community du moteur de base de données PostgreSQL open source.
  • Azure Cosmos DB est une base de données multimodèleNoSQL distribuée à l’échelle mondiale.
  • Azure Database pour MySQL est un service de base de données relationnelle entièrement managé basé sur l’édition community du moteur de base de données MySQL open source.
  • SQL Managed Instance est un service de base de données cloud intelligent et scalable qui offre tous les avantages d’une plateforme en tant que service complètement managée et durable. SQL Managed Instance est presque 100 % compatible avec le dernier moteur de base de données SQL Server Édition Entreprise. Il fournit également une implémentation native de réseau virtuel qui résout les problèmes de sécurité courants.
  • Azure Data Lake Storage est un dépôt de stockage qui contient une grande quantité de données dans leur format brut natif. Les lacs de données sont optimisés pour s’adapter à des téraoctets et pétaoctets de données. Les données viennent généralement de plusieurs sources hétérogènes. Elles peuvent être structurées, semi-structurées ou non structurées.
  • base de données SQL dans Microsoft Fabric est une base de données transactionnelle conviviale, basée sur Azure SQL Database, qui vous permet de créer facilement votre base de données opérationnelle dans Fabric. Une base de données SQL dans Fabric utilise le même moteur de base de données SQL comme base de données Azure SQL.
  • Microsoft Fabric Lakehouse est une plateforme d’architecture de données permettant de stocker, de gérer et d’analyser des données structurées et non structurées dans un emplacement unique.

Compute

  • Data Factory intègre des données dans différents environnements réseau à l’aide d’un runtime d’intégration (IR), qui est une infrastructure de calcul. Data Factory copie des données entre des magasins de données dans le cloud et des magasins de données dans les réseaux locaux en utilisant des IR auto-hébergés.
  • La passerelle de données locale est une application cliente Windows installée localement qui agit comme un pont entre vos sources de données locales et services locaux dans le cloud Microsoft.
  • Les machines virtuelles Azure fournissent des ressources de calcul à la demande et scalables. Une machine virtuelle Azure offre la flexibilité de la virtualisation, sans les exigences de maintenance du matériel physique. Les machines virtuelles Azure vous offrent un choix de systèmes d’exploitation tels que Windows et Linux.

Intégrateurs de données

Cette architecture décrit différents outils de migration natifs Azure qui peuvent être utilisés en fonction des données sources mainframe et de la base de données cible.

  • Azure Data Factory est un service d’intégration de données hybride. Dans cette solution, Azure Data Factory avec une configuration minimale pour migrer des données à partir de bases de données Azure db2 sorurce à l’aide de connetors natifs.
  • AzCopy est un utilitaire de ligne de commande qui déplace des blobs ou des fichiers vers et depuis des comptes de stockage.
  • SQL Server Integration Services est une plateforme permettant de créer des solutions de transformation et d’intégration de données au niveau de l’entreprise. Vous pouvez l’utiliser pour résoudre des problèmes professionnels complexes de la façon suivante :
    • Copie ou téléchargement de fichiers.
    • Chargement d’entrepôts de données.
    • Nettoyage et exploration de données.
    • Gestion des objets et données SQL Server.
  • Les technologies et outils Host Integration Server vous permettent d’intégrer les systèmes hôtes, programmes, messages et données IBM existants aux applications Azure. Le composant client Fichier hôte offre une flexibilité pour les données qui ont été converties d’EBCDIC en ASCII. Par exemple, vous pouvez générer JSON/XML à partir des données qui ont été converties.
  • Azure Synapse Analytics regroupe l’intégration des données, l’entreposage de données d’entreprise et l’analytique Big Data. La solution de conversion Azure Synapse utilisée dans cette architecture est basée sur Apache Spark, et est un bon candidat pour la conversion de charge de travail de grands mainframes et jeux de données. Il prend en charge un large éventail de cibles et structures de données mainframe sans un grand effort de codage.
  • Microsoft Fabric est une plateforme d’analytique de bout en bout prête pour l’entreprise. Il unifie le déplacement des données, le traitement des données, l’ingestion, la transformation, le routage des événements en temps réel et la génération de rapports. Il prend en charge ces fonctionnalités avec des services intégrés tels que l’ingénierie des données, Data Factory, la science des données, Real-Time Analytics, l’entrepôt de données et les bases de données.

Autres outils

  • L’Assistant Migration SQL Server pour Db2 automatise la migration de Db2 vers les services de base de données Microsoft. Quand il est exécuté sur une machine virtuelle, cet outil convertit les objets de base de données Db2 en objets de base de données SQL Server et crée ces objets dans SQL Server.
  • Le fournisseur de données pour fichiers d’hôte est un composant de Host Integration Server qui utilise des connexions hors ligne, SNA ou TCP/IP.
    • Avec des connexions hors ligne, le Fournisseur de données lit et écrit des enregistrements dans un fichier binaire local.
    • Avec des connexions SNA et TCP/IP, le fournisseur de données lit et écrit des enregistrements stockés dans des jeux de données z/OS distants (Mainframe IBM de série Z) ou des fichiers physiques i5/OS distants (systèmes IBM AS/400 et iSeries). Seuls les systèmes i5/OS utilisent TCP/IP.
  • Les services Azure fournissent des environnements, des outils et des processus pour développer et mettre à l’échelle les nouvelles applications dans le cloud public.

Détails du scénario

Les solutions de stockage de données modernes, comme la plateforme de données Azure, offrent une scalabilité et des performances améliorées par rapport aux systèmes mainframe et milieu de gamme. Vous pouvez tirer parti de ces avantages en modernisant vos systèmes. Toutefois, la mise à jour de la technologie, de l’infrastructure et des pratiques est complexe. Le processus implique une investigation complète des activités métier et d’ingénierie. La gestion des données est un facteur à prendre en compte quand vous modernisez vos systèmes. Vous devez également tenir compte de la visualisation et de l’intégration des données.

Les modernisations réussies adoptent une stratégie « data first ». Quand vous utilisez cette approche, vous vous concentrez sur les données plutôt que sur le nouveau système. La gestion de données n’est plus un élément parmi d’autres sur la check-list de la modernisation. Les données deviennent la clé de voûte. Des solutions de données coordonnées et orientées qualité remplacent les solutions fragmentées et mal gérées.

Cette solution utilise des composants de la plateforme de données Azure dans une approche « data first ». Plus précisément, la solution couvre les étapes suivantes :

  • Conversion d’objet. conversion des définitions d’objets du magasin de données source en objets correspondants dans le magasin de données cible.
  • Ingestion des données. connexion au magasin de données source et extraction de données.
  • Transformation des données. transformation des données extraites en structures du magasin de données cibles appropriées.
  • Stockage des données. chargement de données du magasin de données source dans le magasin de données cible, initialement, puis en continu.

Cas d’usage potentiels

Les organisations qui utilisent des systèmes mainframe et milieu de gamme peuvent tirer parti de cette solution, en particulier quand elles souhaitent atteindre ces objectifs :

  • moderniser les charges de travail stratégiques ;
  • obtenir des décisionnels afin d’améliorer les opérations et d’acquérir un avantage concurrentiel ;
  • Échapper aux coûts élevés et à la rigidité associés aux magasins de données mainframe et milieu de gamme.

Considérations

Ces considérations implémentent les piliers d’Azure Well-Architected Framework, qui est un ensemble d’ensembles guidants qui peuvent être utilisés pour améliorer la qualité d’une charge de travail. Pour plus d’informations, consultez Microsoft Azure Well-Architected Framework.

Sécurité

La sécurité fournit des garanties contre les attaques délibérées, et contre l’utilisation abusive de vos données et systèmes importants. Pour plus d’informations, consultez liste de vérification de la révision de conception pour security.

Optimisation des coûts

L’optimisation des coûts consiste à examiner les moyens de réduire les dépenses inutiles et d’améliorer l’efficacité opérationnelle. Pour plus d’informations, consultez liste de vérification de la révision de conception pour l’optimisation des coûts.

  • L’Assistant Migration SQL Server est un outil gratuit et pris en charge qui simplifie la migration de base de données Db2 vers SQL Server, SQL Database et SQL Managed Instance. L’Assistant Migration SQL Server automatise tous les aspects de la migration, y compris l’analyse d’évaluation de la migration, la conversion de schémas et d’instructions SQL, et la migration des données.
  • La solution Azure Synapse basée sur Spark est construite à partir de bibliothèques open source. Elle évite d’avoir à supporter les coûts de licence des outils de conversion.
  • Utilisez la Calculatrice de prix Azure pour estimer le coût de l’implémentation de cette solution.

Efficacité des performances

L’efficacité des performances est la capacité de votre charge de travail à s’adapter à la demande des utilisateurs de façon efficace. Pour plus d’informations, consultez liste de vérification de la révision de conception pour l’efficacité des performances.

  • Les principaux piliers de l’efficacité des performances sont la gestion des performances, la planification de la capacité, la scalabilité et le choix d’un modèle de performances approprié.
  • Vous pouvez effectuer un scale-out de l’IR autohébergé en associant l’instance logique avec plusieurs machines locales en mode actif/actif.
  • Azure SQL Database offre la possibilité de mettre à l’échelle vos bases de données de façon dynamique. Dans un niveau serverless, il peut automatiquement mettre à l’échelle les ressources de calcul. Les pools élastiques, qui permettent aux bases de données de partager des ressources dans un pool, peuvent uniquement être mis à l’échelle manuellement.

Lorsque vous utilisez le client Fournisseur de données pour fichiers d’hôtes pour convertir des données, activez le regroupement de connexions pour réduire le temps de démarrage de la connexion. Quand vous utilisez Data Factory pour extraire des données, réglez les performances de l’activité de copie.

Contributeurs

Cet article est géré par Microsoft. Il a été écrit à l’origine par les contributeurs suivants.

Auteur principal :

Autres contributeurs :

Pour afficher les profils LinkedIn non publics, connectez-vous à LinkedIn.

Étapes suivantes

Lisez les guides de migration des bases de données Azure. Pour plus d’informations, contactez le service Azure Data Engineering - Mainframe & Midrange Modernization.

Voir les articles suivants :