Upravit

Sdílet prostřednictvím

Modernizace dat pro mainframy a midrange systémy

Azure Cosmos DB
Azure Data Lake
Azure SQL Database
Azure SQL Managed Instance
Azure Storage

Apache®, Spark a logo plamene jsou registrované ochranné známky nebo ochranné známky nadace Apache Software Foundation v USA a/nebo v jiných zemích. Použití těchto značek nevyžaduje žádné doporučení Apache Software Foundation.

Tento článek popisuje ucelený plán modernizace pro sálové a střední zdroje dat.

Architektura

Diagram architektury znázorňující, jak modernizovat sálové a střední uspořádání systémů migrací dat do Azure

Stáhněte si soubor aplikace Visio s touto architekturou.

Tok dat

Následující tok dat popisuje proces modernizace datové vrstvy sálového počítače. Odpovídá předchozímu diagramu.

  1. Sálové a střední uspořádání systémů ukládají data ve zdrojích dat, jako jsou systémy souborů (metoda přístupu k virtuálnímu úložišti (VSAM), ploché soubory, LTFS), relační databáze (Db2 pro z/OS, Db2 pro IBM i, Db2 pro Linux UNIX a Windows) nebo nerelační databáze IMS (Information Management System), ADABAS, IDMS (Integrated Database Management System).

  2. Proces převodu objektů extrahuje definice objektů ze zdrojových objektů. Definice se pak převedou na odpovídající objekty v cílovém úložišti dat.

    • Pomocník s migrací SQL Serveru (SSMA) pro Db2 migruje schémata a data z databází IBM Db2 do databází Azure.
    • Spravované Zprostředkovatel dat pro Soubory hostitele převádí objekty podle:
      • Analýza rozložení záznamů COBOL a RPG nebo kopírování.
      • Mapování copybooků na objekty jazyka C#, které aplikace .NET používají.
    • Pomocí nástroje Db2toAzurePostgreSQL migrujte databázové objekty z Db2 do Azure Database for PostgreSQL.
    • Nástroje třetích stran provádějí automatizované převody objektů v nerelačních databázích, systémech souborů a dalších úložištích dat.

  3. Data se ingestují a transformují. Sálové a střední uspořádání systémů ukládají data systému souborů ve formátu kódování EBCDIC ve formátech souborů, jako jsou:

    CoBOL, PL/I a sady pro kopírování jazyka sestavení definují datovou strukturu těchto souborů.

    a. FTP přenáší sálové a střední datové sady systému souborů s jednoduchými rozloženími a rozbalenými poli v binárním formátu a odpovídajícím copybookem do Azure.

    b. Převod dat se provádí vývojem vlastních programů pomocí komponenty Host File serverů pro integraci hostitelů nebo použitím integrovaného konektoru pro hostitelské soubory IBM v Azure Logic Apps.

    Převaděč sparkových poznámkových bloků se vyvíjí pomocí opensourcových architektur Sparku a je kompatibilní s prostředími Sparku, jako jsou Microsoft Fabric, Azure Synapse Analytics a Databricks.

    c. Migrují se data relační databáze.

    Sálový počítač IBM a střední uspořádání systémů ukládají data v relačních databázích takto:

    Tyto služby migrují data databáze:

    • Data Factory používá konektor Db2 k extrakci a integraci dat z databází.
    • SQL Server Integration Services zpracovává různé úlohy ETL dat.
    • Microsoft Fabric Data Factory využívá konektor IBM Db2 k migraci dat Db2.

    d. Nerelationální data databáze se migrují.

    Sálové počítače IBM a systémy midrange ukládají data do nerelačních databází, jako jsou tyto:

    Produkty třetích stran integrují data z těchto databází.

  4. Služby Azure, jako jsou Data Factory a AzCopy , načítají data do databází Azure a úložiště dat Azure. K načtení dat můžete také použít řešení třetích stran a vlastní řešení načítání.

  5. Azure nabízí celou řadu databázových služeb, včetně plně spravovaných relačních databází, jako jsou Azure SQL Database a NoSQL, jako je Azure Cosmos DB. Tyto služby jsou navržené pro škálovatelnost, flexibilitu a globální distribuci.

  6. Azure také nabízí celou řadu řešení úložiště, včetně Azure Blob Storage pro nestrukturovaná data a Soubory Azure pro plně spravované sdílené složky.

  7. Služby Azure používají modernizované datové vrstvy pro výpočty, analýzy, úložiště a sítě.

  8. Klientské aplikace také používají modernizované datové vrstvy.

Komponenty

Úložiště dat

Tato architektura popisuje migraci dat do škálovatelného, zabezpečeného cloudového úložiště a spravovaných databází pro flexibilní inteligentní správu dat v Azure.

  • SQL Database je součástí řady Azure SQL. Navržená pro cloud a poskytuje všechny výhody plně spravované a evergreen platformy jako služby. SQL Database také poskytuje automatizované funkce využívající AI, které optimalizují výkon a odolnost. Bezserverové výpočetní prostředky a možnosti úložiště Hyperscale automaticky škálujte prostředky na vyžádání.
  • azure Database for PostgreSQL je plně spravovaná relační databázová služba založená na komunitní edici opensourcového databázového stroje PostgreSQL.
  • Azure Cosmos DB je globálně distribuovaná vícemodelovádatabáze NoSQL .
  • azure Database for MySQL je plně spravovaná relační databázová služba založená na komunitní edici opensourcového databázového stroje MySQL.
  • SQL Managed Instance je inteligentní škálovatelná cloudová databázová služba, která nabízí všechny výhody plně spravované a stálegreenní platformy jako služby. Sql Managed Instance má téměř 100% kompatibilitu s nejnovějším databázovým strojem edice SQL Server Enterprise. Poskytuje také nativní implementaci virtuální sítě, která řeší běžné problémy se zabezpečením.
  • Azure Data Lake Storage je úložiště, které uchovává velké objemy dat v nativním nezpracovaném formátu. Úložiště Data Lake jsou optimalizovaná pro škálování na terabajty a petabajty dat. Data obvykle pocházejí z několika heterogenních zdrojů. Může to být strukturovaná, částečně strukturovaná nebo nestrukturovaná.
  • databáze SQL v Microsoft Fabric je transakční databáze pro vývojáře založená na Azure SQL Database, která umožňuje snadno vytvořit provozní databázi v Prostředcích infrastruktury. Databáze SQL ve Fabric používá stejný databázový stroj SQL jako Azure SQL Database.
  • Microsoft Fabric Lakehouse je platforma architektury dat pro ukládání, správu a analýzu strukturovaných a nestrukturovaných dat v jednom umístění.

Compute

  • Data Factory integruje data napříč různými síťovými prostředími pomocí prostředí IR (Integration Runtime), což je výpočetní infrastruktura. Služba Data Factory kopíruje data mezi cloudovými úložišti dat a úložišti dat v místních sítích pomocí místních prostředí IRS v místním prostředí.
  • Místní brána dat je místně nainstalovaná klientská aplikace pro Windows, která funguje jako most mezi místními místními zdroji dat a službami v cloudu Microsoftu.
  • Azure Virtual Machines poskytuje škálovatelné výpočetní prostředky na vyžádání. Virtuální počítač Azure poskytuje flexibilitu virtualizace, ale eliminuje nároky na údržbu fyzického hardwaru. Virtuální počítače Azure nabízejí výběr operačních systémů, včetně Windows a Linuxu.

Integrátory dat

Tato architektura popisuje různé nástroje pro migraci nativní pro Azure, které je možné využít v závislosti na zdrojových datech sálového počítače a cílové databázi.

  • Azure Data Factory je hybridní služba pro integraci dat. V tomto řešení služba Azure Data Factory s minimálním nastavením pro migraci dat z databází Db2 cílí na nativní konnetory.
  • AzCopy je nástroj příkazového řádku, který přesouvá objekty blob nebo soubory do a z účtů úložiště.
  • SQL Server Integration Services je platforma pro vytváření řešení integrace a transformace dat na podnikové úrovni. Můžete ho použít k řešení složitých obchodních problémů pomocí:
    • Kopírování nebo stahování souborů
    • Načítání datových skladů
    • Čištění a dolování dat.
    • Správa objektů a dat SQL Serveru
  • Technologie a nástroje serveru host Integration Server umožňují integrovat stávající hostitelské systémy, programy, zprávy a data IBM s aplikacemi Azure. Klientská komponenta Soubor hostitele poskytuje flexibilitu pro data převedená z EBCDIC na ASCII. Můžete například vygenerovat JSON/XML z převedených dat.
  • azure Synapse Analytics spojuje integraci dat, skladování podnikových dat a analýzu velkých objemů dat. Řešení převodu Azure Synapse použité v této architektuře je založené na Apache Sparku a je vhodným kandidátem pro převod úloh velkých sálových datových sad. Podporuje širokou škálu datových struktur a cílů sálových počítačů a vyžaduje minimální úsilí o kódování.
  • Microsoft Fabric je komplexní analytická platforma připravená pro podniky. Sjednocuje přesun dat, zpracování dat, příjem dat, transformaci, směrování událostí v reálném čase a vytváření sestav. Podporuje tyto funkce s integrovanými službami, jako jsou Datové inženýrství, Data Factory, Data Science, Real-Time Analytics, Data Warehouse a Databáze.

Další nástroje

  • Pomocník s migrací SQL Serveru pro Db2 automatizuje migraci z Db2 do databázových služeb Microsoftu. Když běží na virtuálním počítači, tento nástroj převede databázové objekty Db2 na databázové objekty SQL Serveru a vytvoří tyto objekty v SQL Serveru.
  • Zprostředkovatel dat pro soubory hostitele je součástí serveru pro integraci hostitelů, který používá připojení offline, SNA nebo TCP/IP.
    • Při offline připojeních Zprostředkovatel dat číst a zapisovat záznamy v místním binárním souboru.
    • S připojením SNA a TCP/IP Zprostředkovatel dat číst a zapisovat záznamy uložené ve vzdálených datových sadách z/OS (IBM Z Series Mainframe) nebo vzdálených fyzických souborech i5/OS (IBM AS/400 a iSeries). Protokol TCP/IP používají pouze systémy i5/OS.
  • Služby Azure poskytují prostředí, nástroje a procesy pro vývoj a škálování nových aplikací ve veřejném cloudu.

Podrobnosti scénáře

Moderní řešení úložiště dat, jako je datová platforma Azure, poskytují lepší škálovatelnost a výkon než sálové a střední uspořádání systémů. Díky modernizaci systémů můžete tyto výhody využít. Aktualizace technologií, infrastruktury a postupů je ale složitá. Tento proces zahrnuje vyčerpávající šetření obchodních a technických aktivit. Správa dat je jednou z hledisek při modernizaci systémů. Musíte se také podívat na vizualizaci a integraci dat.

Úspěšná modernizace používá strategii pro první data. Při použití tohoto přístupu se zaměříte na data, nikoli na nový systém. Správa dat už není jen položkou v kontrolním seznamu modernizace. Místo toho jsou data středem. Koordinovaná řešení dat zaměřená na kvalitu nahrazují fragmentovaná, špatně řízená řešení.

Toto řešení využívá komponenty datové platformy Azure v přístupu založeném na datech. Konkrétně řešení zahrnuje:

  • Převod objektů. Převod definic objektů ze zdrojového úložiště dat na odpovídající objekty v cílovém úložišti dat.
  • Příjem dat. Připojení ke zdrojovému úložišti dat a extrakci dat
  • Transformace dat Transformace extrahovaných dat do odpovídajících cílových struktur úložiště dat
  • Úložiště dat – Načítání dat ze zdrojového úložiště dat do cílového úložiště dat, a to jak zpočátku, tak průběžně.

Potenciální případy použití

Organizace, které používají sálové a střední systémy, můžou z tohoto řešení těžit, zejména pokud chtějí dosáhnout těchto cílů:

  • Modernizace důležitých úloh
  • Získejte business intelligence, abyste zlepšili provoz a získali konkurenční výhodu.
  • Odeberte vysoké náklady a pevnost, které jsou spojené s sálovými a středními úložišti dat.

Důležité informace

Tyto aspekty implementují pilíře architektury Azure Well-Architected Framework, což je sada hlavních principů, které je možné použít ke zlepšení kvality úlohy. Další informace naleznete v tématu Microsoft Azure Well-Architected Framework.

Zabezpečení

Zabezpečení poskytuje záruky proti záměrným útokům a zneužití cenných dat a systémů. Další informace naleznete v tématu Kontrolní seznam pro kontrolu návrhu prozabezpečení .

  • Mějte na paměti rozdíly mezi místními klientskými identitami a identitami klientů v Azure. Potřebujete kompenzovat všechny rozdíly.
  • Použití spravovaných identit pro toky dat komponent-komponent.
  • Při použití Zprostředkovatel dat pro hostitelské soubory k převodu dat postupujte podle doporučení v Zprostředkovatel dat zabezpečení a ochrany souborů hostitele.

Optimalizace nákladů

Optimalizacenákladůch Další informace naleznete v tématu Kontrolní seznam pro kontrolu návrhu proOptimalizace nákladů .

  • Pomocník s migrací SQL Serveru je bezplatný podporovaný nástroj, který zjednodušuje migraci databáze z Db2 na SQL Server, SQL Database a SQL Managed Instance. Pomocník s migrací SQL Serveru automatizuje všechny aspekty migrace, včetně analýzy posouzení migrace, převodu schématu a příkazů SQL a migrace dat.
  • Řešení založené na Azure Synapse Sparku je vytvořené z opensourcových knihoven. Eliminuje finanční zátěž nástrojů pro převod licencí.
  • K odhadu nákladů na implementaci tohoto řešení použijte cenovou kalkulačku Azure.

Efektivita výkonu

Efektivita výkonu je schopnost vaší úlohy škálovat tak, aby splňovala požadavky, které na ni mají uživatelé efektivním způsobem. Další informace naleznete v tématu Kontrola návrhu kontrolní seznam pro zvýšení efektivity výkonu.

  • Klíčovými pilíři efektivity výkonu jsou správa výkonu, plánování kapacity, škálovatelnost a volba vhodného modelu výkonu.
  • Místní prostředí IR můžete škálovat přidružením logické instance k několika místním počítačům v režimu aktivní-aktivní.
  • Azure SQL Database nabízí možnost dynamicky škálovat databáze. V bezserverové úrovni může výpočetní prostředky automaticky škálovat. Elastický fond, který umožňuje databázím sdílet prostředky ve fondu, je možné škálovat pouze ručně.

Pokud k převodu dat použijete Zprostředkovatel dat klienta Host Files, zapněte sdružování připojení, abyste zkrátili dobu spuštění připojení. Při použití služby Data Factory k extrakci dat vylaďte výkon aktivity kopírování.

Přispěvatelé

Tento článek spravuje Microsoft. Původně byla napsána následujícími přispěvateli.

Hlavní autor:

Další přispěvatelé:

Pokud chcete zobrazit neveřejné profily LinkedIn, přihlaste se na LinkedIn.

Další kroky

Projděte si příručky k migraci databází Azure. Další informace získáte od Datoví technici Azure – modernizace mainframů a midrange.

Podívejte se na následující články: