Upravit

Sdílet prostřednictvím

Zálohování souborů a pásek do Azure pomocí Luminexu

Azure Event Hubs
Azure ExpressRoute
Azure SQL Database
Azure Storage
Power BI

Tento článek představuje řešení pro použití produktů Luminex k přenosu dat mainframů do a z Azure, aby splňovaly požadavky na zálohování, archivaci a další obchodní potřeby. Mezi klíčové komponenty řešení patří sdílení cloudových dat platformy Luminex (MDI) platformy Luminex a cloudová páska platformy Luminex (MVT) CloudTAPE platformy.

Apache® a Apache Kafka jsou registrované ochranné známky nebo ochranné známky Apache Software Foundation v USA a/nebo v jiných zemích. Použití těchto značek nevyžaduje žádné doporučení Apache Software Foundation.

Architektura

Diagram architektury znázorňující, jak produkty Luminex migrují sálová data a data pásek do Azure

Stáhněte si soubor aplikace Visio s touto architekturou.

Tok dat

  1. Na sálovém počítači zahrnují sekundární úložná zařízení s přímým přístupem (DASD) a zařízení úložiště se sekvenčním přístupem (SASD).

  2. DasD se připojují na sálový počítač.

  3. Páska je typ SASD, který je připojený k sálovém počítači jako externí úložiště.

  4. Platforma MDI odesílá informace, které je možné ukládat do Azure v souborech. Mezi příklady patří data zařízení pro správu systému (SMF), soubory metody VSAM (Virtual Storage Access Method), sekvenční soubory a skupiny dat generování (GDG). Hardware MDI nainstalovaný v datacentru zahrnuje kontrolery Luminex Channel Gateway X (CGX) a servery Luminex MDI.

  5. MVT CloudTAPE poskytuje páskové archivace a zálohování. Hardware MVT nainstalovaný v datacentru zahrnuje kontrolery Luminex CGX a servery CloudTAPE.

  6. MDI a MVT používají zařízení kontroleru CGX, která jsou založená na protokolu FICON (Fibre Connection). Tato zařízení se připojují přímo k sálové síti. Pro přenos dat nejsou potřeba žádné speciální moduly system z Integrated Information Processor (zIIP). Na sálovém počítači není žádný agent Luminex a není potřeba otevírat žádné porty TCP/IP pro komunikaci mezi sálovými počítači a zařízeními Luminex.

  7. Data sálového počítače se přenášejí do Azure prostřednictvím privátního zabezpečeného připojení Azure ExpressRoute.

  8. Luminex MDI zKonnect a další služby streamují data souborů pro analýzu velkých objemů dat v Azure. Například systémová data, jako jsou protokoly mainframů a data SMF, se streamují do služby Azure Event Hubs. Služby Azure ingestují data a pak je zpracovávají, transformují a projektují.

  9. MDI používá zařízení Luminex CGX ke zpracování, přenosu a ukládání dat souborů do mezipaměti. Jsou dostupné dvě možnosti:

    • Příkazy jazyka JCL (Job Control Language) se odesílají. Luminex poskytuje příkazy, které určují informace o vstupních souborech, cíli Azure, klíčích a informacích o zabezpečení, transformaci dat a formátech cloudových souborů. Organizace, které pro přenos dat používají proceduru Luminex, můžou používat vlastní příkazy JCL. Po dokončení úlohy návratový kód nuly značí úspěšný přenos.
    • Úloha se monitoruje z uživatelského rozhraní MDI. Provozní tým může použít kombinaci plánovače, sálového počítače a uživatelského rozhraní MDI k monitorování a odstraňování potíží s úlohami. Uživatelské rozhraní MDI poskytuje informace, jako je název úlohy, ID úlohy, uživatel nebo skupina, čas spuštění a uplynulý čas. Mechanismy opakování MDI se zapojují, pokud se přenos souborů zpočátku nezdaří.

    Úlohu je možné nakonfigurovat tak, aby před přenosem ukládaly soubory do mezipaměti v místním úložišti. Po dokončení přenosu se místní úložiště odebere.

  10. MVT CloudTAPE odesílá data z pásek sálového počítače do úložišť dat Azure, jako je Azure Blob Storage, Azure Files a Azure Data Lake Storage. Data můžou být strukturovaná a nestrukturovaná. Převod nepoužívá příkazy JCL. Místo toho MVT CloudTAPE přesouvá nebo replikuje pásky sálového počítače ve formátu IBM 3490 nebo 3590, který emuluje řadiče CGX.

  11. Služby Azure poskytují možnosti zpracování dat, úložiště, analýzy a vizualizace.

Komponenty

  • ExpressRoute rozšiřuje místní sítě do cloudu Microsoftu. ExpressRoute používá poskytovatele připojení k navázání privátních připojení mezi místními daty a cloudovými službami Microsoftu.

  • Azure Files je služba, která je součástí služby Azure Storage. Služba Soubory Azure nabízí plně spravované sdílené složky v cloudu. Sdílené složky Azure jsou přístupné prostřednictvím standardního protokolu SMB (Server Message Block). Toto řešení používá k přenosu souborů mainframů do Azure Files mdi a MVT Luminex MDI a MVT.

  • Blob Storage je služba, která je součástí služby Storage. Blob Storage poskytuje optimalizované cloudové úložiště objektů pro obrovské objemy nestrukturovaných dat. V tomto řešení poskytuje Blob Storage způsob, jak archivovat horká a studená hlavní data.

  • V tomto řešení můžou produkty Luminex přenášet data sálového počítače do několika databází Azure:

    • Azure SQL je řada databází Azure, které využívají modul SQL Serveru.
    • Azure SQL Database je plně spravovaný databázový stroj PaaS (Platforma jako služba), který je součástí řady Azure SQL. Díky automatizovaným funkcím využívajícím AI služba SQL Database zpracovává funkce správy databází, jako je upgrade, opravy, zálohování a monitorování.
    • Azure Database for PostgreSQL je plně spravovaná relační databázová služba založená na komunitní edici opensourcového databázového stroje PostgreSQL.
    • Azure Database for MySQL je plně spravovaná relační databázová služba založená na komunitní edici opensourcového databázového stroje MySQL.

  • Event Hubs je plně spravovaná platforma pro streamování velkých objemů dat. V tomto řešení Luminex zKonnect streamuje data sálového počítače do event Hubs téměř v reálném čase. Event Hubs poskytuje koncový bod, který je kompatibilní s rozhraními API pro producenta a příjemce Apache Kafka. Většina existujících klientských aplikací Apache Kafka používá tato rozhraní API jako alternativu ke spouštění vlastních clusterů Apache Kafka.

  • Power BI je kolekce softwarových služeb a aplikací, které zobrazují analytické informace. Toto řešení používá data sálového počítače, která pocházejí z různých zdrojů a má různé struktury. Power BI slouží k přeměně dat na koherentní, vizuálně imerzivní a interaktivní přehledy.

  • Data Lake Storage nabízí způsob, jak provádět analýzy velkých objemů dat s nízkými náklady, vrstveným úložištěm a vysokou propustností.

Alternativy

Podrobnosti scénáře

Fyzické úložiště sálového počítače se může nacházet na procesoru sálového počítače nebo může být externí pro sálový počítač. Úložiště procesoru, což je jako paměť pro sálový počítač, se nachází na procesoru. Příkladem externího úložiště jsou diskové jednotky a páskové jednotky. Datové sady v úložišti jsou uspořádané do různých logických záznamů a struktur bloků. Parametry, jako je organizace datové sady (DSORG) a formát záznamů (RECFM), definují tyto datové struktury. Záznamy v datové sadě mohou být pevné nebo proměnné v délce a mohou být uloženy v binárním nebo textovém formátu.

Sekundární úložná zařízení, jako jsou DASD a SASD, ukládají data, která jsou často nebo zřídka přístupná.

  • Jednotky DASD se používají k okamžitému umístění a načítání dat. S přímým přístupem můžete číst nebo zapisovat data tak, že přejdete přímo do konkrétního fyzického umístění na zařízení. V důsledku toho jsou DASD rychlé a efektivní.
  • Sasd, jako jsou pásky, jsou ze své podstaty pomalejší než DASD. Pokud chcete získat přístup k datům pásky, začněte na jednom místě a pak projděte po sobě jdoucí umístění, dokud nenajdete potřebná data. Sálové počítače používají fyzické pásky a virtuální páskové knihovny (VTLs), které se také nazývají virtuální pásky. Virtuální pásky se v současné době preferují před fyzickými páskami.

Typ úložiště, které používáte, závisí na vašich potřebách. Mnoho organizací potřebuje studené úložiště pro dodržování předpisů, zákonné předpisy, vytváření sestav, audit nebo jiné účely. Některé organizace mají zásady uchovávání dat, které vyžadují ukládání dat po dobu téměř 100 let. Příkladem tohoto typu dat jsou kopie předpisů, záznamy pacientů, historie odměn zákazníků a další informace. Data, která ukládáte za dlouhodobé období, jsou většinou vysoká a přístupná zřídka. Dlouhodobé úložiště obvykle stojí méně než aktivní úložiště, ke kterému obvykle přistupujete vícekrát denně a které se často aktualizuje. Důležité informace o zabezpečení mají vliv také na výběr úložiště. Kyberútoky představují konstantní hrozbu.

Azure nabízí různá řešení úložiště a je osvědčeným místem pro ukládání, zálohování a dlouhodobé potřeby archivace. Pro často užitá data a horká úložiště můžete použít studené úložiště. Struktury souborů sálového počítače, jako jsou datové sady VSAM, ploché soubory a pásková data, mapují se na datové konstrukce Azure v rámci databází, strukturovaných souborů a úložiště objektů blob. Úložiště Azure může ukládat objemová data s nákladovou efektivitou, škálovatelností, replikací a samoobslužnou udržitelností. Služby Azure vám také můžou pomoct načíst data, vizualizovat data a získat přehledy z vašich dat.

Řešení v tomto článku používá platformy Luminex MDI a MVT k přenosu dat mainframů do a z Azure, aby splňovaly požadavky na zálohování, archivaci a další obchodní potřeby.

  • Luminex MDI je platforma pro přenos a spoluprocesování dat. MDI používá zařízení Luminex CGX ke zpracování, přenosu a ukládání souborů mainframů do mezipaměti. MDI poskytuje zabezpečenou a efektivní výměnu dat a sdílení úloh mezi sálovými a distribuovanými systémy z/OS. Pomocí produktů MDI, jako je sdílení cloudových dat, přenos velkých objemů dat a zKonnect, můžete soubory přesunout do Azure pro zálohování, archivaci, normalizaci dat, slučování a analýzu. Přenášená data můžete nakonfigurovat tak, aby dorazí do formátu ASCII nebo EBCDIC v Azure. Sdílení cloudových dat MDI poskytuje způsob, jak migrovat soubory mainframů, jako jsou soubory VSAM, sekvenční soubory a skupiny GDG do Azure. MDI také podporuje integraci se službami zasílání zpráv Azure. Aplikace hostované v Azure můžou používat soubory sálového počítače, které jsou uložené v Azure pro modernizaci, nižší latenci a vyšší výkon.

  • Luminex MVT je pásková archivní a zálohovací platforma. MVT používá software řídicí jednotky Luminex CGX, který emuluje sálové jednotky 3490 a 3590 páskových jednotek, takže můžete beze změny používat stávající páskové aplikace. Prostředí CGX poskytuje sadu produktů pro šifrování pásky, trezory, migraci, replikaci, načítání, zotavení po havárii a vysokou dostupnost. Konkrétně produkt CloudTAPE poskytuje způsob, jak migrovat data pásek do Azure.

MDI i MVT používají vysokorychlostní zařízení kontroleru CGX k přímému připojení k sálovým počítačům. Tyto kontrolery jsou založené na FICON, přenosovém protokolu, který podporují sálové servery a připojené řadiče úložiště podnikové třídy. FICON používá technologii Fibre Channel jako podkladový transportní protokol. Kontrolery CGX také využívají síťové připojené úložiště (NAS) a interní systémy úložiště k zajištění vysoké úrovně výkonu, škálovatelnosti, spolehlivosti, zabezpečení a dostupnosti, které podniky vyžadují. S přenosem FICON je možné vstupně-výstupní operace sdílet napříč několika systémy. FICON zajišťuje optimální efektivitu protokolu. Pomáhá také zajistit integritu a zabezpečení dat, a to i se zvýšenými vzdálenostmi mezi serverovými a úložnými zařízeními.

U MDI a MVT nejsou pro přenos dat potřeba žádné speciální moduly zIIP a není nutné otevírat žádné porty TCP/IP, aby bylo možné komunikovat mezi sálovými zařízeními a zařízeními Luminex. Zařízení Luminex CGX zapojte přímo do sálového počítače stejně jako jakékoli jiné zařízení úložiště sálových počítačů. V případě potřeby může váš stávající starší software pro zálohování a správu pásek běžet paralelně. U cloudových dat MVT CloudTAPE a MDI je spotřeba milionů instrukcí za sekundu (MIPS) minimální, protože přenos používá jednoduché procesy.

Potenciální případy použití

Z tohoto řešení může těžit mnoho scénářů. Mezi možnosti patří organizace s následujícími cíli:

  • Minimalizace správy pásek a údržby.
  • Modernizace starších úloh
  • Hledání řešení zálohování a archivace
  • Rozšíření modernizace sálového počítače přesunutím pásek sálových počítačů do cloudu Organizace můžou mít tento cíl, pokud chtějí snížit jejich datacentrum, ale neopustit ho. Pokud organizace moc nepoužívá pásky sálového počítače, můžou být pásky vhodným kandidátem na migraci.
  • Transformace migrovaných dat do jiného formátu cloudového úložiště, například převod dat EBCDIC na soubory ASCII, VSAM na JSON a sekvenční data do formátu CSV.
  • Přenos metadat pásek do metadat úložiště Azure
  • Poskytování nových a refaktorovaných aplikací hostovaných v Azure s snadným přístupem k datům
  • Rozšíření svých cloudových nároků
  • Snadno monitorovat, zobrazovat a hlásit soubory mainframů a pásková data a integrovat tato data se službami Azure.
  • Zpeněžení aktuálních a historických odemčených sálových dat a jejich použití v cloudových business intelligence a analytických nástrojích.

Pokud implementujete podobné řešení a chcete sdílet svoje prostředí nebo zpětnou vazbu, obraťte se na tým Microsoftu starší verze modernizace Azure Core Engineering (ACE).

Důležité informace

Tyto aspekty implementují pilíře dobře architektuře Azure, což je sada hlavních principů, které je možné použít ke zlepšení kvality úlohy. Další informace naleznete v tématu Microsoft Azure Well-Architected Framework.

Spolehlivost

Spolehlivost zajišťuje, že vaše aplikace může splňovat závazky, které uděláte pro vaše zákazníky. Další informace naleznete v tématu Kontrolní seznam pro kontrolu spolehlivosti.

  • Toto řešení můžete nasadit v několika oblastech a v datové vrstvě můžete implementovat geografickou replikaci. Skupiny automatického převzetí služeb při selhání Azure také pomáhají zajistit ochranu dat.
  • Clusterované kontrolery CGX můžou během selhání poskytovat řešení obnovení aktivní-aktivní.
  • Synchronní pásková matice MVT zajišťuje spolehlivost napříč několika datovými centry. Jeho infrastruktura se přizpůsobí selháním bez přerušení.
  • Replikace Luminex může replikovat data do jednoho nebo mnoha cílů. Cílem může být jedna nebo více lokalit pro zotavení po havárii, které mají na vlastnosti nainstalovaný sálový počítač a kontroler CGX. Můžete také předem nakonfigurovat cíl prostřednictvím geografické replikace Azure. Pokud používáte Azure a další privátní nebo veřejné cloudy, můžete také použít hybridní strategii pro zotavení po havárii. V podstatě můžete použít strategii replikace, která nejlépe vyhovuje vašim požadavkům. Mezi příklady patří 1:1, 1:N, M:N a kaskádové strategie.

Zabezpečení

Zabezpečení poskytuje záruky proti záměrným útokům a zneužití cenných dat a systémů. Další informace naleznete v tématu Kontrolní seznam pro kontrolu návrhu prozabezpečení .

  • Plně spravované úložiště v tomto řešení eliminuje problémy související s fyzickou bezpečností médií. Příklady jsou poškození nebo neoprávněný přístup, ke kterému může dojít při odeslání fyzických pásek ve vozidlech.
  • Luminex CGSafe poskytuje kompresi a šifrování pásky. Tento produkt je součástí řady MVT a je součástí CloudTAPE. CGSafe šifruje a komprimuje pásky během příjmu dat, neaktivních uložených a přenášených dat.
  • Když používáte sdílení cloudových dat MDI, soubory se posílají přes PROTOKOL HTTPS pomocí PROTOKOLU SSL. V Azure můžete soubory neaktivních uložených souborů zašifrovat.
  • Vzhledem k tomu, že řešení používá připojení FICON a ESCON, nemusíte otevírat žádné porty pro přenos dat.

Optimalizace nákladů

Optimalizacenákladůch Další informace naleznete v tématu Kontrolní seznam pro kontrolu návrhu proOptimalizace nákladů .

  • Ceny průběžných plateb a vícevrstvé modely v Azure poskytují možnosti pro různé požadavky na náklady a výkon. Pokud například přistupujete k datům zřídka, je studená úroveň přístupu Azure dobrou volbou pro nízkonákladové úložiště.
  • Ceny tohoto řešení závisí na objemu dat pásky, umístění datacentra a šířce pásma. Náklady také závisí na tom, které služby Azure používáte. Tyto faktory určují hardware, který používáte, například počet řadičů Luminex CGX. Faktory také ovlivňují náklady na váš software, službu, licencování a podporu.
  • Výměna dat nevyžaduje procesory zIIP. V důsledku toho ušetříte náklady při spuštění softwaru.
  • Po nasazení infrastruktury Luminex můžete použít hardware Luminex pro jiné účely. K přenosu souborů už můžete například použít sdílení cloudových dat MDI. Pokud své prostředí rozšíříte o MDI zKonnect pro streamování, můžete ušetřit náklady, protože můžete zakoupit další software a infrastrukturu Luminex za výrazně nižší cenu.
  • Pokud už máte zavedenou infrastrukturu ExpressRoute, můžete ji použít pro toto řešení.
  • Použití Azure a Luminexu pro zálohování a obnovení pomáhá eliminovat některé náklady spojené s fyzickou páskovou infrastrukturou. Mezi příklady patří výdaje na média a dopravu a úložiště mimo pracoviště pro ukládání do trezoru.

Efektivita provozu

Efektivita provozu se zabývá provozními procesy, které nasazují aplikaci a udržují ji spuštěnou v produkčním prostředí. Další informace naleznete v tématu kontrolní seznam pro kontrolu efektivity provozu.

  • Přenos dat do Azure v tomto řešení poskytuje flexibilitu při vývoji strategie zálohování. Můžete povolit automatizovanou, pravidelnou migraci nebo fázovanou migraci dat. Po instalaci zařízení Luminex do datacentra můžete nakonfigurovat jednosměrnou nebo obousměrnou komunikaci, fázovanou migraci nebo jednorázovou migraci. Tato flexibilita poskytuje podporu pro implementaci principů devOps a agilního fungování a okamžitého přechodu na cloud.
  • Můžete využít možnosti Azure pro zálohování, archivaci a zotavení po havárii v sálových počítačích.
  • Kanály kontinuální integrace/průběžného doručování (CI/CD) v Azure můžete nasadit za účelem správy přesunu, transformace a řízení dat.

Efektivita výkonu

Efektivita výkonu je schopnost vaší úlohy škálovat tak, aby splňovala požadavky, které na ni mají uživatelé efektivním způsobem. Další informace naleznete v tématu Kontrola návrhu kontrolní seznam pro zvýšení efektivity výkonu.

  • Pokud máte velký objem dat, můžete clusterovat kontrolery CGX. Jedno zařízení CGX obvykle nabízí rychlost přenosu dat až 800 megabajtů za sekundu (MB/s). Kontrolery CGX jsou dostupné až se čtyřmi porty Fibre Channel nebo 1 Gigabit Ethernetem (GbE), 10 GbE nebo 25 GbE. Tyto kontrolery také nabízejí až čtyři porty pro připojení k připojeným úložným systémům.
  • Ve službách Azure jsou k dispozici různé možnosti výkonu a úrovně. Účty úložiště objektů blob bloku například nabízejí úrovně výkonu Standard a Premium. Můžete zvolit úroveň, která nejlépe vyhovuje vašim potřebám.
  • Předdefinovaná správa přístupu a životního cyklu v Azure usnadňuje optimalizaci výkonu konkrétních případů použití.
  • Software pro emulaci pásek v tomto řešení používá systém FICON I/O. Pomocí tohoto systému můžete zkrátit dobu procesoru, zvýšit rychlost přenosu dat a zkrátit uplynulý čas.

Přispěvatelé

Tento článek spravuje Microsoft. Původně byla napsána následujícími přispěvateli.

Hlavní autoři:

Pokud chcete zobrazit neveřejné profily LinkedIn, přihlaste se na LinkedIn.

Další kroky

  • Další informace získáte od týmu Microsoft Legacy Modernization Azure Core Engineering (ACE).
  • Informace o řešeních pro přenos dat třetích stran najdete v tématu Archivní řešení třetích stran.