Backup su nastro e file mainframe in Azure con Luminex

Questo articolo presenta una soluzione per l'uso di prodotti Luminex per trasferire i dati del mainframe da e verso Azure per soddisfare le esigenze di backup, archiviazione e altre esigenze aziendali. I componenti chiave nella soluzione includono la condivisione dei dati cloud della piattaforma Luminex mainframe integration (MDI) e la piattaforma MVT (MainFrame Virtual Tape) di Luminex.

Apache e Apache® Kafka sono marchi o marchi registrati di Apache Software Foundation nei Stati Uniti e/o in altri paesi. L'uso di questi marchi non implica alcuna approvazione da parte di Apache Software Foundation.

Architettura

Scaricare un file di Visio di questa architettura.

Flusso di dati

1. In un mainframe, i dispositivi di archiviazione secondari includono dispositivi di archiviazione ad accesso diretto (DASD) e dispositivi di archiviazione ad accesso sequenziale ( SASD).

2. I DASD vengono montati nel mainframe.

3. Un nastro è un tipo di firma di accesso condiviso collegato al mainframe come risorsa di archiviazione esterna.

4. La piattaforma MDI invia informazioni che possono essere archiviate nei file in Azure. Tra gli esempi sono inclusi i dati SMF (System Management Facilities), i file VSAM (Virtual Storage Access Method), i file sequenziali e i gruppi di dati di generazione (GDG). L'hardware MDI installato nel data center include controller Luminex Channel Gateway X (CGX) e server MDI Luminex.

5. MVT CloudTAPE fornisce l'archiviazione e il backup su nastro. L'hardware MVT installato nel data center include controller Luminex CGX e server CloudTAPE.

6. MDI e MVT usano dispositivi controller CGX basati sul protocollo Fibre Connection (FICON). Questi dispositivi si connettono direttamente al mainframe. Per il trasferimento dei dati non sono necessari motori speciali z Integrated Information Processor (zIIP). Non è presente alcun agente Luminex nel mainframe e non è necessario aprire porte TCP/IP per la comunicazione tra il mainframe e i dispositivi Luminex.

7. I dati del mainframe vengono trasferiti ad Azure tramite una connessione Azure ExpressRoute privata e sicura.

8. Luminex MDI zKonnect e altri servizi trasmetteno i dati dei file per l'analisi dei Big Data in Azure. Ad esempio, i dati di sistema come i log mainframe e i dati SMF vengono trasmessi a Hub eventi di Azure. I servizi di Azure inseriscono i dati e quindi elaborano, trasformano e proiettano i dati.

9. MDI usa dispositivi Luminex CGX per elaborare, trasferire e memorizzare nella cache i dati dei file. Sono disponibili due opzioni:

   • Le istruzioni JCL (Job Control Language) vengono inviate. Luminex fornisce istruzioni che specificano informazioni sui file di input, la destinazione di Azure, le chiavi e le informazioni di sicurezza, la trasformazione dei dati e i formati di file cloud. Le organizzazioni che usano la procedura Luminex per il trasferimento dei dati possono usare le proprie istruzioni JCL. Al termine del processo, un codice restituito pari a zero indica un trasferimento riuscito.
   • Il processo viene monitorato dall'interfaccia utente MDI. Un team operativo può usare una combinazione dell'utilità di pianificazione, del mainframe e dell'interfaccia utente MDI per monitorare e risolvere i problemi dei processi. L'interfaccia utente MDI fornisce informazioni come il nome del processo, l'ID processo, l'utente o il gruppo, l'ora di inizio e il tempo trascorso. I meccanismi di ripetizione dei tentativi MDI interagiscono se il trasferimento del file non riesce inizialmente.

   Il processo può essere configurato per memorizzare nella cache i file nella risorsa di archiviazione locale prima del trasferimento. Al termine del trasferimento, l'archiviazione locale viene rimossa.

10. MVT CloudTAPE invia dati su nastro mainframe ad archivi dati di Azure come Archiviazione BLOB di Azure, File di Azure e Azure Data Lake Storage. I dati possono essere strutturati e non strutturati. Il trasferimento non usa istruzioni JCL. MVT CloudTAPE sposta o replica i nastri mainframe in formato IBM 3490 o 3590 che emulano i controller CGX.

11. I servizi di Azure offrono funzionalità di elaborazione dei dati, archiviazione, analisi e visualizzazione.

Componenti

• ExpressRoute estende le reti locali al cloud Microsoft. ExpressRoute usa un provider di connettività per stabilire connessioni private tra i dati locali e i servizi cloud Microsoft.

• File di Azure è un servizio che fa parte di Archiviazione di Azure. Il servizio File di Azure offre condivisioni file completamente gestite nel cloud. Le condivisioni file di Azure sono accessibili tramite il protocollo SMB (Server Message Block) standard del settore. Questa soluzione usa Luminex MDI e MVT per trasferire i file mainframe in File di Azure.

• Archiviazione BLOB è un servizio che fa parte di Archiviazione. Archiviazione BLOB offre un archivio oggetti cloud ottimizzato per grandi quantità di dati non strutturati. In questa soluzione l'archiviazione BLOB consente di archiviare dati mainstream ad accesso frequente e sporadico.

• In questa soluzione, i prodotti Luminex possono trasferire i dati del mainframe in diversi database di Azure:

  • Azure SQL è una famiglia di database di Azure basati sul motore di SQL Server.
  • database SQL di Azure è un motore di database PaaS (Platform as a Service) completamente gestito che fa parte della famiglia SQL di Azure. Grazie a funzionalità automatizzate basate su intelligenza artificiale, Database SQL gestisce le funzioni di gestione di database, come aggiornamento, applicazione di patch, backup e monitoraggio.
  • Database di Azure per PostgreSQL è un servizio di database relazionale completamente gestito basato sull'edizione community del motore di database PostgreSQL open source.
  • Database di Azure per MySQL è un servizio di database relazionale completamente gestito basato sull'edizione community del motore di database MySQL open source.

• Hub eventi è una piattaforma di streaming di Big Data completamente gestita. In questa soluzione Luminex zKonnect trasmette i dati del mainframe a Hub eventi quasi in tempo reale. Hub eventi fornisce un endpoint compatibile con le API producer e consumer apache Kafka. La maggior parte delle applicazioni client Apache Kafka esistenti usa queste API come alternativa all'esecuzione dei propri cluster Apache Kafka.

• Power BI è una raccolta di app e servizi software che visualizzano informazioni di analisi. Questa soluzione usa i dati mainframe provenienti da varie origini e ha strutture diverse. Power BI viene usato per trasformare i dati in informazioni dettagliate coerenti, visivamente immersive e interattive.

• Data Lake Storage offre un modo per eseguire analisi di Big Data con archiviazione a basso costo, archiviazione a livelli e velocità effettiva elevata.

Alternative

• Anziché usare soluzioni di terze parti per il trasferimento dei dati, è possibile usare una soluzione Microsoft. Per informazioni sul trasferimento di dati da sistemi mainframe e midrange ad Azure, vedere Spostare i dati di archiviazione da sistemi mainframe ad Azure. Per informazioni su soluzioni Microsoft specifiche, vedere le risorse seguenti:

  • Copiare file da un mainframe ad Azure usando il connettore FTP di Azure Data Factory
  • Trasferire i file mainframe in Azure usando SFTP
  • Trasferire un set di dati mainframe in Archiviazione BLOB di Azure usando un JCL mainframe

• Per risolvere eventuali considerazioni su latenza, connettività, tecnologia e normative, è possibile trasferire i dati in Azure Stack anziché in Azure. L'hub di Azure Stack offre un set di servizi di archiviazione cloud. Per altre informazioni, vedere Archiviazione dell'hub di Azure Stack: Differenze e considerazioni.

• È anche possibile usare dispositivi Luminex MVT e CGX per i mainframe IBM z/VM e z/VSE.

• Quando si trasferiscono nastri in Azure, è possibile comprimerli e crittografarli per trasmettere i dati in modo sicuro in tutte le fasi. È possibile configurare facilmente questa funzionalità.

• È anche possibile usare questa soluzione per l'interscambio di dati bidirezionali. È possibile richiamare i dati del nastro nel mainframe e trasformarli nel formato originale.

  • Con MDI, il processo è simile al trasferimento in Azure. Si inviano istruzioni JCL che forniscono le specifiche del trasferimento inverso. I dati possono essere trasferiti come nastri o come file sequenziali. La configurazione JCL specifica il formato.
  • Con MVT CloudTAPE, i dati vengono richiamati automaticamente se vengono richiesti dal mainframe.

• I dispositivi CGX Luminex supportano anche la connettività del canale ESCON (Enterprise Systems Connection). Il software di backup del mainframe esistente vede il gateway del canale come dispositivo nastro mainframe riconosciuto. Di conseguenza, non è necessaria alcuna modifica software.

• Questa soluzione usa ExpressRoute per trasferire i dati dal data center ad Azure. È consigliabile usare questo approccio, ma è anche possibile usare Internet per il trasferimento dei dati.

Dettagli dello scenario

L'archiviazione fisica del mainframe può trovarsi nel processore mainframe oppure può essere esterna al mainframe. L'archiviazione del processore, simile alla memoria per il mainframe, si trova nel processore. Le unità disco e le unità nastro sono esempi di archiviazione esterna. I set di dati nell'archiviazione sono organizzati in varie strutture di record e blocchi logici. I parametri come l'organizzazione del set di dati (DSORG) e il formato di record (RECFM) definiscono queste strutture di dati. I record nel set di dati possono essere a lunghezza fissa o variabile e possono essere archiviati in formato binario o di testo.

I dispositivi di archiviazione secondari, ad esempio DASD e SASD , archiviano i dati a cui si accede di frequente o raramente.

• I DASD vengono usati per la posizione e il recupero immediati dei dati. Con l'accesso diretto, è possibile leggere o scrivere dati passando direttamente a una posizione fisica specifica nel dispositivo. Di conseguenza, i DASD sono veloci ed efficienti.
• Le unità di accesso condiviso, ad esempio i nastri, sono intrinsecamente più lente rispetto ai DASD. Per accedere ai dati su nastro, iniziare da una posizione e quindi passare attraverso posizioni successive fino a trovare i dati necessari. I mainframe usano nastri fisici e librerie di nastri virtuali (VTLs), detti anche nastri virtuali. Attualmente, i nastri virtuali sono preferiti rispetto ai nastri fisici.

Il tipo di archiviazione usato dipende dalle proprie esigenze. Molte organizzazioni necessitano di archiviazione ad accesso sporadico per conformità, normative, report, controllo o altri scopi. Alcune organizzazioni dispongono di criteri di conservazione dei dati che richiedono l'archiviazione dei dati per quasi 100 anni. Esempi di questo tipo di dati includono copie delle prescrizioni, dei record dei pazienti, della cronologia delle ricompense dei clienti e di altre informazioni. I dati archiviati per il lungo periodo sono principalmente elevati nel volume e a cui si accede raramente. L'archiviazione a lungo termine in genere costa meno dell'archiviazione attiva, che in genere si accede più volte al giorno e che viene aggiornata di frequente. Le considerazioni sulla sicurezza influiscono anche sulla scelta dell'archiviazione. I cyberattacchi sono una minaccia costante.

Azure offre varie soluzioni di archiviazione ed è un luogo di destinazione collaudato per le esigenze di archiviazione, backup e archiviazione a lungo termine. È possibile usare l'archiviazione ad accesso sporadico per i dati a cui si accede raramente e l'archiviazione ad accesso frequente per i dati a cui si accede di frequente. Le strutture di file mainframe, ad esempio set di dati VSAM, file flat e dati su nastro, eseguono il mapping ai costrutti di dati di Azure all'interno di database, file strutturati e archiviazione BLOB. Archiviazione di Azure consente di archiviare dati intensi dal punto di vista dei volumi con efficienza, scalabilità, replica e auto-sostenibilità. I servizi di Azure consentono anche di recuperare i dati, visualizzare i dati e ottenere informazioni dettagliate dai dati.

La soluzione in questo articolo usa le piattaforme MDI e MVT di Luminex per trasferire i dati mainframe da e verso Azure per soddisfare le esigenze di backup, archiviazione e altre esigenze aziendali.

• Luminex MDI è una piattaforma di trasferimento e co-elaborazione dei dati. MDI usa dispositivi Luminex CGX per elaborare, trasferire e memorizzare nella cache i file mainframe. MDI offre uno scambio sicuro ed efficiente di dati e condivisione dei carichi di lavoro tra mainframe z/OS e sistemi distribuiti. Usando prodotti MDI come la condivisione dei dati cloud, il trasferimento di Big Data e zKonnect, è possibile spostare i file in Azure per il backup, l'archiviazione, la normalizzazione dei dati, l'unione e l'analisi. È possibile configurare i dati trasferiti per l'arrivo in formato ASCII o EBCDIC in Azure. La condivisione dei dati cloud MDI consente di eseguire la migrazione di file mainframe come file VSAM, file sequenziali e GDG in Azure. MDI supporta anche l'integrazione con i servizi di messaggistica di Azure. Le applicazioni ospitate in Azure possono usare i file mainframe archiviati in Azure per la modernizzazione, la latenza ridotta e prestazioni migliorate.

• Luminex MVT è una piattaforma di archiviazione e backup su nastro. MVT usa il software di unità di controllo Luminex CGX che emula le unità nastro mainframe 3490 e 3590, in modo da poter usare applicazioni nastro esistenti senza modifiche. L'ambiente CGX offre una suite di prodotti per la crittografia dei nastri, l'insieme di credenziali, la migrazione, la replica, il recupero, il ripristino di emergenza e la disponibilità elevata. In particolare, il prodotto CloudTAPE consente di eseguire la migrazione dei dati su nastro in Azure.

MDI e MVT usano entrambi dispositivi controller CGX ad alta velocità per connettersi direttamente al mainframe. Questi controller sono basati su FICON, un protocollo di trasporto supportato dai server mainframe e dai controller di archiviazione di classe enterprise collegati. FICON usa Fibre Channel come protocollo di trasporto sottostante. I controller CGX sfruttano anche i sistemi di archiviazione collegati alla rete (NAS) e di archiviazione interna per fornire i livelli elevati di prestazioni, scalabilità, affidabilità, sicurezza e disponibilità richiesti dalle aziende. Con il trasporto FICON, le operazioni di I/O possono essere condivise tra più sistemi. FICON offre un'efficienza ottimale del protocollo. Consente inoltre di garantire l'integrità e la sicurezza dei dati, anche con una maggiore distanza tra i dispositivi server e di archiviazione.

Con MDI e MVT non sono necessari motori speciali zIIP per il trasferimento dei dati e non è necessario aprire porte TCP/IP per abilitare la comunicazione tra i dispositivi mainframe e Luminex. Collegare i dispositivi Luminex CGX direttamente nel mainframe esattamente come qualsiasi altro dispositivo di archiviazione mainframe. Se necessario, il software di gestione di nastri e backup legacy esistente può essere eseguito in parallelo. Per MVT CloudTAPE e MDI Cloud Data Sharing, il consumo di milioni di istruzioni al secondo (MIPS) è minimo perché il trasferimento usa processi leggeri.

Potenziali casi d'uso

Molti scenari possono trarre vantaggio da questa soluzione. Le possibilità includono le organizzazioni con gli obiettivi seguenti:

• Riduzione al minimo delle attività di gestione e manutenzione dei nastri.
• Modernizzazione dei carichi di lavoro legacy.
• Ricerca di soluzioni di backup e archiviazione.
• Estensione della modernizzazione del mainframe spostando i nastri mainframe nel cloud. Le organizzazioni potrebbero avere questo obiettivo se vogliono ridimensionare il data center, ma non abbandonarlo. Se un'organizzazione non usa spesso nastri mainframe, i nastri potrebbero essere un candidato adatto per la migrazione.
• Trasformazione dei dati migrati in un formato diverso per l'archiviazione cloud, ad esempio la conversione di dati EBCDIC in file ASCII, VSAM in json e dati sequenziali in formato CSV.
• Trasferimento dei metadati del nastro ai metadati di archiviazione di Azure.
• Fornire applicazioni nuove e refactoring ospitate in Azure con facile accesso ai dati.
• Espansione del footprint del cloud.
• Monitoraggio, visualizzazione e creazione di report su file mainframe e dati su nastro e integrazione di questi dati con i servizi di Azure.
• Monetizzazione dei dati mainframe aggiornati e cronologici sbloccati e usarli negli strumenti di business intelligence e analisi cloud.

Se si sta implementando una soluzione simile e si vuole condividere esperienze o commenti e suggerimenti, contattare il team di Microsoft Legacy Modernization Azure Core Engineering (ACE).

Considerazioni

Queste considerazioni implementano i pilastri di Azure Well-Architected Framework, che è un set di principi guida che possono essere usati per migliorare la qualità di un carico di lavoro. Per altre informazioni, vedere Microsoft Azure Well-Architected Framework.

Affidabilità

L'affidabilità garantisce che l'applicazione possa soddisfare gli impegni che l'utente ha preso con i clienti. Per altre informazioni, vedere Elenco di controllo per la revisione della progettazione per l'affidabilità.

• È possibile distribuire questa soluzione in più aree ed è possibile implementare la replica geografica nel livello dati. I gruppi di failover automatico di Azure consentono anche di fornire protezione dei dati.
• I controller CGX in cluster possono fornire una soluzione di ripristino attivo-attivo durante un errore.
• MVT Synchronous Tape Matrix offre affidabilità in più data center. L'infrastruttura si adatta agli errori senza interruzioni.
• La replica Luminex può replicare i dati in una o più destinazioni. Una destinazione può essere uno o più siti di ripristino di emergenza in cui è installato un mainframe e un controller CGX nella proprietà . È anche possibile preconfigurare una destinazione tramite la replica geografica di Azure. Se si usa Azure e altri cloud privati o pubblici, è anche possibile usare una strategia ibrida per il ripristino di emergenza. Essenzialmente, è possibile usare la strategia di replica più adatta alle proprie esigenze. Gli esempi includono strategie uno-a-uno, uno-a-molti, molti-a-molti e a catena.

Sicurezza

La sicurezza offre garanzie contro attacchi intenzionali e l'abuso di dati e sistemi preziosi. Per altre informazioni, vedere Elenco di controllo per la revisione della progettazione per Security.

• L'archiviazione completamente gestita in questa soluzione elimina i problemi correlati alla sicurezza dei supporti fisici. Esempi sono danni o accessi non autorizzati che possono verificarsi quando si spediscono nastri fisici nei veicoli.
• Luminex CGSafe fornisce la compressione e la crittografia dei nastri. Questo prodotto fa parte della famiglia MVT ed è incluso in CloudTAPE. CGSafe crittografa e comprime i nastri durante l'inserimento, i dati inattivi e in transito.
• Quando si usa la condivisione dei dati cloud MDI, i file vengono inviati tramite HTTPS tramite SSL. In Azure è possibile crittografare i file inattivi.
• Poiché la soluzione usa la connettività FICON ed ESCON, non è necessario aprire porte per il trasferimento dei dati.

Ottimizzazione costi

L'ottimizzazione dei costi consiste nell'esaminare i modi per ridurre le spese non necessarie e migliorare l'efficienza operativa. Per altre informazioni, vedere Elenco di controllo per la revisione della progettazione per l'ottimizzazione dei costi.

• I prezzi con pagamento in base al consumo e i modelli multilivello in Azure offrono opzioni per soddisfare diverse esigenze di costi e prestazioni. Ad esempio, se si accede ai dati raramente, il livello di accesso sporadico di Azure è un'opzione valida per l'archiviazione a basso costo.
• I prezzi di questa soluzione dipendono dal volume di dati su nastro, dalla posizione del data center e dalla larghezza di banda. Il costo dipende anche dai servizi di Azure usati. Questi fattori determinano l'hardware usato, ad esempio il numero di controller Luminex CGX. I fattori influiscono anche sul software, sul servizio, sulle licenze e sui costi di supporto.
• L'interscambio dati non richiede processori zIIP. Di conseguenza, si risparmiano costi quando si esegue il software.
• Dopo aver creato l'infrastruttura Luminex, è possibile usare l'hardware Luminex per altri scopi. Ad esempio, è possibile usare già MDI Cloud Data Sharing per il trasferimento di file. Se si aumenta l'ambiente con MDI zKonnect per lo streaming, è possibile risparmiare sui costi perché è possibile acquistare software e infrastruttura Luminex aggiuntivi a un prezzo notevolmente ridotto.
• Se è già disponibile un'infrastruttura ExpressRoute, è possibile usarla per questa soluzione.
• L'uso di Azure e Luminex per il backup e il ripristino consente di eliminare alcuni costi associati all'infrastruttura nastro fisica. Ad esempio, i supporti e le spese di spedizione e l'archiviazione fuori sede per l'insieme di credenziali.

Eccellenza operativa

L'eccellenza operativa copre i processi operativi che distribuiscono un'applicazione e lo mantengono in esecuzione nell'ambiente di produzione. Per altre informazioni, vedere Elenco di controllo per la revisione della progettazione per l'eccellenza operativa.

• Il trasferimento dei dati in Azure in questa soluzione offre flessibilità quando si sviluppa una strategia di backup. È possibile abilitare la migrazione automatica, regolare o graduale dei dati. Dopo aver installato un dispositivo Luminex nel data center, è possibile configurare comunicazioni unidirezionali o bidirezionali, migrazione a fasi o migrazione monouso. Questa flessibilità offre supporto per l'implementazione di principi di lavoro DevOps e Agile e per l'adozione immediata del cloud.
• È possibile sfruttare le funzionalità di Azure per il backup, l'archivio e il ripristino di emergenza del mainframe.
• È possibile distribuire pipeline di integrazione continua/recapito continuo (CI/CD) in Azure per gestire le attività di spostamento, trasformazione e controllo dei dati.

Efficienza delle prestazioni

L'efficienza delle prestazioni è la capacità del carico di lavoro di ridimensionarsi per soddisfare le esigenze poste dagli utenti in modo efficiente. Per altre informazioni, vedere Elenco di controllo per l'efficienza delle prestazioni.

• Se si dispone di un volume elevato di dati, è possibile raggruppare controller CGX. In genere, un dispositivo CGX offre una velocità di trasferimento dati fino a 800 megabyte al secondo (MB/s). I controller CGX sono disponibili con un massimo di quattro porte Fibre Channel o 1 Gigabit Ethernet (GbE), 10 GbE o 25 GbE. Questi controller offrono anche fino a quattro porte per la connettività ai sistemi di archiviazione collegati.
• Nei servizi di Azure sono disponibili varie opzioni di prestazioni e livelli. Ad esempio, gli account di archiviazione BLOB in blocchi offrono livelli di prestazioni Standard e Premium. È possibile scegliere il livello più adatto alle proprie esigenze.
• La gestione predefinita del ciclo di vita e dell'accesso in Azure semplifica l'ottimizzazione delle prestazioni di casi d'uso specifici.
• Il software di emulazione nastro in questa soluzione usa il sistema di I/O FICON. Usando questo sistema, è possibile ridurre il tempo di CPU, aumentare la velocità di trasmissione dei dati e ridurre il tempo trascorso.

Collaboratori

Questo articolo viene gestito da Microsoft. Originariamente è stato scritto dai seguenti contributori.

Autori principali:

• Daniel Saunders | Sales Engineer
• Bhuvi Vatsey | Senior Technical Program Manager

Per visualizzare i profili LinkedIn non pubblici, accedere a LinkedIn.

Passaggi successivi

• Per altre informazioni, contattare il team di Microsoft Legacy Modernization Azure Core Engineering (ACE).
• Per informazioni sulle soluzioni di trasferimento dei dati di terze parti, vedere Soluzioni di archiviazione di terze parti.

Risorse correlate

• Modernizzare i dati di mainframe e di fascia media
• Spostare i dati di archivio dai sistemi mainframe ad Azure
• Replicare i dati del mainframe usando Con precisione Connetti
• Replica dei dati di sistemi mainframe e di fascia media in Azure con Qlik
• Replica di dati mainframe e midrange in Azure tramite RDRS
• Eseguire la migrazione di un livello dati mainframe ad Azure usando mLogica LIBER*IRIS
• modernizzazione del mainframe con BMC AMI Cloud