Rocket® Data Replicate and Sync (RDRS), in precedenza tcVISION, è una soluzione di replica dei dati sviluppata da Rocket Software. RDRS offre una soluzione di integrazione mainframe IBM per la replica dei dati mainframe, la sincronizzazione dei dati, la migrazione dei dati e change data capture (CDC) per diversi servizi della piattaforma dati di Azure.
Architettura
Scaricare un file di Visio di questa architettura.
Workflow
La soluzione di replica dei dati RDRS supporta CDC da molti database basati su mainframe, tra cui IBM Db2, IBM Information Management System (IMS) DB, Adabas for Software AG, CA Datacom e Computer Associates Integrated Gestione dati System (CA IDMS). RDRS fornisce agenti CDC basati su log per acquisire i dati delle modifiche a livello di record. Questo CDC basato su log comporta un sovraccarico trascurabile nei database di origine di produzione.
RDRS supporta CDC dai file VSAM (Virtual Storage Access Method).
Un'attività viene avviata nel mainframe. Le attività avviate o i controller di sicurezza vengono creati nel mainframe come parte dell'installazione del software RDRS. Due controller di sicurezza vitali sono:
- Agente di acquisizione, che acquisisce i dati modificati dall'origine.
- Applicare l'agente, che usa le API specifiche del sistema di gestione dei database (DBMS) per scrivere in modo efficiente i dati modificati nella destinazione.
Nota
Per Db2 z/OS, RDRS offre anche una soluzione CDC senza agente tramite un tipo definito dall'utente Db2 che non necessita di controller di sicurezza.
OPM (Open Platform Manager) funge da server di replica. Questo server contiene utilità per il mapping automatico dei dati per generare metadati per origini e destinazioni. Contiene anche il set di regole per estrarre i dati dall'origine. Il server trasforma ed elabora i dati per i sistemi di destinazione e scrive i dati nelle destinazioni. È possibile installare questo componente nei sistemi operativi Linux, Unix e Windows.
Il dashboard rdrs fornisce amministrazione, revisione, operazione, controllo e monitoraggio dei processi di scambio di dati. Le utilità della riga di comando RDRS automatizzano i processi di scambio dei dati e gestiscono le operazioni automatiche del processo di sincronizzazione dei dati.
L'agente di applicazione rdrs usa API specifiche di DBMS. Queste API implementano in modo efficiente modifiche ai dati in tempo reale in combinazione con la tecnologia CDC all'origine per i servizi dati di Azure di destinazione, ovvero il database e i file.
RDRS supporta lo streaming diretto dei dati modificati in Hub eventi di Azure o Kafka. Quindi App per la logica di Azure, una funzione o una soluzione personalizzata nella macchina virtuale elabora questi eventi.
Le destinazioni della piattaforma dati di Azure supportate da RDRS includono database SQL di Azure, Database di Azure per PostgreSQL, Database di Azure per MySQL, Azure Cosmos DB, Azure Data Lake Storage e altri.
I dati inseriti nella piattaforma dati di Azure vengono usati dai servizi di Azure o da altre piattaforme autorizzate a visualizzarli. Gli esempi includono Power BI, Azure Synapse Analytics o applicazioni personalizzate.
RdRS può sincronizzare in modo inverso le modifiche da una piattaforma di database di Azure (ad esempio database SQL, Database di Azure per MySQL, Database di Azure per PostgreSQL o Data Lake Storage) e scriverle nuovamente nel livello di dati mainframe.
Il backup e lo scaricamento dei file del database mainframe vengono copiati in una macchina virtuale di Azure usando RDRS per l'elaborazione del caricamento bulk.
Il caricamento bulk rdrs esegue un caricamento iniziale del database di destinazione usando i dati di origine mainframe. I dati di origine possono essere letti direttamente dall'archivio dati mainframe o da un backup mainframe o scaricare un file. Il caricamento bulk fornisce una conversione automatica dei tipi di dati mainframe, ad esempio i campi EBCDIC (Binary Coded Decimal Interchange Code) estesi. Usare il backup o scaricare i dati per ottenere prestazioni ottimali anziché una lettura diretta del database mainframe. Non è consigliabile leggere il database direttamente perché lo spostamento di dati di scaricamento o backup nella macchina virtuale di Azure RDRS necessaria e l'uso di caricatori di database nativi riduce al minimo l'input/output di rete (I/O) e riduce il tempo di caricamento.
Componenti
La soluzione usa i componenti seguenti.
Componenti di rete e identità
- Azure ExpressRoute: ExpressRoute consente di estendere le reti locali in Microsoft Cloud tramite una connessione privata gestita da un provider di connettività. È possibile usare ExpressRoute per stabilire connessioni ai servizi cloud, ad esempio Microsoft Azure e Microsoft 365.
- Azure Gateway VPN: un gateway VPN è un tipo specifico di gateway di rete virtuale che invia traffico crittografato tra una rete virtuale di Azure e una posizione locale tramite la rete Internet pubblica.
- Microsoft Entra ID: Microsoft Entra ID è un servizio di gestione delle identità e degli accessi che è possibile sincronizzare con una directory locale.
Componenti dell'applicazione
- App per la logica: App per la logica consente di creare ed eseguire attività e processi ricorrenti automatizzati in base a una pianificazione. È possibile chiamare i servizi all'interno e all'esterno di Azure, ad esempio endpoint HTTP o HTTPS, inviare messaggi a servizi di Azure come Archiviazione di Azure e bus di servizio di Azure o caricare file in una condivisione file.
- Funzioni di Azure: Funzioni di Azure consente di eseguire piccole parti di codice, chiamate funzioni, senza preoccuparsi dell'infrastruttura dell'applicazione. Quando si usano Funzioni, l'infrastruttura cloud fornisce i server aggiornati necessari per mantenere l'applicazione su larga scala.
- Azure Macchine virtuali: le macchine virtuali di Azure sono risorse di calcolo su richiesta e scalabili. Una macchina virtuale di Azure offre la flessibilità della virtualizzazione ed elimina le richieste di manutenzione dell'hardware fisico. Le macchine virtuali di Azure funzionano in sistemi Windows e Linux.
Componenti di archiviazione
- Archiviazione: l'archiviazione offre soluzioni di archiviazione non gestite come Archiviazione BLOB di Azure, Archiviazione tabelle di Azure, Archiviazione code di Azure e File di Azure. File di Azure è particolarmente utile per le soluzioni mainframe ricreate e offre un componente aggiuntivo efficace con l'archiviazione SQL gestita.
- AZURE SQL: SQL di Azure è una piattaforma distribuita come servizio (PaaS) completamente gestita per SQL Server da Azure. I dati relazionali possono essere migrati e usati in modo efficiente con altri componenti di Azure, ad esempio Istanza gestita di SQL di Azure, macchine virtuali SQL di Azure, Database di Azure per PostgreSQL, Database di Azure per MariaDB e Database di Azure per MySQL.
- Azure Cosmos DB: Azure Cosmos DB è un'offerta no-SQL che è possibile usare per eseguire la migrazione di dati non tabulari all'esterno del mainframe.
Componenti di monitoraggio
- Monitoraggio di Azure: offre una soluzione completa per la raccolta, l'analisi e l'esecuzione di operazioni sui dati di telemetria dal cloud e dagli ambienti locali.
- Application Insights: Application Insights analizza e presenta i dati di telemetria dell'applicazione.
- Log di Monitoraggio di Azure: i log di Monitoraggio di Azure sono una funzionalità di Monitoraggio che raccoglie e organizza i dati di log e prestazioni dalle risorse monitorate. È possibile consolidare i dati da più origini, ad esempio i log della piattaforma dai servizi di Azure, i dati di log e prestazioni degli agenti di macchine virtuali e i dati sull'utilizzo e sulle prestazioni delle applicazioni, in un'unica area di lavoro da analizzare insieme usando un linguaggio di query sofisticato in grado di analizzare rapidamente milioni di record.
- Log Analytics: Log Analytics è uno strumento nella portale di Azure. È possibile usare le query di log per ottenere informazioni dettagliate dai dati raccolti nei log di Monitoraggio di Azure. Log Analytics usa un linguaggio di query avanzato per poter unire dati da più tabelle, aggregare set di dati di grandi dimensioni ed eseguire operazioni complesse con codice minimo.
Considerazioni
Queste considerazioni implementano i pilastri di Azure Well-Architected Framework, che è un set di principi guida che possono essere usati per migliorare la qualità di un carico di lavoro. Per altre informazioni, vedere Microsoft Azure Well-Architected Framework.
Ottimizzazione dei costi
L'ottimizzazione dei costi riguarda l'analisi dei modi per ridurre le spese non necessarie e migliorare l'efficienza operativa. Per altre informazioni, vedere Panoramica del pilastro di ottimizzazione dei costi. Per stimare il costo di implementazione di questa soluzione, usare il calcolatore dei prezzi di Azure.
Affidabilità
L'affidabilità garantisce che l'applicazione possa soddisfare gli impegni che l'utente ha preso con i clienti. Per maggiori informazioni, consultare la sezione Elenco di controllo per la revisione della progettazione per l'affidabilità.
- Configurare OPM RDRS in macchine virtuali di Azure distribuite in zone di disponibilità separate per garantire la disponibilità elevata. In caso di errori, viene attivato un OPM di RDRS secondario e l'OPM di RDRS secondario comunica il proprio indirizzo IP a Gestione mainframe RDRS. Il mainframe comunica quindi con il nuovo OPM rdrs che continua a elaborare al successivo punto di riavvio logico usando una combinazione di unità logica di lavoro (LUW) e riavvia i file.
- Progettare i servizi di database di Azure per supportare la ridondanza della zona in modo che possano eseguire il failover in un nodo secondario in caso di interruzione o di una finestra di manutenzione pianificata.
- Usare i log di Monitoraggio di Azure e Application Insights per monitorare l'integrità di una risorsa di Azure. È possibile impostare avvisi per la gestione proattiva.
Scalabilità
- Configurare il ridimensionamento RDRS per l'elaborazione CDC eseguendo più flussi di replica parallela. Analizzare prima di tutto i file inclusi nelle transazioni logiche. Questi file devono essere elaborati insieme in sequenza. Il processo CDC rdrs garantisce l'integrità di ogni transazione logica. Ad esempio, i set di tabelle che non partecipano alle transazioni comuni possono essere suddivisi in attività parallele creando più script di elaborazione.
- RdRS può eseguire simultaneamente l'elaborazione simultanea del caricamento bulk in una singola macchina virtuale di Azure o in più macchine virtuali di Azure, che offre scalabilità orizzontale. Eseguire operazioni di caricamento bulk rapido per tabelle di grandi dimensioni suddividendo il processo in più attività, usando intervalli arbitrari o filtri di riga. Il filtro delle righe può usare una chiave, una chiave di partizione, una data e altri filtri.
- Il livello di calcolo serverless database SQL offre un'opzione di ridimensionamento automatico basata sul carico di lavoro. È possibile aumentare e ridurre le prestazioni di altri database di Azure usando l'automazione per soddisfare le esigenze del carico di lavoro.
- Per altre informazioni, vedere Procedure consigliate per la scalabilità automatica in Azure.
Sicurezza
La sicurezza offre garanzie contro attacchi intenzionali e l'abuso di dati e sistemi preziosi. Per maggiori informazioni, consultare la sezione Elenco di controllo per la revisione della progettazione per la sicurezza.
- Controllare l'autenticazione e l'accesso per RDRS usando Microsoft Entra ID.
- Crittografare i trasferimenti di dati tra prodotti RDRS (mainframe in Azure) usando Transport Layer Security (TLS).
- Usare ExpressRoute o una VPN da sito a sito per una connessione privata ed efficiente ad Azure da un ambiente locale.
- Autenticare le risorse di Azure usando Microsoft Entra ID e gestire le autorizzazioni con il controllo degli accessi in base al ruolo.
- Usare i servizi di database in Azure per supportare varie opzioni di sicurezza, ad esempio la crittografia dei dati inattivi (TDE), la crittografia dei dati in transito (TLS) e la crittografia dei dati durante l'elaborazione, in modo che i dati vengano sempre crittografati.
- Per linee guida su come progettare soluzioni sicure, vedere la documentazione sulla sicurezza di Azure.
- Per informazioni sulla baseline di sicurezza, vedere Baseline di sicurezza per Azure.
Dettagli dello scenario
I mainframe sono server che elaborano un numero elevato di transazioni. Le applicazioni mainframe producono e utilizzano grandi quantità di dati ogni giorno. I cloud pubblici offrono elasticità, ottimizzazione dei costi, facilità d'uso e facile integrazione. Molte applicazioni x86 e mainframe passano al cloud, quindi le organizzazioni devono avere una strategia di integrazione e migrazione dei dati da mainframe a cloud ben progettata.
Questo scenario integra un livello dati IBM Z (mainframe) con la piattaforma dati cloud di Azure usando RDRS fornito da Rocket Software.
Potenziali casi d'uso
Questa soluzione è ideale per le migrazioni di dati su larga scala alla piattaforma dati di Azure. Prendere in considerazione questo scenario per i casi d'uso seguenti:
- Migrazione completa di un livello dati mainframe: in questo caso d'uso, un cliente vuole spostare tutti i dati Db2, IMS, IDMS, file e altri dati da un mainframe alla piattaforma dati di Azure.
- Coesistenza di applicazioni basate su mainframe e Azure: in questo caso d'uso, un cliente richiede il supporto per una sincronizzazione bidirezionale tra un mainframe e la piattaforma dati di Azure.
- Archiviazione: in questo caso d'uso, un cliente vuole archiviare i dati per scopi di controllo e conformità, ma non vuole accedere frequentemente a questi dati. L'archiviazione offre una soluzione a basso costo per archiviare i dati di archiviazione.
Collaboratori
Questo articolo viene gestito da Microsoft. Originariamente è stato scritto dai seguenti contributori.
Autori principali:
- Sandip Kndelwal | Senior Engineering Architect
Altri contributori:
- Liz Casey | Sviluppatore di contenuti senior
Per visualizzare i profili LinkedIn non pubblici, accedere a LinkedIn.
Passaggi successivi
- Training: Progettare una piattaforma dati in Azure
- Contattare il team di Azure Ingegneria dei dati.
- Guide alla migrazione del database di Azure
- Training: Progettare una strategia di migrazione di SQL Server
- Guida alla migrazione: SQL Server al database SQL di Azure