Rocket® Data Replication and Sync (RDRS), dawniej tcVISION, to rozwiązanie replikacji danych opracowane przez oprogramowanie Rocket Software. RdRS udostępnia rozwiązanie integracji komputerów mainframe IBM na potrzeby replikacji danych mainframe, synchronizacji danych, migracji danych i przechwytywania zmian danych (CDC) dla kilku usług platformy danych platformy Azure.
Architektura
Pobierz plik programu Visio z tą architekturą.
Przepływ pracy
Rozwiązanie replikacji danych RDRS obsługuje usługę CDC z wielu baz danych opartych na komputerach mainframe, w tym IBM Db2, IBM Information Management System (IMS), Adabas for Software AG, CA Datacom i Computer Associates Integrated Zarządzanie danymi System (CA IDMS). RdRS udostępnia agentów CDC opartych na dzienniku w celu przechwytywania danych zmian na poziomie rekordu. Ta oparta na dzienniku usługa CDC nakłada niewielkie obciążenie na produkcyjne źródłowe bazy danych.
Usługa RDRS obsługuje usługę CDC z plików metody dostępu do magazynu wirtualnego (VSAM).
Zadanie rozpoczyna się na komputerze mainframe. Uruchomione zadania (STCs) są tworzone na komputerze mainframe w ramach instalacji oprogramowania RDRS. Dwa istotne stCs to:
- Agent przechwytywania, który przechwytuje zmienione dane ze źródła.
- Zastosuj agenta, który używa interfejsów API specyficznych dla systemu zarządzania bazami danych (DBMS), aby efektywnie zapisywać zmienione dane w obiekcie docelowym.
Uwaga
W przypadku bazy danych Db2 z/OS usługa RDRS oferuje również rozwiązanie CDC bez agenta za pomocą typu zdefiniowanego przez użytkownika (UDT) db2, które nie wymaga stCs.
Otwarty menedżer platformy (OPM) działa jako serwer replikacji. Ten serwer zawiera narzędzia do automatycznego mapowania danych w celu generowania metadanych dla źródeł i obiektów docelowych. Zawiera również zestaw reguł wyodrębniania danych ze źródła. Serwer przekształca i przetwarza dane dla systemów docelowych i zapisuje dane w miejscach docelowych. Ten składnik można zainstalować w systemach operacyjnych Linux, Unix i Windows.
Pulpit nawigacyjny rdRS zapewnia administrację, przegląd, operację, kontrolę i monitorowanie procesów wymiany danych. Narzędzia wiersza polecenia RDRS automatyzują procesy wymiany danych i zarządzają nienadzorowanymi operacjami procesu synchronizacji danych.
Agent zastosuj usługi RDRS używa interfejsów API specyficznych dla usługi DBMS. Te interfejsy API efektywnie implementują zmiany danych w czasie rzeczywistym w połączeniu z technologią CDC w źródle docelowych usług danych platformy Azure, co oznacza bazę danych i pliki.
RdRS obsługuje bezpośrednie przesyłanie strumieniowe zmienionych danych do usług Azure Event Hubs lub Kafka. Następnie usługa Azure Logic Apps, funkcja lub rozwiązanie niestandardowe na maszynie wirtualnej przetwarza te zdarzenia.
Cele platformy danych platformy Azure, które są obsługiwane przez usługę RDRS, obejmują usługę Azure SQL Database, usługę Azure Database for PostgreSQL, usługę Azure Database for MySQL, usługę Azure Cosmos DB, usługę Azure Data Lake Storage i inne.
Dane, które lądują na platformie danych platformy Azure, są używane przez usługi platformy Azure lub inne platformy, które mogą je zobaczyć. Przykłady obejmują usługę Power BI, usługę Azure Synapse Analytics lub aplikacje niestandardowe.
RdRS może cofnąć synchronizację zmian przechwytywania z platformy azure bazy danych (takich jak SQL Database, Azure Database for MySQL, Azure Database for PostgreSQL lub Data Lake Storage) i zapisywać je z powrotem w warstwie danych mainframe.
Kopie zapasowe bazy danych mainframe i zwalnianie plików są kopiowane do maszyny wirtualnej platformy Azure przy użyciu usług RDRS na potrzeby przetwarzania zbiorczego.
Ładowanie zbiorcze rdRS wykonuje początkowe docelowe ładowanie bazy danych przy użyciu danych źródłowych mainframe. Dane źródłowe mogą być odczytywane bezpośrednio z magazynu danych mainframe lub z kopii zapasowej lub zwalniania pliku mainframe. Obciążenie zbiorcze zapewnia automatyczne tłumaczenie typów danych mainframe, takich jak rozszerzone pola kodowane cyfrowo-dziesiętne (EBCDIC) z kodami binarnymi. Użyj kopii zapasowej lub zwolnij dane, aby uzyskać najlepszą wydajność zamiast bezpośredniego odczytu bazy danych mainframe. Nie należy odczytywać bazy danych bezpośrednio, ponieważ przenoszenie danych zwalniania lub tworzenia kopii zapasowej do wymaganej maszyny wirtualnej platformy Azure rdRS i używanie natywnych modułów ładujących bazę danych minimalizuje dane wejściowe/wyjściowe sieci (we/wy) i skraca czas ładowania.
Składniki
Rozwiązanie korzysta z następujących składników.
Składniki sieci i tożsamości
- Azure ExpressRoute: usługa ExpressRoute umożliwia rozszerzenie sieci lokalnych do chmury firmy Microsoft za pośrednictwem połączenia prywatnego obsługiwanego przez dostawcę łączności. Za pomocą usługi ExpressRoute można nawiązać połączenia z usługami w chmurze, takimi jak Microsoft Azure i Microsoft 365.
- Azure VPN Gateway: brama sieci VPN to określony typ bramy sieci wirtualnej, która wysyła zaszyfrowany ruch między siecią wirtualną platformy Azure a lokalizacją lokalną za pośrednictwem publicznego Internetu.
- Microsoft Entra ID: Microsoft Entra ID to usługa zarządzania tożsamościami i dostępem, którą można zsynchronizować z katalogiem lokalnym.
Składniki aplikacji
- Logic Apps: usługa Logic Apps ułatwia tworzenie i uruchamianie zautomatyzowanych zadań cyklicznych i procesów zgodnie z harmonogramem. Usługi można wywoływać wewnątrz i poza platformą Azure, na przykład punkty końcowe HTTP lub HTTPS, publikować komunikaty w usługach platformy Azure, takich jak Azure Storage i Azure Service Bus, lub przekazywać pliki do udziału plików.
- Azure Functions: usługa Azure Functions umożliwia uruchamianie małych fragmentów kodu nazywanych funkcjami bez martwienia się o infrastrukturę aplikacji. W przypadku korzystania z usługi Functions infrastruktura chmury udostępnia aktualne serwery, które należy zapewnić działanie aplikacji na dużą skalę.
- Azure Virtual Machines: maszyny wirtualne platformy Azure to skalowalne zasoby obliczeniowe na żądanie. Maszyna wirtualna platformy Azure zapewnia elastyczność wirtualizacji i eliminuje wymagania konserwacyjne sprzętu fizycznego. Maszyny wirtualne platformy Azure działają zarówno w systemach Windows, jak i Linux.
Składniki magazynu
- Magazyn: usługa Storage oferuje niezarządzane rozwiązania magazynu, takie jak Azure Blob Storage, Azure Table Storage, Azure Queue Storage i Azure Files. Usługa Azure Files jest szczególnie przydatna w przypadku ponownie zaprojektowanych rozwiązań mainframe i zapewnia skuteczny dodatek do zarządzanego magazynu SQL.
- Azure SQL: Azure SQL to w pełni zarządzana platforma jako usługa (PaaS) dla programu SQL Server z platformy Azure. Dane relacyjne można migrować i używać wydajnie z innymi składnikami platformy Azure, takimi jak Azure SQL Managed Instance, Azure SQL VMs, Azure Database for PostgreSQL, Azure Database for MariaDB i Azure Database for MySQL.
- Azure Cosmos DB: Usługa Azure Cosmos DB to oferta no-SQL, której można użyć do migrowania danych innych niż tabelaryczne z komputera mainframe.
Składniki monitorowania
- Azure Monitor: Usługa Azure Monitor udostępnia kompleksowe rozwiązanie do zbierania, analizowania i działania na telemetrii ze środowisk chmurowych i lokalnych.
- Application Insights: usługa Application Insights analizuje i prezentuje dane telemetryczne aplikacji.
- Dzienniki usługi Azure Monitor: Dzienniki usługi Azure Monitor to funkcja monitora, która zbiera i organizuje dane dzienników i wydajności z monitorowanych zasobów. Możesz skonsolidować dane z wielu źródeł, takich jak dzienniki platformy z usług platformy Azure, dane dzienników i wydajności agentów maszyn wirtualnych oraz dane użycia i wydajności z aplikacji, do jednego obszaru roboczego, które mają być analizowane razem przy użyciu zaawansowanego języka zapytań, który umożliwia szybkie analizowanie milionów rekordów.
- Log Analytics: Usługa Log Analytics jest narzędziem w witrynie Azure Portal. Zapytania dzienników umożliwiają uzyskiwanie szczegółowych informacji z danych zebranych w dziennikach usługi Azure Monitor. Usługa Log Analytics używa zaawansowanego języka zapytań, dzięki czemu można łączyć dane z wielu tabel, agregować duże zestawy danych i wykonywać złożone operacje przy minimalnym kodzie.
Kwestie wymagające rozważenia
Te zagadnienia implementują filary struktury Azure Well-Architected Framework, która jest zestawem wytycznych, które mogą służyć do poprawy jakości obciążenia. Aby uzyskać więcej informacji, zobacz Microsoft Azure Well-Architected Framework.
Optymalizacja kosztów
Optymalizacja kosztów dotyczy sposobów zmniejszenia niepotrzebnych wydatków i poprawy wydajności operacyjnej. Aby uzyskać więcej informacji, zobacz Omówienie filaru optymalizacji kosztów. Skorzystaj z kalkulatora cen platformy Azure, aby oszacować koszt wdrożenia tego rozwiązania.
Niezawodność
Niezawodność zapewnia, że aplikacja może spełnić zobowiązania podjęte przez klientów. Aby uzyskać więcej informacji, zobacz Lista kontrolna przeglądu projektu dotycząca niezawodności.
- Konfigurowanie funkcji OPM RDRS na maszynach wirtualnych platformy Azure wdrożonych w oddzielnych strefach dostępności w celu zapewnienia wysokiej dostępności. W przypadku awarii pomocniczy obiekt OPM RDRS jest aktywowany, a pomocniczy obiekt OPM RDRS komunikuje swój adres IP do Menedżera mainframe RDRS. Następnie komputer mainframe komunikuje się z nowym RDRS OPM, który nadal przetwarza w następnym logicznym punkcie ponownego uruchamiania przy użyciu kombinacji jednostki logicznej pracy (LUW) i ponownego uruchamiania plików.
- Zaprojektuj usługi bazy danych platformy Azure, aby obsługiwały nadmiarowość stref, aby mogły przejść w tryb failover do węzła pomocniczego, jeśli wystąpi awaria lub planowane okno obsługi.
- Użyj dzienników usługi Azure Monitor i usługi Application Insights, aby monitorować kondycję zasobu platformy Azure. Alerty można ustawić na potrzeby proaktywnego zarządzania.
Skalowalność
- Skonfiguruj skalowanie rdRS na potrzeby przetwarzania CDC, uruchamiając wiele strumieni replikacji równoległej. Najpierw przeanalizuj pliki zawarte w transakcjach logicznych. Te pliki muszą być przetwarzane razem w sekwencji. Proces CDC rdRS zapewnia integralność każdej transakcji logicznej. Na przykład zestawy tabel, które nie uczestniczą w typowych transakcjach, mogą być podzielone na zadania równoległe przez utworzenie wielu skryptów przetwarzania.
- RdRS może uruchamiać równoległe współbieżne przetwarzanie obciążenia zbiorczego jednocześnie na jednej maszynie wirtualnej platformy Azure lub na wielu maszynach wirtualnych platformy Azure, co zapewnia skalowalność poziomą. Wykonywanie szybkich operacji ładowania zbiorczego dla dużych tabel przez podzielenie procesu na wiele zadań przy użyciu dowolnych interwałów lub filtrowania wierszy. Filtrowanie wierszy może używać klucza, klucza partycji, daty i innych filtrów.
- Warstwa obliczeniowa bezserwerowa usługi SQL Database zapewnia opcję automatycznego skalowania na podstawie obciążenia. Inne bazy danych platformy Azure można skalować w górę i skalować w dół przy użyciu automatyzacji w celu spełnienia wymagań dotyczących obciążeń.
- Aby uzyskać więcej informacji, zobacz Autoskalowanie najlepszych rozwiązań na platformie Azure.
Zabezpieczenia
Zabezpieczenia zapewniają ochronę przed celowymi atakami i nadużyciami cennych danych i systemów. Aby uzyskać więcej informacji, zobacz Lista kontrolna przeglądu projektu dotycząca zabezpieczeń.
- Kontrolowanie uwierzytelniania i dostępu do usług RDRS przy użyciu identyfikatora Entra firmy Microsoft.
- Szyfrowanie transferów danych między produktami RDRS (mainframe na platformę Azure) przy użyciu protokołu Transport Layer Security (TLS).
- Użyj usługi ExpressRoute lub sieci VPN typu lokacja-lokacja, aby uzyskać prywatne i wydajne połączenie z platformą Azure ze środowiska lokalnego.
- Uwierzytelnianie zasobów platformy Azure przy użyciu identyfikatora Entra firmy Microsoft i zarządzanie uprawnieniami za pomocą kontroli dostępu opartej na rolach (RBAC).
- Usługi baz danych na platformie Azure umożliwiają obsługę różnych opcji zabezpieczeń, takich jak szyfrowanie danych magazynowanych (TDE), szyfrowanie danych podczas przesyłania (TLS) i szyfrowanie danych podczas przetwarzania, dzięki czemu dane są zawsze szyfrowane.
- Aby uzyskać wskazówki dotyczące projektowania bezpiecznych rozwiązań, zobacz dokumentację zabezpieczeń platformy Azure.
- Aby dowiedzieć się, jak poznać punkt odniesienia zabezpieczeń, zobacz Punkty odniesienia zabezpieczeń dla platformy Azure.
Szczegóły scenariusza
Komputery Mainframe to serwery, które przetwarzają dużą liczbę transakcji. Aplikacje mainframe tworzą i zużywają duże ilości danych każdego dnia. Chmury publiczne zapewniają elastyczność, optymalizację kosztów, łatwość użycia i łatwą integrację. Wiele aplikacji x86 i mainframe jest przenoszonych do chmury, więc organizacje muszą mieć dobrze zaprojektowaną strategię integracji danych z chmury i komputerów mainframe.
Ten scenariusz integruje warstwę danych IBM Z (mainframe) z platformą danych w chmurze platformy Azure przy użyciu usług RDRS dostarczanych przez oprogramowanie Rocket Software.
Potencjalne przypadki użycia
To rozwiązanie jest idealne w przypadku migracji danych na dużą skalę do platformy danych Platformy Azure. Rozważmy ten scenariusz w następujących przypadkach użycia:
- Pełna migracja warstwy danych mainframe: w tym przypadku użycia klient chce przenieść wszystkie swoje bazy danych Db2, IMS, IDMS, pliki i inne dane z komputera mainframe na platformę danych platformy Azure.
- Współistnienie aplikacji mainframe i aplikacji opartych na platformie Azure: w tym przypadku użycia klient wymaga obsługi synchronizacji dwukierunkowej między elementem mainframe a platformą danych Platformy Azure.
- Archiwizacja: w tym przypadku użycia klient chce przechowywać dane na potrzeby inspekcji i zgodności, ale nie chce często uzyskiwać dostępu do tych danych. Magazyn udostępnia tanie rozwiązanie do przechowywania danych archiwalnych.
Współautorzy
Ten artykuł jest obsługiwany przez firmę Microsoft. Pierwotnie został napisany przez następujących współautorów.
Autorzy zabezpieczeń:
- Sandip Khandelwal | Starszy architekt inżynierów
Inni współautorzy:
- Liz Casey | Starszy deweloper zawartości
Aby wyświetlić niepubalne profile serwisu LinkedIn, zaloguj się do serwisu LinkedIn.
Następne kroki
- Szkolenie: Tworzenie architektury platformy danych na platformie Azure
- Skontaktuj się z zespołem ds. inżynierowie danych platformy Azure.
- Przewodniki po migracji bazy danych platformy Azure
- Szkolenie: projektowanie strategii migracji programu SQL Server
- Przewodnik migracji: program SQL Server do usługi Azure SQL Database