Apache®, Spark i logo płomienia są zastrzeżonymi znakami towarowymi lub znakami towarowymi fundacji Apache Software Foundation w Stany Zjednoczone i/lub innych krajach. Użycie tych znaków nie jest dorozumiane przez fundację Apache Software Foundation.
W tym artykule opisano kompleksowe plany modernizacji dla źródeł danych mainframe i midrange.
Architektura
Pobierz plik programu Visio z tą architekturą.
Przepływ danych
Poniższy przepływ danych przedstawia proces modernizacji warstwy danych mainframe. Odpowiada on powyższemu diagramowi.
Systemy Mainframe i midrange przechowują dane w źródłach danych, takich jak systemy plików (VSAM, plik prosty, LTFS), relacyjne bazy danych (Db2 for z/OS, Db2 for IBM i Db2 for Linux UNIX i Windows) lub nierelacyjne bazy danych (IMS, ADABAS, IDMS).
Proces konwersji obiektów wyodrębnia definicje obiektów z obiektów źródłowych. Definicje są następnie konwertowane na odpowiednie obiekty w docelowym magazynie danych.
- Asystent migracji do programu SQL Server (SSMA) dla bazy danych Db2 migruje schematy i dane z baz danych IBM Db2 do baz danych platformy Azure.
- Zarządzana Dostawca danych dla plików hosta konwertuje obiekty przez:
- Analizowanie układów rekordów COBOL i RPG lub podręczników.
- Mapowanie elementów copybook na obiekty języka C# używane przez aplikacje platformy .NET.
- Użyj niestandardowego narzędzia do konwertowania obiektów bazy danych z bazy danych Db2 na usługę Azure Database for PostgreSQL. Pamiętaj, że może być konieczne zażądanie dostępu do tego narzędzia.
- Narzędzia innych firm wykonują automatyczną konwersję obiektów na nierelacyjnych bazach danych, systemach plików i innych magazynach danych.
Dane są pozyskiwane i przekształcane. Systemy Mainframe i midrange przechowują dane systemu plików w formacie zakodowanym w formacie EBCDIC w formatach plików, takich jak:
- Indeksowane pliki VSAM
- Nieindeksowane pliki GDG
- Pliki proste
CoBOL, PL/I i elementy copybook języka zestawów definiują strukturę danych tych plików.
a. Ftp przesyła zestawy danych systemu plików mainframe i midrange z pojedynczymi układami i rozpakowanym polami w formacie binarnym i odpowiadającym im elementem copybook na platformę Azure.
b. Dane są konwertowane. Łącznik niestandardowy usługi Azure Data Factory jest rozwiązaniem opracowanym przy użyciu składnika klienta pliku hosta serwera integracji hosta w celu konwertowania zestawów danych mainframe.
Host Integration Server integruje istniejące systemy hostów IBM, programy, komunikaty i dane z aplikacjami platformy Azure. Host Integration Server to składnik klienta plików hosta, którego można użyć do opracowania niestandardowego rozwiązania do konwersji zestawu danych.
Łącznik niestandardowy usługi Azure Data Factory jest oparty na platformie Spark typu open source i działa w usłudze Azure Synapse Analytics. Podobnie jak w przypadku innych rozwiązań, może analizować element copybook i konwertować dane. Zarządzanie usługą konwersji danych przy użyciu łącznika Zawartości pliku hosta analiz usługi Azure Logic Apps .
c. Migrowane są dane relacyjnej bazy danych.
Systemy mainframe i midrange firmy IBM przechowują dane w relacyjnych bazach danych, takich jak:
Te usługi migrują dane bazy danych:
- Usługa Data Factory używa łącznika Db2 do wyodrębniania i integrowania danych z baz danych.
- Usługi SQL Server Integration Services obsługują różne zadania ETL danych.
d. Migrowane są nierelacyjne dane bazy danych.
Systemy mainframe i midrange firmy IBM przechowują dane w nierelacyjnych bazach danych, takich jak:
- IDMS, system zarządzania bazami danych modelu sieciowego (DBMS)
- IMS , hierarchiczny model DBMS
- Adabas
- Datacom
Produkty innych firm integrują dane z tych baz danych.
Usługi platformy Azure, takie jak Data Factory i AzCopy , ładują dane do baz danych platformy Azure i usługi Azure Data Storage. Do ładowania danych można również użyć rozwiązań innych firm i niestandardowych rozwiązań do ładowania.
Platforma Azure oferuje wiele rozwiązań do magazynowania danych zarządzanych:
Usługi platformy Azure używają zmodernizowanej warstwy danych do przetwarzania, analizy, magazynu i sieci.
Aplikacje klienckie używają również zmodernizowanej warstwy danych.
Składniki
Magazyn danych
- Usługa SQL Database jest częścią rodziny usługi Azure SQL. Jest ona tworzona dla chmury i zapewnia wszystkie korzyści z w pełni zarządzanej i zawszegreen platformy jako usługi. Usługa SQL Database udostępnia również zautomatyzowane funkcje oparte na sztucznej inteligencji, które optymalizują wydajność i trwałość. Opcje magazynu bezserwerowego i magazynu w warstwie Hiperskala są automatycznie skalowane na żądanie.
- Azure Database for PostgreSQL to w pełni zarządzana usługa relacyjnej bazy danych oparta na wersji community aparatu bazy danych PostgreSQL typu open source.
- Azure Cosmos DB to globalnie rozproszona wielomodelowa baza danych NoSQL .
- Azure Database for MySQL to w pełni zarządzana usługa relacyjnej bazy danych oparta na wersji community aparatu bazy danych MySQL typu open source.
- SQL Managed Instance to inteligentna, skalowalna usługa bazy danych w chmurze, która oferuje wszystkie zalety w pełni zarządzanej i zawszegreen platformy jako usługi. Wystąpienie zarządzane SQL ma niemal 100% zgodność z najnowszym aparatem bazy danych programu SQL Server Enterprise. Zapewnia również natywną implementację sieci wirtualnej, która rozwiązuje typowe problemy z zabezpieczeniami.
- Azure Data Lake Storage to repozytorium magazynu, które przechowuje duże ilości danych w natywnym, nieprzetworzonym formacie. Magazyny data lake są zoptymalizowane pod kątem skalowania do terabajtów i petabajtów danych. Dane zazwyczaj pochodzą z wielu heterogenicznych źródeł. Może być ustrukturyzowana, częściowo ustrukturyzowana lub nieustrukturyzowana.
Compute
- Usługa Data Factory integruje dane w różnych środowiskach sieciowych przy użyciu środowiska Integration Runtime (IR), które jest infrastrukturą obliczeniową. Usługa Data Factory kopiuje dane między magazynami danych w chmurze i magazynami danych w sieciach lokalnych przy użyciu własnych adresów IP.
- Usługa Azure Virtual Machines udostępnia skalowalne zasoby obliczeniowe na żądanie. Maszyna wirtualna platformy Azure zapewnia elastyczność wirtualizacji, ale eliminuje wymagania konserwacyjne sprzętu fizycznego. Maszyny wirtualne platformy Azure oferują wybór systemów operacyjnych, w tym systemów Windows i Linux.
Integratorzy danych
- Azure Data Factory to hybrydowa usługa integracji danych. W tym rozwiązaniu łącznik niestandardowy usługi Azure Data Factory używa składnika klienta plików hosta serwera integracji hostów do konwertowania zestawów danych mainframe. W przypadku minimalnej konfiguracji można użyć łącznika niestandardowego do konwertowania zestawu danych mainframe tak samo, jak w przypadku dowolnego innego łącznika usługi Azure Data Factory.
- AzCopy to narzędzie wiersza polecenia, które przenosi obiekty blob lub pliki do i z kont magazynu.
- SQL Server Integration Services to platforma do tworzenia rozwiązań do integracji i przekształcania danych na poziomie przedsiębiorstwa. Można go użyć do rozwiązywania złożonych problemów biznesowych, wykonując następujące czynności:
- Kopiowanie lub pobieranie plików.
- Ładowanie magazynów danych.
- Czyszczenie i wyszukiwania danych.
- Zarządzanie obiektami i danymi programu SQL Server.
- Technologie i narzędzia serwera integracji hostów umożliwiają integrację istniejących systemów hostów, programów, komunikatów i danych firmy IBM z aplikacjami platformy Azure. Składnik klienta plik hosta zapewnia elastyczność danych przekonwertowanych z EBCDIC na ASCII. Na przykład możesz wygenerować kod JSON/XML na podstawie przekonwertowanych danych.
- Usługa Azure Synapse łączy integrację danych, magazynowanie danych przedsiębiorstwa i analizę danych big data. Rozwiązanie konwersji usługi Azure Synapse używane w tej architekturze jest oparte na platformie Apache Spark i jest dobrym kandydatem do konwersji dużych obciążeń komputerów mainframe-dataset. Obsługuje szeroką gamę struktur danych i obiektów docelowych mainframe i wymaga minimalnego nakładu pracy programistycznej.
Inne narzędzia
- Asystent migracji do programu SQL Server dla bazy danych Db2 automatyzuje migrację z bazy danych Db2 do usług baz danych firmy Microsoft. Po uruchomieniu na maszynie wirtualnej to narzędzie konwertuje obiekty bazy danych Db2 na obiekty bazy danych programu SQL Server i tworzy te obiekty w programie SQL Server.
- Dostawca danych dla plików hosta jest składnikiem serwera integracji hosta, który używa połączeń offline, SNA lub TCP/IP.
- W przypadku połączeń w trybie offline Dostawca danych odczytuje i zapisuje rekordy w lokalnym pliku binarnym.
- W przypadku połączeń SNA i TCP/IP Dostawca danych odczytuje i zapisuje rekordy przechowywane w zdalnych plikach z/OS (IBM Z Series Mainframe) lub zdalnych plikach fizycznych i5/OS (IBM AS/400 i iSeries). Tylko systemy i5/OS używają protokołu TCP/IP.
- Usługi platformy Azure udostępniają środowiska, narzędzia i procesy do tworzenia i skalowania nowych aplikacji w chmurze publicznej.
Szczegóły scenariusza
Nowoczesne rozwiązania magazynu danych, takie jak platforma danych platformy Azure, zapewniają lepszą skalowalność i wydajność niż systemy mainframe i średnie. Modernizując systemy, możesz skorzystać z tych korzyści. Jednak aktualizowanie technologii, infrastruktury i praktyk jest złożone. Proces obejmuje wyczerpujące badanie działań biznesowych i inżynieryjnych. Zarządzanie danymi jest jednym z zagadnień podczas modernizacji systemów. Należy również przyjrzeć się wizualizacji danych i integracji.
Pomyślne modernizacje korzystają ze strategii opartej na danych. W przypadku korzystania z tego podejścia skupisz się na danych, a nie na nowym systemie. Zarządzanie danymi nie jest już tylko elementem listy kontrolnej modernizacji. Zamiast tego dane są centralnym elementem. Skoordynowane, zorientowane na jakość rozwiązania danych zastępują pofragmentowane, słabo zarządzane.
To rozwiązanie korzysta ze składników platformy danych platformy Azure w podejściu bazującym na danych. W szczególności rozwiązanie obejmuje:
- Konwersja obiektu. Konwertowanie definicji obiektów ze źródłowego magazynu danych na odpowiednie obiekty w docelowym magazynie danych.
- Pozyskiwanie danych. Nawiązywanie połączenia ze źródłowym magazynem danych i wyodrębnianie danych.
- Przekształcanie danych. Przekształcanie wyodrębnionych danych w odpowiednie struktury docelowego magazynu danych.
- Magazyn danych. Ładowanie danych ze źródłowego magazynu danych do docelowego magazynu danych, zarówno początkowo, jak i stale.
Potencjalne przypadki użycia
Organizacje korzystające z systemów mainframe i midrange mogą korzystać z tego rozwiązania, zwłaszcza gdy chcą osiągnąć następujące cele:
- Modernizowanie obciążeń o krytycznym znaczeniu.
- Uzyskaj analizę biznesową, aby poprawić operacje i uzyskać przewagę konkurencyjną.
- Usuń wysokie koszty i sztywność, które są skojarzone z magazynami danych mainframe i midrange.
Kwestie wymagające rozważenia
Te zagadnienia implementują filary platformy Azure Well-Architected Framework— zestaw wytycznych, których można użyć do poprawy jakości obciążenia. Aby uzyskać więcej informacji, zobacz Microsoft Azure Well-Architected Framework. W przypadku używania Dostawca danych dla klienta plików hosta do konwertowania danych włącz buforowanie połączeń, aby skrócić czas uruchamiania połączenia. Gdy używasz usługi Data Factory do wyodrębniania danych, dostosuj wydajność działania kopiowania.
Zabezpieczenia
Zabezpieczenia zapewniają ochronę przed celowymi atakami i nadużyciami cennych danych i systemów. Aby uzyskać więcej informacji, zobacz Omówienie filaru zabezpieczeń.
- Należy pamiętać o różnicach między tożsamościami klientów lokalnych i tożsamościami klientów na platformie Azure. Musisz zrekompensować wszelkie różnice.
- Użyj tożsamości zarządzanych dla przepływów danych składnik-składnik.
- Jeśli używasz Dostawca danych dla plików hosta do konwertowania danych, postępuj zgodnie z zaleceniami w Dostawca danych dotyczące zabezpieczeń i ochrony plików hosta.
Optymalizacja kosztów
Optymalizacja kosztów polega na zmniejszeniu niepotrzebnych wydatków i poprawie wydajności operacyjnej. Aby uzyskać więcej informacji, zobacz Omówienie filaru optymalizacji kosztów.
- Asystent migracji do programu SQL Server to bezpłatne, obsługiwane narzędzie, które upraszcza migrację bazy danych z bazy danych z bazy danych Db2 do programu SQL Server, usługi SQL Database i wystąpienia zarządzanego SQL. Asystent migracji do programu SQL Server automatyzuje wszystkie aspekty migracji, w tym analizę oceny migracji, konwersję schematu i instrukcji SQL oraz migrację danych.
- Rozwiązanie oparte na platformie Azure Synapse Spark jest tworzone na podstawie bibliotek typu open source. Eliminuje to obciążenie finansowe narzędzi konwersji licencjonowania.
- Skorzystaj z kalkulatora cen platformy Azure, aby oszacować koszt wdrożenia tego rozwiązania.
Efektywność wydajności
Wydajność to możliwość skalowania obciążenia w celu spełnienia wymagań, które są na nim nakładane przez użytkowników w wydajny sposób. Aby uzyskać więcej informacji, zobacz omówienie filaru Wydajności.
- Kluczowymi filarami wydajności są zarządzanie wydajnością, planowanie pojemności, skalowalność i wybór odpowiedniego wzorca wydajności.
- Własne środowisko IR można skalować w poziomie, kojarząc wystąpienie logiczne z wieloma maszynami lokalnymi w trybie aktywny-aktywny.
- Usługa Azure SQL Database oferuje możliwość dynamicznego skalowania baz danych. W warstwie bezserwerowej może ona automatycznie skalować zasoby obliczeniowe. Elastyczna pula, która umożliwia bazom danych udostępnianie zasobów w puli, można skalować tylko ręcznie.
Współautorzy
Ten artykuł jest obsługiwany przez firmę Microsoft. Pierwotnie został napisany przez następujących współautorów.
Główny autor:
- Ashish Khandelwal | Główny architekt inżynierów
Inni współautorzy:
- Nithish Aruldoss | Architekt inżynierów
Aby wyświetlić niepubalne profile serwisu LinkedIn, zaloguj się do serwisu LinkedIn.
Następne kroki
Zapoznaj się z przewodnikami po migracji usługi Azure Database. Aby uzyskać więcej informacji, skontaktuj się z usługą Azure inżynierowie danych ing — modernizacja komputera Mainframe i midrange.
Odwiedź następujące artykuły:
- Obciążenia IBM na platformie Azure
- Ponowne hostowanie komputera mainframe na maszynach wirtualnych platformy Azure
- Obciążenia komputera Mainframe obsługiwane na platformie Azure
- Przenoszenie obliczeń mainframe na platformę Azure